Ben de biraz baktım: orange pi 5 (rk3588 işlemci) üzerinde (biraz yavaş da olsa) llama (2 galiba) koşturanlar var. Normal bilgisayarımı linux'e geçirene kadar belki denerim.
Multi CPU ile evdeki eski laptop, telefon, tablet vb'yi kullanacak bir altyapı çıksa ne güzel olur.
alican kiraz sanıyorum raspi5 üstüne ekran kartı takarak yaptı ancak döküman yayınladı mı bakmadım.
bende dün xeon e3 1230 üstüne cift rtx580 üstünde koşturdum ollama'nın eski amd üzerinde desteği yokmuş rocm ile olmadı ancak vulkan driveri ile yapanlar olmuş tabi.
aleti indir kaldır yaparken ssd'nin kablosu ekran kartı fanına çarptı 2 tane fan bıçağı sizlere ömür 😂 durduk yere fan masrafı çıktı. Docker ollama:rocm LLAMA3.1 ve openwebui yavaş çalıştı ollama'yı direk cihaza kurdum daha akıcıydı.
ekran kartı işlemci fan derken aslında 1 tane mac mini LLAMA3.1 baya koşturuyor 2 tane ile cluster yapılsa LLAMA3.3 koşar mı bakmak lazım o zaman chatgpt'ye bile ihtiyaç kalmaz https://openzeka.com/urun-kategori/ekran-kartlari/masaustu-ekran-kartlari/
bından mı alsak yoksa 2 tane mac mini mi bilemedim.
Comments
Multi CPU ile evdeki eski laptop, telefon, tablet vb'yi kullanacak bir altyapı çıksa ne güzel olur.
bende dün xeon e3 1230 üstüne cift rtx580 üstünde koşturdum ollama'nın eski amd üzerinde desteği yokmuş rocm ile olmadı ancak vulkan driveri ile yapanlar olmuş tabi.
https://openzeka.com/urun-kategori/ekran-kartlari/masaustu-ekran-kartlari/
bından mı alsak yoksa 2 tane mac mini mi bilemedim.