Dgx spark ın memory bandwith i 273 GB/s tam bir kağnı 😃 Başka markalardan f/p isterseniz 4xIntel B70 öneririm. Prompt processing çok önemli olduğu için memory bandwidh yüksek olması o kadar önemli yoksa siz belki 40-60tok/s generation alsanız bile ekranda prompt yolladığınızda basit bir şey için bile öyle beklersiniz. Context length düşük yaptıkları için MB si füşük olan kartlar bile iyi performans gösteriyormuş gibi gözüküyor aldanmayın o yüzden 1TB/s den aşşağı olan memory bandwidth li kart ölü yatırımdır. Şu an 5090 en iyi tercih bütçeniz var ise RTX pro 6000 öneririm.
Agentic coding için söylüyorum, local modeller(32GB ve altı) için şu an en ideali 5090 hem prompt processing hem de token generation da iyi performans veriyor. Yine de aynı cihaz da hem model çalıştırmak hem iş yapmak hayal ek bir cihaz kesin gerektiriyor. Çoğu geliştiricinin de bu olaylara vakit ayıracağını sanmıyorum
Her ne kadar open source modellerin yenileri çıktığında daha iyi sonuçlar versede malasef model weightleri arttığından dolayı donanım bağımlılığı da o ölçekte artıyor bu da son kullanıcı geliştiricileri bütçe olarak etkiliyor ki belli bir seviyeden sonra cluster-server grade setup gerektiyor.