ADAM 3 TANE NVIDIA DGX SPARKI BİRBİRİNE BAĞLAYIP KIMI 2.6'YI MİLYON TOKEN BAŞINA 0.55$'A KULLANIYOR LAN
Adamın önceki aylık GPU kiralama masrafı 3.000 ile 5.000 dolar arasındaymış. Sürekli havaya para atmak yerine gidip tek seferlik donanım yatırımı yapıyor. Şu an o canavar modeli çalıştırmanın aylık maliyeti sadece 40 dolarlık elektrik faturası. Milyon token başına maliyeti 0.55 dolara kadar düşmüş durumda.
ENN GÜZEL YANI ŞU; maliyet bu kadar komik bir seviyede olunca harcamaları düşünmeden aynı anda 300 paralel agent görevini, doğrulama adımlarını ve testleri rahatça çalıştırabiliyor. Bulut sistemlerine ve APIlere ayda 8.000 dolar dökmek yerine, elektriğe 40 dolar verip kendi sisteminin patronu oldu.
Donanıma yatırım yap, modeli lokalde çalıştır. Bu iki karar bütün oyunun kurallarını baştan yazıyor.