@mertcobanov Seni LLM'e sordum huzuru yoktur dedi.
Aldığı donanıma sordum elektrigi çoktur dedi.
Yerin yurdun sordum arka odada yeri yoktur dedi.
Jev'le lunayi sordum denemisligim yoktur dedi.
hadi videodaki uslubun saka oldugunu anlamadin, mevcut sosyal dinamiklerine bakinca saka ile ciddiyet arasindaki farki anlamamani dogal karsiliyorum.
sen bana ilk satastiginda hic ortada bi hakaret yoktu. rasgele gezdigim tweetlerin altinda millete satasmana denk geliyorum kardo, bunun normal bi psikoloji oldugunu dusunmuyorsundur umarim.
teknik kisma donecek olursak, sorun cok basit. local llm yatirimi kendisini amorti edemiyor. onlarca ornege baktim, bi ton fiyat karsilastirmasi yaptim, yok. mesela sen 544 vram yazmissin. teknik olarak o setupta glm 5.3 4q ve benzeri modeller calistirabilirsin. alacagin verim, benchmarklarin dogruluguna inanirsak gpt 5.6'nin bi tik altinda olmali.
tahmini setuplar: 4x h200, 6x rtz pro 6000, 4x dgx spark.
bunlardan alacagin glm 5.3 q4 hizi tahminen hangi donanimlari kombinledigine bagli olarak, en az 35 tok/s, en yuksek 120 falan olur (simdi baktim, gercek setuplardan alinan veriler).
simdi.
6x rtx pro: tahminen ~100-150k usd.
4x nvidia h200: ~180-220k.
yavas calisir ama, 4x dgx spark: ~24k usd.
senin donanimin bunlardan biri oldugunu varsayacagim simdilik. dgx spark olsa amortismani 31 ay suruyor. digerlerine girmiyorum bile, zira 80 ay ve 200 ay falan surer.
benim pozisyonum su: eger siber guvenlik ve privacy gereksinimi yoksa yerel llm yatiriminin mantiksal bir aciklamasi yok. keyfi yapiyorum diyene canim feda, param var kardesim eglenmek icin aldim, super.
ama ben tasarruf icin aldim, yok opus 5.5 kalitesinde kod yazdiricam falan, cok sacma.
lokal llm'in tek mantikli konsepti sansursuz model ihtiyaci, gizlilik ihtiyaci. onun disinda para harcayip, gidip donanim almanin hic bir mantikli sebebini bulamiyorum. ve ciddi bir bottleneck. misal, senin kizdigin videoda ben sol'u 24 concurrency ile calistirdim. eve kurdugun setuplarda eger 100-200k usd harcamamissan, 2-4 concurrencyde yavaslik cok ciddi bottleneck oluyor.
sozun ozu, 3 ay donanim/fiyat ve verim arastirmasi yaptim eve local llm kurmak icin. hic bir mantikli sebep bulamadim gunun sonunda. senin mantikli sebebin, matematigin varsa buyur soyle. cunku ben samimi soyluyorum bulamadim.
baska bir is icin 8 tane gpu aldim, amaci local llm degildi zaten. almisken bu testleri de yaptim uzerinde. zaten videoda soyluyor olmam lazim, amacim full local llm olsam muhtemelen bu donanimi almazdim. ama bu, mevcut vram icine sigdirabildigim modellerin neredeyse bedava sayilabilecek lunadan daha kotu oldugu gercegini degistirmiyor.
ismail, bu arkadas bi iki kere bana salladi mentlerden, tam olarak kimdir nedir bilmiyorum.
benim genel olarak hayata yaklasimim soyle: negatif insanlarla muhattap olmamak. kendi mutsuz hayatini internette nefret sacarak gideren insanla muhattap olmanin bi faydasi olmuyor.
alaninda iyidir, kotudur hic bir fikrim yok. alani ne onu da bilmiyorum. gel gelelim bana olan elestirisine, mutlaka ki hatali yaptigim seyler oluyordur. elestiriye acigim, nerdeyse her videoda soylemlerimde hata olabilecegini, kisitli zamanda yaptigim seyler oldugu icin hatalar oldugunu varsaymalarini rica ediyorum izleyenlerden. icerik uretmenin bir baska negatif yani da su: hata yapmamak imkansiz.
bugune kadar instagramda, youtube yorumlardan mukemmel feedback veren insanlar oldu. beni izleyip, isinde benden cok daha iyi insanlar var. hatami duzeltenler oldu. o tip insanlarin tasaklarini alip boynuma dolarim gerekirse. degerli seyler bunlar.
bi yandan da boyle butun olayi nefret kusmak olan arkadaslar var. olay suna geliyor, varolma sebebi bagciyi dovmek olan insanlarla uzum yemek olan insanlar bi arada barinamiyor.
misal, iyi niyet olmadigini soyle anlayabilirsin: "gelsin hatalarini yuzune vuralim" minvalinde biseyler yazmis. diyaloga davet eden bisey degil zaten bu. arkadasin iletisim kabiliyeti yok. dese ki "cok sik yapilan bi iki hata var, onlari yapmis olabilir. seve seve destek olurum", onun da tasaklarini alip boynuma dolardim.
mesele niyet. yarismaci arkadaslara basarilar, ben kendimi 3 hayirla ugurluyorum 🫡
They'll definitely try to squeeze every penny they could. The competition is what I depend on keeping these accessible.
My hot take on this is; subscriptions, especially the $100+ ones are used by power users. And these power users drive most decisions. You lose these users, you lose the api inference they drive. This happened at our company. We were openai, but once dev team turned anthropic, now most inference is on anthropic models.
I'd love to catch up with you on this if you can find the time.
1 ay önce bu konuda bi miktar derdimi anlatmıştım ben de: AI sebebiyle inanılmaz bir mental yorgunluk yaşamak, hem de her gün.
Hayatımda hiç olmadığı kadar beyin yorgunluğu yaşıyorum. Daha bugün tekrar direktöre anlattım durumu.
Kodu yazma konsepti 10x hızlandı, ama yanında insana yüklediği mental yük de 10x oldu haliyle.
AI was supposed to make us work less
I've never been this tired in my life
most days I have up to 10 agents running at the same time. one fixing a bug, one writing pages, one refactoring something I already forgot I asked for, 3 other I have no idea what they are doing but i suppose i ask it?
and I jump from conversation to conversation all day
compared to 5 years ago, I probably context switch 100x more
by the end of the day my brain is fried. completely toasted. nothing left, not even for the people I love
I call it the fried brain effect
thought it was just me but almost every founder I talk to lately says the exact same thing
we got superpowers, and somehow the pressure only went up. if you can ship 10x more, you feel like you have to ship 10x more. every single day
I don't have a solution
honestly I have no idea where this goes from here
anyone else feeling this?
Kurumsal dünyanın getirdiği mental yük 10 katına çıkıyor. Durum, hıza alışık olmamakla alakalı değil. Yapay zekânın ürettiği hızdan ziyade, o hızdan dolayı yan sorumlulukların artması söz konusu.
Ürünün testlerinin yapılması, bu ürünü kullanacak insanlarla diyaloğa geçilmesi, onlara ürünün anlatılması, tanıtılması, feedbacklerinin toplanması… Bir hata olduğu zaman dönüp bu hatayı düzeltmek, hatanın nasıl çalıştığını ve nasıl oluştuğunu anlamak için zaman harcamak… Bu ürünün deployment’ının doğru bir şekilde maintain edilmesi…
Bu tarz şeyleri her proje için yapman gerektiği için, altı ayda bir proje yaparken bu yük çok azken bir ayda dört proje yapmaya başladığın zaman hâliyle yan görevlerin de sayısı çok artmaya başlıyor. Mesela, görevlerin artmasından da ziyade, hepsini aynı anda anlayıp yönetebilmek bambaşka bir zorluk getiriyor olaya