llama.cpp 3,5 yıl sonra v1.0.0 oldu.
Mart 2023'te Meta’nın LLaMA modelleri ortaya çıktığında bunları çalıştırmak için ciddi GPU gücü gerekiyordu. Georgi Gerganov C/C++ ile yazdığı llama.cpp ile bu modelleri sıradan bir MacBook’ta çalıştırdı. Quantization (modeli sıkıştırıp küçültme) herkesin kullanabileceği bir şeye dönüştü, GGUF dosya formatı da bu projeden çıktı.
Bugün “lokal model” dediğimiz şeyin büyük kısmı bu temelin üstünde duruyor:
→ Ollama uzun süre doğrudan llama.cpp ile çalıştı, şimdi kendi motorunu yine onun alt katmanı olan ggml üzerine kurmuş durumda
→ LM Studio, GGUF modelleri llama.cpp ile çalıştırıyor (Mac tarafında ayrıca MLX desteği var)
→ Jan, GPT4All gibi araçlar da aynı motoru kullanıyor
→ Hugging Face’ten indirdiğimiz GGUF dosyalarının hepsi bu ekosistemin formatı
v1.0.0 ile değişenler:
→ libllama ve ggml artık sürüm kurallarına bağlı. Uyumluluğu bozan her değişiklik ana sürüm numarasını yükseltecek. Yani bu projenin üstüne uygulama yazanlar, sıradan bir güncellemeyle her şeyin bozulmasından korkmayacak
→ 150'den fazla model mimarisi ve yaygın speculative decoding yöntemlerinin hepsi destekleniyor
→ Homebrew, Winget, Docker, Debian ve conda-forge ile kurulabiliyor, iOS ve macOS için de XCFramework sürümü var
→ Testler NVIDIA, AMD, Qualcomm, Arm, IBM ve Intel’in desteklediği donanımlarda koşuyor
→ Ekip artık Hugging Face bünyesinde ve macOS ile Windows için kendi Llama masaüstü uygulamalarını da çıkarmış
Ekibin yazdığı bir not da dikkatimi çekti :)
Geliştirmede LLM kullanıyorlar ama kodu anlamak ve mimarinin kontrolünü elde tutmak hala ilk öncelikleriymiş.
Yüzlerce uygulamanın üstüne kurulduğu bir proje, kendine ancak şimdi 1.0 dedi :))
Ümit Özdağ tutuklandı!
Adalet tutuklandı!
Asgari ücretle geçinmek zorunda kalan işçi tutuklandı!
Açlık sınırının altında yaşayan emekliler tutuklandı!
Sığınmacı ve kaçaklarla vatanını paylaşmak istemeyen vatanseverler tutuklandı!
Terörist başı, bebek katili Öcalan serbest kalmasın diyen şehit anaları tutuklandı!
Tribünlerde "Ne mutlu Türk'üm diyene" diye bağıran taraftarlar tutuklandı!
"Mustafa Kemal'in askerleriyiz" diye haykıran milyonlarca Atatürkçü tutuklandı.
Beni tutuklayabilirsiniz ama öldürmeden susturamazsınız!
Bugün 21 Aralık, en uzun gece ve kış gün dönümü. ☃️
En uzun geceyi iyilikle aydınlatıyoruz. Sen de aramıza katıl, gönüllü ol ve iyilikle aydınlattığın geceyi bizimle paylaş! ✨
#KırmızıYelek Uluslararası Gönüllülük Ödülleri sahiplerini buldu ✅
Türkiye’nin dört bir yanından binlerce gönüllümüzün katılımıyla gerçekleşen programda, iyiliğin kahramanları ödüllerine kavuştu.
“https://t.co/QUTtivj1ZR’u en etkili kullanan Genç Kızılay” ödülü; Genç Kızılay Çanakkale ekibine teslim edildi. 🌙
Emeği geçen tüm gönüllülerimizi yürekten kutluyoruz! ❤️
Hazır mıyız arkadaşlar? ⏳
@genckizilay@KizilayEngelsiz@KizilayKadin@gonulluolorg
Yarın saat 13:00’te Kırmızı Yelek Uluslararası Gönüllülük Ödül Törenimizi gerçekleştirecek ve iyililiği ödüllendireceğiz. Gelenekselleşen ve her yıl düzenlenen ödül törenimiz için son saatler! 💫
#SendeGönüllüOl