Boğaziçi Üniversitesi TABILAB araştırmacıları tarafından geliştirilen TabiBERT modelinin geliştirilmesini desteklemekten büyük mutluluk duyuyoruz!
TabiBERT, ModernBERT’in mimari yeniliklerini Türkçe NLP’ye taşıyor:
- 1 trilyon token'lık eğitim
- 8,192 token bağlam uzunluğu
- 2.65 kat daha hızlı inference
- 8 benchmark kategorisinin 5'inde en iyi performans.
Şirketimizde Machine Learning Lead olarak görev yapan @meliksah_turker liderliğinde yürütülen projeye biz de pre-training için kritik öneme sahip GPU kaynağını sağlayarak destek olduk.
Böyle Türkçe NLP ve açık kaynak araştırmaların ilerlemesine katkı sunmaktan gurur duyuyoruz!
📄 Makale: https://t.co/B9uwkFap8o
🤗 TabiBERT: https://t.co/uUDGUBpKPK
📊 TabiBench: https://t.co/MISvConB4Y
Melikşah Türker, A. Ebrar Kızıloğlu, Onur Güngör ve Susan Üsküdarlı'yı tebrik ederiz.
@denizoktar@refiksaydaam Tabi, bu tip önerilere açığız. Örneğin bir süredir Boğaziçi ile bazı projelerde işbirliği yapıyoruz. Başka üniversitelerle de çalışabiliriz. Bana özelden veya Linkedin’den ulaşabilirsiniz.
Huggingface'teki Kumru 2B modelini denedim.
1+1 sordum bilemedi gibi yorumlardan siz de bıktıysanız LLM'lerin gerçek kullanım amacı ve gerçek bir kullanım senaryosunda durum ne anlatayım.
Legal tech projem için lokal olarak hukuki doküman redakte edecek bir sistem üzerinde çalışıyordum. Daha önce ne Huggingface'teki Türkçe NER modelleri ne de multilingual 7B parametreli modeller ile istediğim sonucu alamadım. İstediğim sonucu almak için multilingual LLM'ler ile 12-14B parametreye kadar çıkmam gerekiyordu ama Kumru 2B istediğim verileri redakte etmeyi başardı. Üstelik gayet makul bir VRAM kullanımı ile.
Teşekkürler @VNGRS.
@Umut3002_ @sengpt Çünkü daha küçük bir yatırımla çözebileceğimiz bir ihtiyacı hedefledik. Son kullanıcıya yönelmek ve yerli ChatGPT yapmak çok daha büyük yatırım gerektirir. Bizim gibi bir şirketin imkanlarını çok aşar.
Öncelikle Kumru’ya gösterdiğiniz yoğun ilgi için çok teşekkür ederiz. Biz de bu kadarını beklemiyorduk, çok mutlu olduk. Ek olarak Kumru ile ilgili daha detaylı bilgi vermek ve bazı noktaları netleştirmek istedik.
Öncelikle Kumru bir ChatGPT alternatifi değil. Kumru’yu son kullanıcıya yönelik değil kurum içi senaryolar için geliştirmeye devam ediyoruz. Henüz versiyon 0.2.1 ve şu an için yetkinlikleri sınırlı. Web sayfası Kumru’yu sadece denemek için hazırlanmış bir arayüz, ürünün kendisi değil. Bu sebeple lütfen Kumru’dan ChatGPT’nin yaptığı şeyleri beklemeyin, yetkinlikleri ve yapım amaçları farklı.
Kumru’nun matematiğinin zayıf olması konusuna da değinmek isteriz 🙃 Kumru Türkçe yetkinlik için geliştiriliyor, henüz matematiksel işlem ve karar vermek gibi fonksiyonel işlemler için eğitilmedi. Dolayısıyla bu bağlamda da ChatGPT/Gemini alternatifi değil.
Altta Kumru’yla ilgili en çok merak edilenleri cevapladık, buyrun flood’ımıza 🐦
@legacy_of_zero@VNGRS Hayır, fine-tune etmedik. Mimariyi kullanmak ile hazır modeli fine-tune etmek farklı şeyler. Bu gibi merak edilen noktalar için Sıkça Sorulan Sorular kısmı ekledik. Orada daha fazla detay bulabilirsiniz: https://t.co/Wdd8wQ5wvR
Kumru-2B, base ve instruct olarak eğitildiği web corpus'uyla birlikte @huggingface'te trending ilk sayfada 👏 7B ve multimodal da geliyor
çok büyük gurur kaynağı 🇹🇷🦜