Istanbul Open-source AI meet-up with @huggingface was so gooood 🤗 We talked about AI with texts, images, sound and all of them together. We even talked about medical AI and math with LLMs and why they become better with math! The energy and the conversations of the attendees were amazing!
Huge thanks to @trendyoltech for hosting us and for the great food and drinks 🚀 Also many thanks to @mervenoyann and @anil_ozturkk for co-organizing this event with me 🧿
Presenting Olala mini, a 7B total (1B active) parameter model trained on 13T tokens !
It uses a custom architecture mixing Mamba-3 with Grouped Differential Attention layers.
My work focused on architectural improvements over the Transformer, which I detail below
Atatürk'ün cenaze törenine dair pek çok kayıt ve fotoğraf gördüm. Ama beni en çok hüzünlendiren bu fotoğraf oldu.
Anadolu'nun asil köylü kadınları, bebekleri kucaklarında tren yoluna çıkmış Atatürk'ün tabutunu Ankara'ya götüren treni bekliyor. Geçerken bir iki saniyeliğine de olsa görebilmek için...
Vatanlarını düşmandan kurtarmış Halaskar'a son defa selam durabilmek için...
Şunun üzerine bir odamı toparlayım dedim ve yaşananlar:
- 2 büyük boy çöp poşeti doldu
- İbrahim tatlısesle çekilmiş küçüklük fotomu buldum
- Ortaokul albümündeki tüm güzel kızların bana "kanka" diye mezuniyet anısı yazdığını farkettim
- 7. sınıftan beri yaratıcılığımın eksik olduğunu söylüyormuşum durum hala aynı
- Lisedeki başarılarımı bir gördüm mutlu oldum
- Attention is all you need ve onun atası olan makaleyi 2019 yılında falan çıktısını alıp her yerine not ala ala okumuşum bir nostalji yaşandı
çalışmalar devam ediyor bakalım ne çıkacak daha kdkskdk
Mayıs ayına kadar ben de aynı şeyi savunuyordum çünkü bence o dönemin modelleri henüz yeterince iyi değildi. Ama son 6 ayda çok şey değişti, benim de fikrim değişti. 🤷🏻♂️
PhD tayfası kim bilmiyorum ama yeni kanıtlar karşısında görüşlerini değiştirmek zaten bilimsel düşüncenin temelinde yok mu?
Nice DeepSWE score! Does it survive a lowercase filename?
Introducing MaxxBench: 89 DeepSWE tasks with small changes to the instructions or starting code. Same engineering problem, slightly different requirement.
Models clustered around 74% on DeepSWE end up 23 pp apart.
Good at coding, or good at DeepSWE? 🧵
Hiçbir fiziksel mağazada OLED monitör bulamıyorum ya. Herkes çok övüyor QD-OLED şöyle uçuyor kaçıyor diye ama görmeden o kadar para vermek de istemiyorum
Şu an bir Kaggle yarışmasıyla uğraşıyorum, yaptığım çalışmalar da daha çok onun için:
https://t.co/UjFjrHD2i3
Yazı konusunda daha bir şey çıkaramam ama aşağıdaki kaynakları faydalı buldum:
https://t.co/1Xmo0iHpfL
https://t.co/DCGDbUNgzp
https://t.co/cFHgP25Dqx
Ayrıca ARC-AGI'den sonuçlar paylaşıldıkça onları okuyorum. Data toplama, speed up, fine-tuning vs. güzel insight'lar var.
https://t.co/1tmx9mI6pk
https://t.co/o3egG5RmRW
@TheZachMueller As far as I know the only speed advantage comes from asking multiple (like more than 10) questions about the same context. For example, if you need to decide an action based on 15 yes/no questions, jev-style is faster than using structured response generation