M. Umut ATASEVER

Tam zamanlı meraklı

[M. Umut ATASEVER @atasever]

@AlicanKiraz0 @Alibaba_Qwen @UnslothAI @NVIDIAAI Selamlar, reasoning effort ayarının inference performansını (tok/sn) etkileyeceğini neden düşündüğünüzü tam anlayamadım. Sonuçta değişen şey token üretim hızı değil, üretilen token miktarı değil mi? reasoning effort sadece düşünmek için harcanan token sayısını etkilemez mi?

[Han Xiao @hxiao]

interesting position paper throwing cold water on autoresearch/ai scientist: LLMs can't jump.

The thought experiment is this: Take an LLM with a 1905 knowledge cutoff. Feed it every paper, every dataset, every equation of that era. Could it invent general relativity?

No.

Discovery isn't one thing. It's three. You can induce — generalize from data, which lands you at Newton plus some epicycles to explain Mercury's weird orbit. You can deduce — derive rigorously from axioms you already have, which never gives you new axioms. Or you can jump — invent the frame itself, decide that spacetime curves. That third move is the one that matters, and it's exactly the one induction and deduction can't reach.

Penrose put it as three worlds: Physical, Mental, Platonic. Data flows from the world into a mind fine. But the new law has to be discovered into the Platonic world first — and that step is the jump. LLMs are induction machines running over what already exists. Structurally, they don't take it.

I think it’s a warning to AI scientists/autoresearch against collapsing two very different things into one word.

Hill-climbing: LLMs are already superhuman here, and autoresearch in this sense is real and moving fast.
Abduction/leap/jump: a new frame that reorganizes the field, that is a different act entirely, and nothing about scaling induction suggests you get there.

Most of what Autoresearch ships today will be spectacular hill-climbing. The jump is still ours for now.

[Bursa Yapay Zeka Topluluğu @bursayz]

Yeni Nesil Generatif Dil Modelleri Gerçekte Nasıl Çalışıyor? Katman Katman Bir Modelin İçine Yolculuk

Bugün ChatGPT, Claude, Gemini, Qwen, DeepSeek, Llama, Gemma veya Mistral gibi modelleri kullanıyoruz. Fakat çoğu kişi bu modellerin yalnızca "Transformer" kullandığını biliyor. Gerçekte ise modern bir dil modeli onlarca farklı aşamadan oluşan devasa bir üretim hattıdır.

Bir model yalnızca "soruyu alıp cevap veren" tek parça bir sistem değildir.

Aslında aşağı yukarı şu sırayla çalışır:

Ham Metin
↓
Tokenizer
↓
Embedding
↓
Positional Encoding / Position Embedding
↓
Transformer Katmanları
↓
Attention
↓
MLP (Feed Forward)
↓
Residual Connections
↓
Normalization
↓
(Logit Hesabı)
↓
Sampling
↓
Yeni Token
↓
Tekrar Baştan
Bu döngü bazen binlerce kez tekrar eder.
Şimdi bunların hepsini tek tek inceleyelim.
──────────────────────
Ham Veri (Raw Text)
Her şey burada başlar.
Model hiçbir zaman doğrudan yazıyı anlayamaz.
Örneğin kullanıcı şöyle yazıyor:
"Bursa bugün yağmurlu mu?"
Bu cümle model için henüz hiçbir anlam ifade etmez.
Çünkü bilgisayar yalnızca sayıları işler.
İlk görev bu yazıyı sayılara çevirmektir.
İşte tokenizer tam olarak bunu yapar.
──────────────────────
Tokenizer
Tokenizer aslında model değildir.
Modelden tamamen bağımsız küçük bir yazılımdır.
Görevi metni küçük parçalara ayırmaktır.
Örneğin
"Bursa bugün yağmurlu mu?"
şöyle bölünebilir:
"Bursa"
" bugün"
" yağ"
"murlu"
" mu"
"?"
Her model farklı tokenizer kullanabilir.
GPT ailesi farklıdır.
Llama farklıdır.

Qwen farklıdır.

Gemma farklıdır.

Bu yüzden aynı cümle her modelde farklı sayıda token üretir.

Tokenlar daha sonra sözlükten karşılığı alınarak sayılara çevrilir.

Örneğin

Bursa → 41293

bugün → 1832

yağ → 8291

murlu → 5144

mu → 72

? → 30

Artık model yalnızca bu sayıları görmektedir.

──────────────────────

Embedding Katmanı

Şimdi elimizde yalnızca sayılar var.

Fakat sayılar arasında anlam ilişkisi yoktur.

41293 yalnızca bir kimlik numarasıdır.

Embedding katmanı her tokenı çok boyutlu bir vektöre dönüştürür.

Örneğin

"Bursa"

4096 boyutlu bir vektör olabilir.
[-0.18,
0.92,
...
1.24]
Bu vektör artık kelimenin anlamını taşımaya başlar.
Benzer kelimeler uzayda birbirine yaklaşır.
Örneğin
Ankara

İstanbul

İzmir

Bursa

şehir oldukları için birbirine yakın bölgelerde bulunurlar.

"Kedi"

"Köpek"

"Aslan"

"Hamster"

başka bir kümeye yerleşir.

İşte model ilk kez burada semantik bilgi kazanmaya başlar.

──────────────────────

Position Embedding

Transformer mimarisi sıralamayı doğal olarak bilmez.

"Köpek kediyi kovaladı"

ile

"Kediyi köpek kovaladı"

benzer olabilir.

Ama

"Kediyi kovalayan köpek"

ile

"Köpeği kovalayan kedi"

aynı değildir.

Bu yüzden modele her tokenın sıra numarası eklenir.

token

token
token
...
Modern modeller artık klasik sinusoidal embedding yerine çoğunlukla RoPE (Rotary Positional Embedding) gibi yöntemler kullanır. Böylece model yalnızca "kaçıncı token" olduğunu değil, tokenlar arasındaki göreli konumu da daha verimli öğrenebilir. Bu sayede uzun bağlamlarda ilişki kurma başarısı artar.

──────────────────────

İlk Transformer Katmanı

Artık model çalışmaya başlar.

Bir modelde örneğin

32 katman

40 katman

80 katman

120 katman

bulunabilir.

Her katmanda aynı işlem yapılır.

Fakat her katman farklı soyutlama seviyeleri öğrenmiştir.

İlk katmanlar

yazım

noktalama

kelime

ek

morfoloji

gibi bilgileri öğrenir.

Orta katmanlar

isimler

ilişkiler

gramer

konular

bağlam

öğrenir.

Son katmanlar ise

mantık

çıkarım

cevap üretimi

stil

gibi üst düzey görevleri yapar.

Bu yüzden araştırmalarda "erken katmanlar" ve "geç katmanlar" farklı görevlerde incelenir.

──────────────────────

Self Attention

Transformer'ın en önemli bileşeni budur.

Bir token tek başına anlamlı değildir.

Örneğin

"O bankaya gitti."

Buradaki "banka"

finans kurumu mu?

belediye bankı mı?

Model bunu ancak diğer kelimelere bakarak anlayabilir.

Attention tam olarak bunu yapar.

Her token bütün diğer tokenlara bakar.

Hangileri önemli?

Hangileri önemsiz?

Buna karar verir.

Bu işlem milyonlarca kez yapılır.

Sonuçta her kelime bağlamına göre yeniden temsil edilir.

──────────────────────

Multi Head Attention

Tek attention yeterli değildir.

Bu yüzden aynı anda onlarca attention çalışır.

Bir head

özneyi takip eder.

Başka biri

zamiri takip eder.

Başka biri

zaman bilgisini öğrenir.

Başka biri

programlama dilini öğrenir.

Başka biri

HTML etiketlerini öğrenir.

Başka biri

Türkçedeki ekleri öğrenir.

Sonunda hepsi birleştirilir.

Bu yüzden modern modeller onlarca farklı bakış açısından aynı cümleyi inceler.

──────────────────────

Feed Forward (MLP)

Attention yalnızca bilgi toplar.

Karar veren kısım MLP'dir.

Burada dev matris çarpımları yapılır.

Milyarlarca parametre burada kullanılır.

MLP aslında modelin bilgisinin büyük bölümünü taşır.

"Paris, Fransa'nın başkentidir."

gibi bilgiler büyük ölçüde bu katmanlarda temsil edilir.

──────────────────────

Residual Connection

Çok derin ağlarda bilgi kaybolabilir.

Bu yüzden giriş doğrudan çıkışa eklenir.

Bu yöntem

gradient kaybını azaltır

eğitimi hızlandırır

kararlılığı artırır.

Bugünkü 100+ katmanlı modeller bunun sayesinde eğitilebiliyor.

──────────────────────

Layer Normalization

Her katmandan sonra değerler dengelenir.

Bazı nöronlar aşırı büyür.

Bazıları sıfıra yaklaşır.

Normalization bunları tekrar dengeler.

Eğitim stabil kalır.

──────────────────────

Son Katman

Artık model cevap vermeye hazırdır.

Son gizli temsil alınır.

Bu temsil tekrar sözlük boyutuna çevrilir.

Örneğin

150.000 kelimelik sözlük varsa

150.000 olasılık hesaplanır.

Buna Logits denir.

Henüz cevap oluşmamıştır.

Yalnızca olasılıklar vardır.

──────────────────────

Sampling

Model burada aslında "en doğru cevabı" seçmez.

Bir sonraki tokenı seçer.

Örneğin

"Türkiye'nin başkenti"

gelince

Ankara → %99.6

İstanbul → %0.2

İzmir → %0.1

Bursa → %0.05

gibi olasılıklar oluşabilir.

Temperature, Top-k, Top-p, Min-p gibi örnekleme yöntemleri burada devreye girer.

Bu yüzden aynı modele aynı soru sorulduğunda farklı cevaplar alınabilir.

──────────────────────

Yeni Token Üretildi

Diyelim ki model

"Ankara"

tokenını seçti.

Bu token tekrar girişe eklenir.

Model yeniden çalışır.

Sonra

"dır"

üretilir.

Sonra

"."

üretilir.

Her token üretildiğinde model baştan sona tekrar hesap yapar. Bu yüzden uzun cevaplar daha fazla hesaplama gerektirir.

──────────────────────

Peki Reasoning Modelleri Burada Ne Yapıyor?

İşte son yılların en büyük değişimi burada yaşandı.

Eskiden modeller doğrudan cevabı tahmin etmeye çalışıyordu.

Artık birçok yeni model önce problemi çözmeye çalışıyor.

Reasoning aslında modele yeni bir katman eklemek değildir.

Transformer aynı Transformer'dır.

Attention yine aynıdır.

MLP yine aynıdır.

Fark eğitim hedefindedir.

Model yalnızca "doğru cevap" üretmeyi değil, doğru cevaba götüren ara adımları da öğrenir.

Bunun için eğitim verisinde;

problem

ara hesap

kontrol

düzeltme

alternatif çözüm

nihai cevap

gibi yapılar bulunur.

Model zamanla şu davranışı öğrenir:

Soruyu gör.

Hemen cevap verme.

Önce problemi çöz.

Sonra cevabı üret.

Bu yaklaşım özellikle matematik, kod yazma, bilimsel akıl yürütme ve çok adımlı planlama görevlerinde doğruluğu belirgin biçimde artırır. Bazı sistemlerde model bu ara muhakemeyi kullanıcıya göstermez; iç süreçte kullanıp yalnızca nihai cevabı döndürür.

──────────────────────

Base Model Nasıl Eğitiliyor?

İlk aşamada model internette bulunan devasa miktarda metin üzerinde eğitilir.

Kitaplar

makaleler

Wikipedia

dokümanlar

kod depoları

bilimsel yayınlar

forumlar

gazeteler

ve lisans koşullarına uygun diğer metin kaynakları gibi büyük veri kümeleri kullanılır.

Amaç çok basittir.

Bir sonraki tokenı tahmin etmek.

Örneğin

"Türkiye'nin başkenti"

görünce

"Ankara"

geleceğini öğrenir.

Bu eğitim aylar sürebilir.

Binlerce GPU kullanılabilir.

Bu aşamanın sonunda ortaya Base Model çıkar.

──────────────────────

Base Model Neden Asistan Gibi Davranmıyor?

Çünkü ona hiç sohbet öğretilmemiştir.

Base model yalnızca metni devam ettirmeyi bilir.

Sen

"Merhaba"

yazarsan

belki roman yazmaya devam eder.

Belki gazete haberi üretir.

Belki şiir yazar.

Çünkü hedefi sohbet değildir.

Metni tamamlamaktır.

──────────────────────

Instruct Model Nasıl Oluşuyor?

İkinci aşamada Instruction Tuning yapılır.

Bu kez veri tamamen değişir.

Artık model

Soru

↓

Doğru cevap

şeklinde eğitilir.

Örneğin

Soru

"Python'da liste nasıl sıralanır?"

Cevap

sorted() fonksiyonu...

Binlerce hatta milyonlarca kaliteli örnekle model kullanıcı talimatlarına uymayı öğrenir.

Bu süreçte modelin mimarisi değişmez.

Aynı Transformer kullanılmaya devam edilir.

Değişen şey parametrelerin yeni örneklerle yeniden ayarlanmasıdır.

──────────────────────

RLHF ve Tercih Öğrenmesi

Instruction tuning sonrasında birçok ticari modelde insan tercihleriyle hizalama yapılır.

İnsan değerlendiriciler aynı soruya verilmiş iki cevabı karşılaştırır.

Hangisi daha faydalı?

Hangisi daha doğru?

Hangisi daha güvenli?

Hangisi daha açık?

Model bu tercihleri taklit etmeyi öğrenir.

Günümüzde bunun yerine veya yanında doğrudan tercih optimizasyonu (örneğin DPO benzeri yaklaşımlar) da yaygın olarak kullanılmaktadır.

──────────────────────

LoRA Neden Bu Kadar Popüler?

Bir modelin tamamını yeniden eğitmek inanılmaz maliyetlidir.

Örneğin 70 milyar parametreli bir modeli tamamen yeniden eğitmek için çok büyük hesaplama altyapıları gerekir.

LoRA yaklaşımı ise ana ağırlıkları dondurur.

Sadece çok küçük ek matrisler öğrenilir.

Böylece birkaç gigabaytlık adaptör dosyalarıyla model yeni bir uzmanlık kazanabilir.

Bu yüzden bugün binlerce açık ağırlıklı model için LoRA adaptörleri yayınlanıyor.

──────────────────────

Bir dil modeli tek bir algoritma değildir. Tokenizer'dan embedding katmanına, attention mekanizmasından MLP bloklarına, örnekleme stratejilerinden ince ayarlamaya kadar birbirini tamamlayan birçok bileşenden oluşan dev bir sistemdir.

Bugün "reasoning" olarak adlandırılan yeni nesil yaklaşım ise bu mimariyi baştan yazmaktan ziyade, modele daha iyi düşünmeyi öğreten eğitim yöntemleri ve çıkarım stratejileri geliştirmeye odaklanıyor.

Önümüzdeki yıllarda rekabet yalnızca daha büyük modeller üretmek üzerine olmayacak. Daha verimli dikkat mekanizmaları, daha uzun bağlam pencereleri, daha kaliteli eğitim verileri, daha iyi tercih optimizasyonu ve daha güçlü akıl yürütme yetenekleri, generatif yapay zekânın gelişimini belirleyen ana unsurlar olmaya devam edecek.

[Bursa Yapay Zeka Topluluğu @bursayz]

Her gün yeni bir "sansürsüz model" görüyoruz.

Peki bu modellerin sansürü gerçekten nasıl kaldırılıyor?

İşin arkasında tek bir yöntem yok. Yıllar içinde birkaç farklı yaklaşım gelişti ve her biri farklı avantajlara sahip.

İlk dönemlerde en yaygın yöntem, modeli tekrar eğitmekti.

Önce modele yüzlerce hatta binlerce "reddedilmesi beklenen" soru soruluyordu.

"Buna yardımcı olamam."
"Bu konuda bilgi veremem."
"Üzgünüm, bunu yapamam."
gibi cevaplar veren örnekler toplanıyordu.
Ardından bu örnekler ters etiketleniyordu.

Yani modelin reddettiği sorular için bu kez normal, açıklayıcı cevaplar hazırlanıyordu ve LoRA ya da tam fine-tuning ile model yeniden eğitiliyordu.

Bu yöntem işe yarıyordu ama önemli bir sorunu vardı.

Model sadece ezberlediği örneklerde daha cesur davranıyordu.

Benzer ama farklı ifadeler geldiğinde yine güvenlik mekanizmaları devreye girebiliyordu.

Daha sonra araştırmacılar farklı bir yaklaşım geliştirdi.

Modelin reddetme davranışını tek tek cevaplardan değil, aktivasyonlarından (hidden states) öğrenmeye başladılar.

Binlerce "normal cevap" ve "reddedilmiş cevap" karşılaştırılıyor, bu iki durum arasındaki temsil farkı çıkarılıyordu.

Sonra bu fark, inference sırasında modele uygulanıyordu.

Yani ağırlıkları değiştirmeden, modelin iç temsil uzayı hafifçe kaydırılarak reddetme davranışı azaltılabiliyordu.

Bir diğer yaklaşım ise doğrudan güvenlik verisini "unutmasını" sağlamaktı.

Bunun için model, güvenlik hizalamasını oluşturan veri üzerinde ters yönde optimize ediliyor veya belirli katmanlar yeniden eğitiliyordu.

Amaç yeni bilgi öğretmek değil, mevcut hizalamayı zayıflatmaktı.

Son dönemde ise çok daha ilginç yöntemler ortaya çıktı.

Araştırmacılar önce modele binlerce hassas soru soruyor.

Modelin hangi katmanlarda ve hangi nöronlarda reddetme davranışı oluşturduğu analiz ediliyor.

Ardından yalnızca bu küçük alt ağ (subnetwork) yeniden eğitiliyor veya belirli nöronların etkisi azaltılıyor.

Yani artık milyonlarca parametreyi değiştirmek yerine, yalnızca güvenlik davranışını oluşturan kısmı hedef almak mümkün.

Bu yüzden bugün gördüğünüz birçok "uncensored" model aslında sıfırdan eğitilmiş modeller değil.

Çoğu; LoRA, DPO, aktivasyon yönlendirme (activation steering), temsil düzenleme (representation editing) veya nöron düzenleme (neuron editing) gibi tekniklerin farklı kombinasyonlarıyla elde ediliyor.

İlginç olan ise şu:

Modelin bilgisi neredeyse aynı kalırken, yalnızca "cevap verme davranışı" değiştiriliyor.

Aslında değişen modelin zekâsı değil.

Değişen, hangi durumlarda konuşmayı tercih ettiği.

[Bursa Yapay Zeka Topluluğu @bursayz]

Yapay zeka tarafında Türkiye'de yerleşmiş ilginç bir yanlış var:

Bir modelin ağırlıkları yayınlandı diye o modele "açık kaynak" deniliyor.

Hayır.

Açık ağırlık (open-weight) ve açık kaynak (open-source) aynı şey değildir.

Bir modelin açık ağırlık olması sadece eğitilmiş parametrelerinin erişilebilir olduğu anlamına gelir. Modeli indirip çalıştırabilirsiniz. Çoğu durumda fine-tune da edebilirsiniz.

Fakat şu soruların cevabı hâlâ hayır olabilir:

- Eğitim verisi nerede?
- Veri filtreleme süreci nasıl çalıştı?
- Eğitim pipeline'ı neydi?
- Eğitim kodu nerede?
- Hiperparametreler nelerdi?
- Aynı modeli sıfırdan yeniden üretmek mümkün mü?
- Lisans hangi hakları ve kısıtlamaları içeriyor?

Bugün sektördeki birçok popüler model teknik olarak open-weight kategorisindedir. Çünkü yalnızca model ağırlıkları paylaşılmıştır.

Bir sistemi çalıştırabiliyor olmanız, o sistemi inceleyebildiğiniz anlamına gelmez.

Bir sistemi inceleyebiliyor olmanız da onu yeniden üretebildiğiniz anlamına gelmez.

Open source kavramının temel amacı yalnızca kullanım özgürlüğü değil; denetlenebilirlik, değiştirilebilirlik ve yeniden üretilebilirliktir.

Bu yüzden:

Model ağırlıkları yayınlandı → Open Weight

Modelin tamamı açık geliştiriliyor, gerekli bileşenler erişilebilir ve lisansı bunu destekliyor → Open Source

Bu ikisini eş anlamlı kullanmaya devam edersek, yapay zeka ekosistemindeki açıklık seviyesini olduğundan çok daha yüksek göstermiş oluruz.

Terminoloji önemlidir. Çünkü teknik tartışmalar yanlış kavramlarla yapıldığında, sonunda herkes farklı şeylerden bahsediyor olur.

[M. Umut ATASEVER @atasever]

@morena_mar2586 https://t.co/HXduWTCkmm

[M. Umut ATASEVER @atasever]

@AkinUnver mid-1920s Cumhuriyet dönemi olmuyor mu? https://t.co/NVEqPrtFwa

[M. Umut ATASEVER @atasever]

@MyNameIsSinan23 @RoportajAdam @grok https://t.co/VeEFPRPnam

[M. Umut ATASEVER @atasever]

@unsalim Geçen yıl ikinci öğretim programlarını kapattıklarını kamuoyu ile paylaşmamıslardi. Bu sene de hiç ilan etmeden kontenjanları yarıya indirdiler. Çok büyük sorumsuzluk ve ciddiyetsizlik.

[M. Umut ATASEVER @atasever]

@Mahmutertas0 @unsalim Çünkü gerçekten de vakıf yükseköğretim kurumu bu kurumlar. Türkiyede özel üniversite bulunmamaktadır. https://t.co/vXv8ZYCxSh

[Devrim Gündüz @DevrimGunduzTR]

İyi ki doğdun @akgul hocam, iyi ki seni tanıyan şanslı insanlardan olduk.

[M. Umut ATASEVER @atasever]

@FSecure freedom has a price ;)

[M. Umut ATASEVER @atasever]

@akgul sanırım sadece içindekiler ve sonuç bölümü

[M. Umut ATASEVER @atasever]

@nuhazginoglu tamam, bi oturuşta sadece 10 şiş

[M. Umut ATASEVER @atasever]

@nuhazginoglu @al1eren bu kanun ilk çıkarken "arabada cep telefonu ile konuşulmaz" şeklinde idi. sonra "şoför konuşamaz" diye değiştirdiler

[M. Umut ATASEVER @atasever]

@tubitakiletisim Tübitak Linux'un maskotunun,iddiasız ve karnı balıkla dolu bir penguen olduğunu, bunun da bir nedeninin olduğunu biliyor mu

[M. Umut ATASEVER @atasever]

@laravelnews please mention about the fact that it is laravel 3 only. its very disappointing to see it only covers laravel3,after purchasing

[M. Umut ATASEVER @atasever]

@erkanhirik benim hesaptan twit atmış , yeni farkettim ben de :-)