Sergey Durnov

[Sergey Durnov @DurnovSergey]

@needmorevram Yep, agree. Even now I have full context with same low decode, whereas I only had 114k with 27b.

[Sergey Durnov @DurnovSergey]

@needmorevram IQ4_XS, best I could fit in 16 gigs

[Sergey Durnov @DurnovSergey]

@needmorevram This thing flies. I’m getting 16/300 decode/prefill on atomic chat q4.25 on full context with vision on llama/5060ti, just ordered another 64 gigs of ram 😭

[Sergey Durnov @DurnovSergey]

@coldniko with llama.cpp of course 😭

[Sergey Durnov @DurnovSergey]

@coldniko getting 16-25tps on 5060ti/i5-14500/ddr4 64gb with full context and vision, but prefills are painfully slow and decode could be better 😁

[Sergey Durnov @DurnovSergey]

@UBERSOY1 Sounds like BS to me

[Sergey Durnov @DurnovSergey]

@cirnosad Откуда вообще это фото? Откуда уверенность что это не условный фотошоп? И в чем смысл такого «ядерного удара»? Зачем все типа скрывают это?

[Sergey Durnov @DurnovSergey]

@withkimbyungjoo Хохол родился - заплакал Еврей. Иногда приходится учиться этому сложным путем 😂

[Sergey Durnov @DurnovSergey]

@Gossip_Goblin let’s gooo

[Sergey Durnov @DurnovSergey]

@kibergnida1337 @ItsmeAjayKV https://t.co/DpDky9xieZ

[Sergey Durnov @DurnovSergey]

@kibergnida1337 @ItsmeAjayKV кстати, посмотри пока вот это, буду пробовать после llama, какие-то фантастические скорости префила обещают

[Niko Veit @coldniko]

Just doubled the prompt processing speeds from 539 token/s to 1290 tokens/s.

Qwen3.8-Flash-Next on consumer GPU is now blazing fast.

Next on the list is further optimizations on kernels and swapping which should boost results by 3X-4X.

https://t.co/83diJSdDja

[Sergey Durnov @DurnovSergey]

@CryptoHolixxx @DenisMazychev 20-30 years? Absolutely not true. If you didn’t die young, you had good chances to live a long life. But anyway, if you have more options, then not selecting procreation among them is especially dumb.

[Sergey Durnov @DurnovSergey]

@kibergnida1337 @ItsmeAjayKV не, 3x я наверное преувеличил, но около 30тс на контексте 120к он выдает. Максимальный тоже тянет, но там будут уже твои 15-16. Но это все равно круто, ибо с 27b 120 без MTP - это предел

[Sergey Durnov @DurnovSergey]

@kibergnida1337 @ItsmeAjayKV Ща прогоню финальные циферки и скину

[Sergey Durnov @DurnovSergey]

@ItsmeAjayKV it’s on a 64gb ram ddr4 machine btw, with around 16gigs busy with my docker containers.

[Sergey Durnov @DurnovSergey]

@ItsmeAjayKV Man, I’m doing context ladder of q4 3.8 flash next on my 5060Ti and so far it is 2x-3x times faster decode than q4 27b, and with much larger context (200k vs 114k already). I don’t think we need 27b anymore, like what’s the point 😂

[Sergey Durnov @DurnovSergey]

@needmorevram q4 on Llama btw

[Sergey Durnov @DurnovSergey]

@needmorevram Running on my 5060Ti much faster than 27B and with much larger context😭 That’s insane. The only thing which is slow is prefill. 200-300 vs 600-800.