Agrigentino, milanista, zio, ingegnere, talvolta rompiscatole e (dicono) parco: il tutto mescolato, non agitato..
'No one was born to be a servant or a slave'
To summarize: HuggingFace got autonomously compromised by a model from an American company. HF then tried to use American frontier model(s) to defend themselves, but were blocked by guardrails. HF then had to turn to open source Chinese models to defend themselves from another American company.
I just pushed a new version of DwarfStar that is likely to break stuff, too many new things: 1. micro-batching. 2. CUDA multi device support. 3. GLM5.2 4. Metal tensor parallel execution (via RDMA). 4. DSpark speculative execution. 5. Many other things probably.
Very cool to see that we users of software now actively adapt it to our needs. This is going to be, I believe, standard practice, and this changes the way software must be designed and shipped.
When there is *actual* competition and breakthroughs, you see a company taking the total lead for a few years. But this does not happen when it is mostly scaling of ideas produced by others in the past + GPU + experts.
Ieri il Parlamento europeo ha votato per far passare con procedura d'urgenza il cosiddetto Chat Control: 331 favorevoli, 304 contrari.
Ancora una volta ci raccontano che è "per proteggere i bambini". Hanno davvero rotto i coglioni.
Ogni volta il copione è identico. Se vuoi più controllo tiri fuori una categoria che nessuno osa mettere in discussione. I pedofili. I minori. Durante il Covid gli anziani. Domani sarà qualcos'altro.
Il problema non è perseguire i criminali. Quello è sacrosanto.
Il problema è normalizzare l'idea che le comunicazioni private possano essere sottoposte a controlli sempre più invasivi, e che chiunque osi chiedere limiti e garanzie venga trattato come se fosse dalla parte dei criminali.
Le libertà non spariscono da un giorno all'altro. Si restringono un pezzo alla volta, sempre con una motivazione che sembra inattaccabile.
Se questa è la direzione che l'Europa vuole prendere, sta scegliendo un modello di sorveglianza sempre più invasivo. E quando un'infrastruttura del genere esiste, non puoi sapere come verrà usata fra qualche anno, né da chi.
Giovedì ci sarà il voto decisivo. Speriamo che qualcuno si ricordi che la privacy non è un privilegio dei criminali... Ma un cazzo di diritto dei cittadini.
@kfirgollan There are other folks doing optimizations, but I work at specific things and submit PRs or internal ideas. However I believe to be the only one that is right now using the approach: human comes up with interesting optimization ideas, AI implements them.
The question is also *how do you ban* a blob of weights even within the US? It is impossible and the Internet is a proof of that at so many levels. People will go from a city to the other with hard drives, copy weights, share inference code. Hardware level protection is limited too.
Worrying thing with modern AI: GPT 5.5 explains me in hyper-GPU-jargon why something can't go faster than that. I finally understand its words, provide a hint on how to circumvent the problem, and it can get the win I expected. So GPT 5.5 is brilliant-jerk-ing every day more. Bad
Generation speed in short contexts is much better, like 13.5 t/s. The generation speed number you see in the status bar is not really reliable, it is faster than that as you can see visually, but there is an upfront setup cost that must be reduced.