Transformers without positional embeddings are functionally the same as dLLM and has better scaling law than transformers with positional embeddings.
It is also much easier and stable to train transformer than dLLM due to much prior work.
I would position dLLM as a "cost arbitrage" over LLMs, i.e. faster generation with much higher token throughput.
It's relieving to see that other researchers are finally seeing the light.
We have been blindsided by LLMs. We need new methods if we want to truly reach AGI.
We cannot become like physics. Their field stagnated for decades after Einstein's big discoveries.
Pour que vous compreniez bien ce qu'il s'est passé avec ce nouveau massacre de l'armée israélienne
Ils ont d'abord bombardé l'hôpital Nasser. Ils ont ensuite attendu l'arrivée des ambulanciers, des premiers secours et des journalistes.
Puis ils ont de nouveau bombardé l'hôpital pour faire encore plus de victimes civiles. Des crimes de guerre à la chaine qui perpétuent le génocide, avec le soutien des dirigeants occidentaux
Tous les palestiniens avec qui je suis en contact disent qu’il n’y a plus rien à acheter pour se nourrir dans la bande de Gaza
Si l'état israélien n'est pas forcé à lever le blocus, de plus en plus d'enfants en bas âges souffrant de malnutrition vont passer à un stade avancé de la maladie
On parle de milliers d'enfants qui sont déjà extrêmement fragiles et dont le pronostic vital va être engagé à cause de la faim
Des milliers d’adultes suivront aussi
Le génocide continue
« Israël a tué une classe pleine d’enfants chaque jour » selon l’office de secours et de travaux des Nations Unies
Mais on bégaye encore à imposer une seule sanction sur l’état israélien, une seule
Personne oubliera