Zachary

working on cracking AI routing at @fdotinc

[Zachary @edingele59581]

"Science is what we understand well enough to explain to a computer.
Art is everything else we do."

That's what AI is about.

[Paul Graham @paulg]

This is yet another reason it's good for young founders, especially, to start by building something they themselves want. If you're the intended user, you're not going to be satisfied with vague. (Nor is any user, but at least this way you're forced to see it.)

[Nisarg @nisargxj]

We built a robot to support caregivers, reduce burnout, and enhance care

[Zachary @edingele59581]

@KayaHickin Thanks bro

[Zachary @edingele59581]

@aritro_bh Thank's !

[Zachary @edingele59581]

Cut your agent cost by 63% in one prompt.

[Zachary @edingele59581]

@daltonmeon for sure

[m_ric @AymericRoucher]

Je suis d'accord avec Le Cun là dessus, et c'est orthogonal à l'étude d'Anthropic sur le J-space.

On sait (cf papier en commentaire) qu'un LLM est limité par sa profondeur (nombre de layers) à une certaine complexité maximale de problèmes.
En gros, pour un problème qui demande de panser à N coups d'avance (par exemple un "mat en N coups" ou le problème des tours de Hanoi), si la profondeur de ton LLM n'est pas supérieure à une fonction polynomiale de N, il n'y arrivera pas du tout.

C'est pour ça que Chain-of-Thought a tant explosé les scores et, après avoir commencé comme un gadget "let's think step-y-step" en 2023, est devenu un mécanisme fondamental de TOUS les LLM auourd'hui: CoT est un excellent moyen pour le LLM de loop sur un input. Les LLM passe une fois sur l'input, en déduit un token, repasse sur l'input +1 token, en déduit un autre...
ça débloque toutes les classes de problèmes. C'est expliqué plus rigoureusement dans le papier en commentaire.

Maintenant, si on accepte ce framework de "les transformers son naturellement limités en complexité, et le CoT est un moyen de loop"
Alors la loop est en effet un peu pauvre, on ne passe que quelques bits d'info à chaque l'itération suivante. C'est d'ailleurs un problème que des architectures de Recurrent Transformers dont HRM ou TRM pourraient résoudre en passant de vrais vecteurs.

De son côté, le papier d'Anthropic porte seulement sur "comment se passe une forward pass", pas sur la CoT. Ils y voient des représentations vectorielles complexe, mais ça ne dit rien sur l'efficacité ou pas de la CoT.

[Zachary @edingele59581]

@mattepstein motion

[Zachary @edingele59581]

Token optimizing > Token maximizing

[Zachary @edingele59581]

Token optimizing > Token maximizing

[Sadri @0xSadri]

AI Underwear so you don't get injured anymore.

[Zack Z @_zackzuniga]

wait…@fdotinc beat WHO in the tech world cup?

[SemiAnalysis @SemiAnalysis_]

Transformer’s Attention mechanism has come a long way. We’d like to thank the researchers and the engineers in the open-source community for continuing to make high-performance AI accessible. Please celebrate with us by sharing this post, tagging more contributors, and sharing anecdotes to complete the open history of Attention! (1/8)🧵

[Oussama Ammar @daedalium]

... I don't even know where to start ...

[Zachary @edingele59581]

Human size robot fighting?!
SF is definitely a crazy place 😂

[Lucas Beyer (bl16) @giffmana]

lololol, @AnthropicAI I know this is currently the least of your problems, but maybe don't vibe-translate your UIs too much :D

I tried out the Claude chrome extension. And it's in French because that's my browser language. It translates "approve the plan" to "approuve le forfait".

"Le forfait" as used here does mean "the plan" but... "plan" as in "phone plan" not as in "plan of actions"!

Took me a nice 10min until I realized why the fuck it calls its plan a "forfait"

[Oussama Ammar @daedalium]

Day 1 with Fable: $376 in extra usage fees. I can see my future in open source more clearly than ever.

[elie @eliebakouch]

mythos will be bad ON PURPOSE on ai "frontier llm research" tasks, this is very very sad for the research community

also the fact that this is un purpose not visible to the user is crazy

[Zachary @edingele59581]

Coucou = Hey in french

[Zachary @edingele59581]

That's what they call AGI ?