⚫️⚪️ | Hugo Souza contando que o lateral-direito Vitor Jacaré havia comprado passagem de ônibus e pedido ingresso para o Romero para estar presente na torcida do Corinthians na final da Copa do Brasil, no Maracanã.
🎥 | Podpah
Além de correr risco de rebaixamento, o Corinthians está fora da Copa do Brasil 2025.
Mas relaxa, eles têm o Memphis Depay no time, isso que importa… kkkkkkkkkkkkkkkkkkkkkkkkkk
Excited to release new repo: nanochat!
(it's among the most unhinged I've written).
Unlike my earlier similar repo nanoGPT which only covered pretraining, nanochat is a minimal, from scratch, full-stack training/inference pipeline of a simple ChatGPT clone in a single, dependency-minimal codebase. You boot up a cloud GPU box, run a single script and in as little as 4 hours later you can talk to your own LLM in a ChatGPT-like web UI.
It weighs ~8,000 lines of imo quite clean code to:
- Train the tokenizer using a new Rust implementation
- Pretrain a Transformer LLM on FineWeb, evaluate CORE score across a number of metrics
- Midtrain on user-assistant conversations from SmolTalk, multiple choice questions, tool use.
- SFT, evaluate the chat model on world knowledge multiple choice (ARC-E/C, MMLU), math (GSM8K), code (HumanEval)
- RL the model optionally on GSM8K with "GRPO"
- Efficient inference the model in an Engine with KV cache, simple prefill/decode, tool use (Python interpreter in a lightweight sandbox), talk to it over CLI or ChatGPT-like WebUI.
- Write a single markdown report card, summarizing and gamifying the whole thing.
Even for as low as ~$100 in cost (~4 hours on an 8XH100 node), you can train a little ChatGPT clone that you can kind of talk to, and which can write stories/poems, answer simple questions. About ~12 hours surpasses GPT-2 CORE metric. As you further scale up towards ~$1000 (~41.6 hours of training), it quickly becomes a lot more coherent and can solve simple math/code problems and take multiple choice tests. E.g. a depth 30 model trained for 24 hours (this is about equal to FLOPs of GPT-3 Small 125M and 1/1000th of GPT-3) gets into 40s on MMLU and 70s on ARC-Easy, 20s on GSM8K, etc.
My goal is to get the full "strong baseline" stack into one cohesive, minimal, readable, hackable, maximally forkable repo. nanochat will be the capstone project of LLM101n (which is still being developed). I think it also has potential to grow into a research harness, or a benchmark, similar to nanoGPT before it. It is by no means finished, tuned or optimized (actually I think there's likely quite a bit of low-hanging fruit), but I think it's at a place where the overall skeleton is ok enough that it can go up on GitHub where all the parts of it can be improved.
Link to repo and a detailed walkthrough of the nanochat speedrun is in the reply.
CHEGOU O MOMENTO, FIEL! 🎥
É hora de ver tudo o que rolou nos bastidores da classificação para as quartas de final da Copa do Brasil 2025! 🏴🏳️🤩
Confira agora na Corinthians TV 👉🏽 https://t.co/IJuL06UHcT
#PaiDoAno#VaiCorinthians
Eu estou vestido com as roupas e as armas de Jorge
Para que meus inimigos tenham mãos
E não me toquem
Para que meus inimigos tenham pés
E não me alcancem
Para que meus inimigos tenham olhos
E não me vejam
E nem mesmo pensamento eles possam ter
Para me fazerem mal
FIM DE JOGO! ESTAMOS NAS QUARTAS DE FINAL DA COPA DO BRASIL! 😎
Assim como no Paulistão, o #PaiDoAno não perdoou, mostrou quem é quem manda e passará o Dia dos Pais da melhor forma possível! 😅🏴🏳️
Palmeiras 0 🆚 2 Corinthians
⚽ Matheus Bidu
⚽ Gustavo Henrique
#VaiCorinthians
O elenco do Timão recebeu a visita do Corinthians Down, categoria de futebol do Corinthians com garotos com a condição genética de Síndrome de Down. Os atletas do elenco principal interagiram com os meninos em um momento de muito afeto no CT Dr. Joaquim Grava. 🖤🤍
No fim deste mês de julho, o Corinthians Down participará da Genuine World Cup, em Houston, nos Estados Unidos. O Timão será o único representante brasileiro no torneio, que contará com 40 clubes de todo o mundo com atletas com neurodeficiências, como a síndrome de down, autismo e outras.
Veja completo na Corinthians TV 👉🏽 https://t.co/c6EWp5N0NQ
#VaiCorinthians
My thermonuclear take is that this was a thoughtful, well-written book.
But the evolution of programming languages to support functions as a first class citizen made much of the content obsolete.
E.g. you rarely need the Template Method pattern when you can just pass a lambda.
A Democracia Corinthiana é um dos capítulos mais poderosos da nossa história.
E é por isso que fazemos questão de lembrar: memória é resistência.
Hoje, relembramos os dias 31 de março e 1º de abril de 1964 — quando um Golpe de Estado deu início à Ditadura Militar no Brasil.
Ditadura nunca mais.
Democracia, sempre. ✊🏾
Os Alquimistas estão online!
Levamos o Jorge Ben Jor pra Paris e na volta trouxemos esse clipe inédito da nova gravação de "Os Alquimistas Estão Chegando".
Vem conferir!