ElectroDod

[Sam Weinstein @samweinstein]

@johnternus First order of business.

[Jared Isaacman @rookisaacman]

Thank you, Mr. President @POTUS, for this opportunity. It will be an honor to serve my country under your leadership. I am also very grateful to @SecDuffy, who skillfully oversees @NASA alongside his many other responsibilities.

The support from the space-loving community has been overwhelming. I am not sure how I earned the trust of so many, but I will do everything I can to live up to those expectations.

To the innovators building the orbital economy, to the scientists pursuing breakthrough discoveries and to dreamers across the world eager for a return to the Moon and the grand journey beyond--these are the most exciting times since the dawn of the space age-- and I truly believe the future we have all been waiting for will soon become reality.

And to the best and brightest at NASA, and to all the commercial and international partners, we have an extraordinary responsibility--but the clock is running. The journey is never easy, but it is time to inspire the world once again to achieve the near-impossible--to undertake and accomplish big, bold endeavors in space...and when we do, we will make life better here at home and challenge the next generation to go even further.

NASA will never be a caretaker of history--but will forever make history.

Godspeed, President Donald J. Trump, and Godspeed NASA, as America leads the greatest adventure in human history 🇺🇸

[ElectroDod @ElectroDod]

@A_Kapustin

[ElectroDod @ElectroDod]

Курск рубля

[Andrej Karpathy @karpathy]

In 2019, OpenAI announced GPT-2 with this post:
https://t.co/jjP8IXmu8D

Today (~5 years later) you can train your own for ~$672, running on one 8XH100 GPU node for 24 hours. Our latest llm.c post gives the walkthrough in some detail:
https://t.co/XjLWE2P0Hp

Incredibly, the costs have come down dramatically over the last 5 years due to improvements in compute hardware (H100 GPUs), software (CUDA, cuBLAS, cuDNN, FlashAttention) and data quality (e.g. the FineWeb-Edu dataset). For this exercise, the algorithm was kept fixed and follows the GPT-2/3 papers.

Because llm.c is a direct implementation of GPT training in C/CUDA, the requirements are minimal - there is no need for conda environments, Python interpreters, pip installs, etc. You spin up a cloud GPU node (e.g. on Lambda), optionally install NVIDIA cuDNN, NCCL/MPI, download the .bin data shards, compile and run, and you're stepping in minutes. You then wait 24 hours and enjoy samples about English-speaking Unicorns in the Andes.

For me, this is a very nice checkpoint to get to because the entire llm.c project started with me thinking about reproducing GPT-2 for an educational video, getting stuck with some PyTorch things, then rage quitting to just write the whole thing from scratch in C/CUDA. That set me on a longer journey than I anticipated, but it was quite fun, I learned more CUDA, I made friends along the way, and llm.c is really nice now. It's ~5,000 lines of code, it compiles and steps very fast so there is very little waiting around, it has constant memory footprint, it trains in mixed precision, distributed across multi-node with NNCL, it is bitwise deterministic, and hovers around ~50% MFU. So it's quite cute.

llm.c couldn't have gotten here without a great group of devs who assembled from the internet, and helped get things to this point, especially ademeure, ngc92, @gordic_aleksa, and rosslwheeler. And thank you to @LambdaAPI for the GPU cycles support.

There's still a lot of work left to do. I'm still not 100% happy with the current runs - the evals should be better, the training should be more stable especially at larger model sizes for longer runs. There's a lot of interesting new directions too: fp8 (imminent!), inference, finetuning, multimodal (VQVAE etc.), more modern architectures (Llama/Gemma). The goal of llm.c remains to have a simple, minimal, clean training stack for a full-featured LLM agent, in direct C/CUDA, and companion educational materials to bring many people up to speed in this awesome field.

Eye candy: my much longer 400B token GPT-2 run (up from 33B tokens), which went great until 330B (reaching 61% HellaSwag, way above GPT-2 and GPT-3 of this size) and then exploded shortly after this plot, which I am looking into now :)

[Andrey Smetanenko @AndreySmetanen6]

Анна Политковская:
" СССР - это не автоматы с газировкой, а ГУЛАГ и 4 миллиона доносов.
CССР - это маразматики у власти и бедность, как норма жизни.
СССР - это лицемерие. При показном антизападничестве поездка за границу - это поощрение, а вещь из-за границы - небывалая удача⬇️

[Maria Pevchikh @pevchikh]

Посмотрела интервью Ходорковского. Мне оно совсем не понравилось, но по паре важных моментов всё-таки выскажусь. Тех, которые касаются ценностей, границ допустимого в политике и прочих вещей, которые пригодятся в будущем. Тред!

[Lior Alexander @LiorOnAI]

Today OpenAI released GPT-4o. It's the JARVIS we all dreamed of.

The 5 most incredible examples so far:

[Рустем Адагамов @adagamov]

Cначала они угробили 9 мая своим отвратительным победобесием, этими плясках на костях, фальшивыми ветеранами, бесконечным враньем. А потом окончательно добили, напав на Украину. Для меня, который еще мальчишкой бегал к Большому театру, чтобы посмотреть как там встречаются фронтовики, 9 мая больше не существует, его испоганили вконец. Теперь Россия являет собой то, что она победила в 1945-м — фашистское, милитаристское государство, угроза всему живому.

[左の街からこんにちは @Hidarino_Machi]

@tim_cook You destroyed all the creative tools and effort of humans. Worst. Commercial. Ever.

[Oli London @OliLondonTV]

Jewish student wearing a Star of David necklace DENIED entry to his own university because he is JEWISH.

“I’m a UCLA student. I deserve to go here. We pay tuition. This is our school and they are not letting me walk in.”

Masked activists refused to let the student enter.

[Проф. Преображенский @prof_preobr]

Судебный пристав запретил журналистке Антонине Фаворской на суде показывать "сердечки", так как это "тайный знак экстремистского сообщества".

Понятно вам?
Слова "нет войне" в России - экстремизм.
Радуга в России - экстремизм.
Жёлтое солнце на голубом небе в России - экстремизм.
Теперь и сложенное пальцами сердечко в России - экстремизм.

А призывы Красовского топить детей и призывы Гоблина (Пучкова) массово убивать украинцев - это в России патриотизм и традиционные ценности.

Фашизм в чистом виде.

[Проф. Преображенский @prof_preobr]

Симоньян заявила, что тех, кто "подпишется на антироссийские чаты", надо навсегда высылать из России.

Вы заметили, как быстро совсем уж позорная шваль присвоила себе право говорить от имени России?
Симоньян, в жизни не прочитавшая трёх книжек и не владеющая толком русским языком, решает, кому жить в России.
Соловьёв, десятилетиями бравший деньги за любую заказуху, в том числе от иностранцев, решает, кто России враг.
Гундяев, офицер КГБ и миллиардер, сколотивший состояние на контрабанде, решает, что для россиянина скрепно.
Алкаш Гурулёв, убийца Луговой и вор Володин в Думе решают, какие книги россиянам можно читать.
Уголовники, помилованные Путиным, рассказывают в школах детям, как им вырасти "правильными россиянами".

Подонки, дегенераты, убийцы, воры, людоеды все как один полезли в современной России в духовные наставники нации.
К сожалению, будущее нации, у которой такие духовные наставники, предельно ясно и одновременно предельно мрачно.

[Пeрзидент Роисси @KermlinRussia]

Удивительный парадокс:
• всех оппозиционных политиков убили или посадили
• всех независимых журналистов выдавили из страны
• уже режиссеров и поэтов сажают за экстремизм
• и даже ЛГБТ признали экстремистской организацией

А предотвратить теракты всё равно не получается.

[ElectroDod @ElectroDod]

Вы помните, когда зарегистрировались в X? Я — да. #МояГодовщинаВX

[anna biryukova @a_biryukova]

Спасибо всем за слова поддержки.
Мы дома. У Леонида сломана рука, и пока он не может ходить — сильный ушиб от ударов молотком.

Выбирать — бежать к мужу, на которого напали или не оставлять одних спящих детей — отвратительно, никому не пожелаю.

Работать мы все будем еще больше. И еще злее.

[Пердизент @perdisentfromru]

Кац пытается нас всех убедить что это было учение

Верим? Конечно!!! 🤡

[Проф. Преображенский @prof_preobr]

В Швейцарии на референдуме поддержали выплату пенсионерам в конце каждого года "13-й пенсии" и отвергли повышение пенсионного возраста.

Что мы узнаём из этой новости?
Сразу 4 вещи:

1. Оказывается, референдумы бывают. В России референдумов не было больше 30 лет.

2. Оказывается, люди таки могут сами решать насчёт пенсионного возраста. Когда Путин повышал пенсионный возраст в России, нам объясняли, что граждане ещё не доросли до того, чтобы иметь своё мнение по такому вопросу.

3. Оказывается, даже ��дна только "13-я пенсия" - в Швейцарии она составит 2450 франков, или 250 тыс. рублей - может быть больше, чем пенсия российского пенсионера за целый год. В "крохотной и гибнущей" Швейцарии пенсионеры получают в десятки раз больше, чем в "великой и процветающей" России.

4. Оказывается, чтобы иметь всё, перечисленное в первых трёх пунктах, людям не нужны традиционные ценности, великий нацлидер и захватнические войны. Ровно наоборот: нужны гражданские свободы, сменяемая власть и мир.

[Пeрзидент Роисси @KermlinRussia]

Гора цветов на могиле "террориста и экстремиста" Навального уже закрывает крест. Надеюсь, эта фотография попадёт в красную папочку бункерному деду и его хватит удар.