Viktor

Research

[Arvind Narayanan @random_walker]

To understand and empathize with how workers in many or most fields outside software experience advances in AI capabilities, I propose a little thought experiment. https://t.co/QZG24aRiBe

[Viktor @vdmitriyev]

Nice to be in London during the last accord of the best performance of England team in the World Cup this century so far 🥅 ⚽️

[Viktor @vdmitriyev]

What a game 🥅⚽️

[Tom Gauld @tomgauld]

My latest @newscientist cartoon

[Samat Galimov @samat]

Очень интересно про ИИ-чипы и стоимость инференса.

Вопрос не теоретический: мы планируем продолжать работу с клиентом, для которого проводили аудит огромной старой кодовой базы, и если в прошлый раз вся работа с нейросетями влезла в 200-долларовую подписку, то теперь, когда github copilot просит денег за каждый токен, такая же работа встанет в 2 тысячи долларов.

Ребята недавно провели эксперимент и выяснили, что личные подписки на клод в 20, 100 и 200 долларов дают сжечь токенов на 400, 2000 и 8000 долларов в месяц соответсвенно. Для тарифов OpenAI, коэффициент ещё выше — 700, 3500 и 14000 долларов в месяц (до 70x!).

Насколько сильно субсидированы эти подписки? Какая маржинальность у продажи токенов крупным потребителям? От этого зависит, сохраним ли мы текущий уровень доступа к ведущим моделям или мы с вами живем короткий «золотой век ИИ». Учитывая, что и Anthropic и OpenAI готовятся к выходу на биржу, верить никому нельзя :(

Тут конечно все вспоминают бум строительства железных дорог, или пузырь доткомов. Большинство компаний, которые строили железные дороги или прокладывали оптоволоконные кабели обанкротились, но рельсами и оптоволокном мы пользуемся до сих пор. Поживем — увидим.

⁕ ⁕

На пятки этим SOTA моделям наступают китайские open-source и open-weight аналоги GLM-5.2, Minimax M3, Kimi K2.6. Последние месяцы они неустанно приближаются по качеству к ведущим производителям, но зазор всё ещё есть. Доступ к ним по API можно купить в разы дешевле, потому что они меньше, более оптимизированы и конкуренция между провайдерами выше.

Интересный аспект: китайским пользователям, так же и как и россиянам, официальный доступ к клоду и chatgpt закрыт, так что есть десятки спекулянтов, которые регистрируют сотни и тысячи аккаунтов, покупают на них подписки и перепродают доступ к ведущим американским моделям.

Ходят слухи, что эти «арбитражники ИИ-подписок» в Китае зарабатывают в два конца. Сохраняют всю переписку пользователей с нейросетями (ведь все запросы проходят через них) и продают эти логи создателям китайских моделей. А те потом используют эти логи для дообучения своих моделей.

Вообще, если ты можешь задавать вопросы мощной модели, обучение которой стоило десятки миллионов долларов, можно за небольшую долю этих денег произвести так называемую «дистилляцию», и обучить маленькую модель быть почти такой же умной, как и большая. Именно в этом сегодня Anthropic обвинил китайского гиганта Алибабу.

⁕ ⁕ ⁕

Третья часть этого поста — про будущее.

Вчера OpenAI представила первый кастомный чип, который, якобы, на 50% оптимальнее для инференса, чем чипы от NVIDIA. Печатает их TSMC, проектирует Broadcom, стандартный комплект.

Энтузиаст недавно прошил microGPT прямо на FPGA. Это такие процессоры, логику работы которых можно поменять за несколько секунд-минут (перепрошить). У них относительная низкая тактовая частота (сотни и даже десятки мегагерц против гигарец современнных процессоров), зато если получится уложить весь алгоритм в «железную логику», то чип начинает выдавать готовый ответ на каждый такт, то есть миллионы раз в секунду. FPGA используют для обработки видео, сигналов, на ракетах и в радарах — в приложениях, где важна скорость и надежность. Есть много экспериментов, когда в них укладывали небольшие модели.

Компания TAALAS пошла дальше всех и разработала чип, который реализует Llama 3.1 8B прямо в кремние. Это приличная open source модель 2 летней давности, пусть и с небольшим контекстом (6 тысяч токенов против привычных сотен тысяч сегодня). Самая крутая ИИ-карта Nvidia B200 дает 353 токена в секунду на пользователя в этой модели, а аппаратная реализация TAALAS — 16 тысяч токенов в секунду. Попробовать самому можно на сайте chat jimmy. А теперь представьте, что это нормальная взрослая модель и используется для разработки софта. Дух захватывает.

P. S. Параллельно развиваются специализированные локальные модели, которые работают на компьютерах и телефонах пользователей (тут впереди всех Apple) и есть отдельное движение за децентрализованный инференс (как у криптовалют), у его апологетов я недавно брал интервью, но это уже совсем отдельная история.

[Viktor @vdmitriyev]

A collection of stickers. What a nice lady at the shop, who gave them to me 👌

[Ivan Velichko @iximiuz]

https://t.co/L9sdOpCEtf

[andrei saioc @asaio87]

Nobody wants to admit it but "vibecoding" works until your app has actual users. Then you discover what senior engineers have been getting paid for.

[ThePrimeagen @ThePrimeagen]

i hate how a few people will use a term and it will just become the "thing you should be doing."

99.9999% of you should in fact not being "looping" your agent

[Armin Ronacher ⇌ @mitsuhiko]

This is such a good post. https://t.co/IdmAnh18Nt

[Roman Elizarov @relizarov]

Rolling out AI across an organization quickly shows who creates value, who creates noise, who resists, and who just waits. I map them with a simple 2x2. 🧵

[Charlie Marsh @charliermarsh]

We wrote up everything we do to secure our open source projects at Astral

[Viktor @vdmitriyev]

Looks beautiful, but dangerous 🔥

[Viktor @vdmitriyev]

Uploaded first program to a ESP32 board today 🤩

[Armin Ronacher ⇌ @mitsuhiko]

There will be more of this. And as much as we're joking about it, we're seeing a massive degradation of code quality right now and we're increasingly only catching it way too late.

[Viktor @vdmitriyev]

@bunopus Так и есть. Пока правда не придумал другой быстрой метрики проверки легитимность пакетов - кроме истории релизов

[Viktor @vdmitriyev]

https://t.co/cq1sje5e8G

[Viktor @vdmitriyev]

isqa is CLI utility for quality assurance of GitLab issues, which has been recently released. The tool helps a bit to solve a task of managing issues in Gitlab

[Marco Franzon @mfranz_on]

"Python is slow because its dynamic design requires runtime dispatch on every operation"

This article is full of good hits for understanding better how python works. Very good work!