ДЛж

Академия художеств им. Репина | Юмористический институт им. Вымени

[ДЛж @supertupost]

капец…..

[ДЛж @supertupost]

есть пробитие :(

#WorldCupHype

[ДЛж @supertupost]

Спасибо одному Мартинесу за то что другой Мартинес не будет (скорее всего) демонстрировать как отыграет хуже Возиньи в серии пенальти #FIFAWorldCup

[ДЛж @supertupost]

🇦🇷🇦🇷🇦🇷
#FIFAWorldCup

[ДЛж @supertupost]

современное искусство (и искусствоведение) - пишешь рецензию на выставку, один из экспонатов которой «Счастье» Романа Ходырева. Сравниваешь произведение с инсталляцией Бориса Матросова «Счастье не за горами», обязательно упоминаешь о его популяризации сериалом «Реальные пацаны»

[1red2black | AI / ML / BigData | RU @1red2black]

Малоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.

Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У НЕЙРОСЕТЕЙ МНОГОРАЗОВЫХ ЗАДАЧ НЕ СУЩЕСТВУЕТ. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.

Иначе пользователь чувствовал бы себя как в дурке, ИИ его бы постоянно как бы газлайтил, изменяя старые ответы без предупреждения. По факту, история переписки в ИИ-чатах фиксирована, тем или иным способом.

Почему так сделали? Ну, как придумали по-быстрому, так и сделали. И так сойдет. Отрасль развивается так стремительно, что страшно засыпать - пока ты спишь, кто-то пишет и публикует новые работы. Есть все основания считать, что такая ситуация не будет вечной.

На этом людям, которые вообще не изучали программирование, можно дальше не читать. Разоблачение деталей фокуса треб��ет некой матчасти, включая указание сложности алгоритмов и такие слова как "кэш".

У многих нейросетей можно указывать настройки. Особенно если это не веб-интерфейс ChatGPT, а нечто, запущенное локально на твоем компьютере. И Если додолбаться до слов, то при фиксированных параметрах запуска (например, temperature=0 и seed), и идентичном входном вопросе, ответ детерминирован. Но кому нужна нулевая температура и одинаковые ответы тулов? Кроме того, настоящие процессоры из железа отличаются от идеальной математической модели. Арифметика с плавающей точкой на GPU недетерминирована по умолчанию. Даже с одинаковым сидом, можно получить разные ответы на разных GPU или даже разных запусках. С общей тенденцией делать облачные "kubernetes для GPU", которой сейчас озабочены примерно все, БЫТЬ УВЕРЕННЫМ НЕЛЬЗЯ НИ В ЧЕМ.

При увеличении контекста, у тебя нелинейно (в большую сторону) растёт РАСХОД И СТОИМОСТЬ всех используемых ресурсов. Можно об этом думать как о последовательном увеличении стоимости токена и прогрессирующем отупевании.

Квадратичная сложность, минимум O(n²) по длине контекста — это фундаментальная проблема текущего поколения механизмов внимания. Генерация n+1-го токена требует внимания ко всем предыдущим n. Это жесть.

Существуют смелые эксперименты как поправить это фунда��ентально. Некоторые новые архитектуры (Mamba, RWKV) могут дать почти линейную сложность. Но это не то, чем вы пользуетесь в интерфейсе ChatGPT, и не на эти эксперименты Трамп собирается сжечь 500 миллиардов денег.

AI-модели текущего поколения - все stateless, у них нет "памяти разговора" между вызовами API.

Конечно, за последнее время придумали лютую гору оптимизаций, и теперь это утверждение "каждый раз заново" - это не совсем так. Самая мощная оптимизация - и самая первая приходящая в голову! - это кэш ключ-значение. Проекции уже обработанных токенов кладутся в кэш, и это означает теоретическую почти линейную скорость O(n).

Но по факту, у тебя и нейросеть там не одна работает (особенно в мультиагентных мульт��модальных решениях - типа генерации картинок внутри ChatGPT), и инструменты выдают неповторяющиеся результаты, и накладные расходы имеются. Короче, всё не так радужно, и там не O(n).

И справедливо всё это только для инкрементальной генерации следующего токена. Первичная обработка всего промпта всё равно O(n²).

KV-cache экономит на повторном вычислении K и V для старых токенов. А вот attention для каждого нового токена всё равно требует просмотра всех предыдущих — это O(n) на токен. Корректнее: KV-cache превращает генерацию m токенов из O((n+m)² · layers) в O(n² + nm · layers). Это существенная экономия, но не "почти линейная" в общем смысле.

Получается, общая сложность генерации m токенов: O(n² + nm + всякая_фигя) · непонятный_коэффициент + оверхед. Не очень опитмистичная формула. Ну, если вы вдруг задумывались, зачем греются датац��нтры и сливаются бабки, то вот на это.

Но для богатого молодого человека, которому наплевать на стоимость токенов, всё равно есть один дракон, которого не победить деньгами.

По ходу диалога нейросеть становится не только дороже, но и тупее. ��ипичные ошибки это "lost-in-the-middle" — модели хуже извлекают информацию из середины длинного контекста и "attention dilution". Softmax размазывается по большему числу токенов, да и сама модель в период обучения учится определённым паттернам внимания на тренировочных данных с ограниченной длиной.

Про это тоже придумали множество оптимизаций, типа sparse attention и разные чудеса, которые показывает Gemini на контексте в миллион токенов. Большинство коммерческих моделей до сих пор использует до вполне себе dense attention, но с оптимизациями типа FlashAttention.

Казалось бы, всё хорошо? Напротив. Проблема встала только острее, потому что, если раньше миллион токенов казался каким-то заоблачным числом, теперь это просто час работы программиста в Claude Code / OpenAI Codex / Antigravity.

Но! Релевантный контекст всё ещё помогает. Это не монотонная неизбежная деградация, а "немного избежная". Например, обратная сторона lost-in-the-middle - это полезный recency bias. То, что ты сказал в самом начале разговора, и то что ты сказал самым последним запросом - имеет больший приоритет, чем всё остальное. Поэтому, нужно самые важные вещи либо говорить сразу в начале разговора. Либо повторять раз за разом, снова и снова - как дедушке с деменцией, или как очень тупой подруге.

Таких приёмов много. Когда ты используешь нейросеть, ты их моментально их придумываешь на ходу. Это не какой-то учебник со "всеми правильными пр��емами". Ты понимаешь, как работает эта конкретная нейросеть, на каких принципах она основана, какие у нее плюсы и минусы, как ее обучали - и быстро придумываешь способ справиться с проблемами.

Айзек Азимов когда-то предположил появление робопсихологов. А это скорее, робопсихиатрия - когда ��бычная психология не помогает, но можно глотать очень хорошо подобранные колёса. Если вы не знаете, чем бы заняться в изучении нейросетей - можно посмотреть на это, там поразительная глубина.

[ДЛж @supertupost]

@LeninTakoy @bellendmusk Это потому что прическу не видно

[Последний север🥶🦭 @winterishereboy]

Фото двух ведер не м��жет сделать тебе больно.
Фото:

[Jeb Ralston @Jeb_R]

I have just the book for you

[ДЛж @supertupost]

@kussington Зато куртка на зиму

[ДЛж @supertupost]

чуть два пива в шашлычке у дома выпьешь, и горилаз ощущается как пластилиновая музыка

[ДЛж @supertupost]

«человек постоянно видит себя лишь в зеркале и переживает за свое отражение больше, чем за себя настоящего»

[ДЛж @supertupost]

@unlegalgirl @innerchuckle Из свежака еще яблоко

[ДЛж @supertupost]

@AndyIII1 @AvdNester @hugochavezz11 Т

[ДЛж @supertupost]

@svjatsvjatsvjat https://t.co/MkfDmFf69Y

вот дом, у которого оставлены и отреставрированы только фасады, вся внутрянка новостройка

при покупке бонусом становитесь соседями с очень знаменитым русским олигархом

[ДЛж @supertupost]

пророчество

[Vasily Vereshchagin @artvereshchagin]

Japanese Beggar

[ДЛж @supertupost]

@YaBaldyu @RocxyRKR Крутая продуманская стратегия со сносом, конечно😁
Но ��ирпичные и бетонные кварталы так не выгорают за час-два, как субурбия картонных домиков, соответственно, не нужно такого массового вложения средств на сносы и пере��тройки

[ДЛж @supertupost]

@DeathWhinny @YaBaldyu @RocxyRKR Такая гарь годами выветривается, поэтому предпочитают снос

[ДЛж @supertupost]

уровень благосостояния будет расти, но в моей голове навсегда читос пицца и спирали