@nakotobuse ну нас точно ждет увеличение среднего веса ЛЛМок (FLASH/NEXT версии подрастают каждый раз). 128Гб у Спарка уже мало. Кластеризация или сползание весов на SSD - это всегда trade-off. Размер RAM сейчас устанавливает ЧТО можно запустить, всё остальное - это КАК оно будет работать.
@nakotobuse Сам вендор к платформе интерес теряет, Спарк 2 не за горами. Как Спарк 2 объявят, Спарк 1 превратится в тыкву. На https://t.co/d8D2SHHPeV маков в разы больше, так что вектор развития локального инференца, в целом, понятен.
@nakotobuse 8 спарков это из разряда "кластер из raspberry pi". Имхо весь смысл маленькой компактной железки теряется. 512гб мак тут выигрывает по "плотности всего" (в том числе токена на грамм/ватт). Софт на спарках до сих пор в nightly. За год стало лучше, конечно, но работы много.
@isox_xx Ну мы с ним побеседовали вначале :) Я сказал, что мне для себя, для домашнего доктора. Он почитал свою Usage Policy, ничего там не нашел, и согласился.
Как оказалось, у Опуса нет никаких ограничений в отношении "взлома" (abliteration) открытых ЛЛМок. Сегодня он часа за 3 убрал все видимые органичения на моей Qwopus (Qwen3.8) https://t.co/s5r2TcxfiO
@isox_xx Мне, в целом, понравилась идея, что Опус может модифицировать ЛЛМ под твои задачи. Он мне предложил 5 видов аблитерации (в том числе heretic из твоей модели). Сделал несколько, прогнал тесты и предложил победителя. Все в рамках 20-баксовой подписки.
@isox_xx 1. Тут "qwopus" - менее многословная версия qwen3.8.
2. Abliterated версия, которую я проверял (от huihui), провалила все тесты на промпт инжекты (что кстати типично для abliterated, они делают всё, что им говорят).
Опус сделал так, что отказов 0 и промпт инжекты не сработали.
@nakotobuse у спарков память - гавно (273 Гбпс - это уровень встроенных видеокарт. У GB300 в 20 раз память быстрее, даже у Маков и то в 3-5 раз быстрее).
@jayleaton@tensorfold_dev the size of "flash" models constantly grows. 256Gb will likely be not enough next year. All 256Gb setups will turn into a pumpkin or will be forced to use heavily quantized versions.
@svgmzr@1red2black эта хакерская культура испытывает бум сейчас. Счёт "abliterated" моделей идёт уже на десятки тысяч! Тут соревнования даже идут, кто первый взломанную модель выпустит (или джеилбрейк к облачной найдёт). На днях вообще вышла "разлоченная" qwen-image2.1, страшно ленту открывать :)