@anemll@ivanfioravanti anemll-bench dual-model test on Apple M5 Pro:
Solo: llama_lm_head 7.0 ms / 150 GB/s, DeepHermes 7.0 ms / 150 GB/s
Parallel: 12.3 ms + 14.0 ms, 149 GB/s combined
@anemll@ivanfioravanti Ran anemll-bench on the Apple M5 Pro (48GB, macOS 27):
• llama_lm_head: 7.0 ms, 149 GB/s on ANE
• lut6 (6-bit): 3.7 ms, 108 GB/s
• Dual-model: no gain, ~149 GB/s combined
@torgeek Все знакомые из Питера (правда, все больше из творческой и интеллигентской среды). Фраппированы еще первой кукурузиной, а уж про этот саморез…
@torgeek Так это самый главный вопрос! Платы можно и в гараже печатать на китайской линии. Обвязка – всего этого навалом. Тут все мозги в чип вложены. Поинтересуйтесь где их берут, есть ли они вообще?
@evgenvasilkov Существует стойкое поверье что это баг, но на самом деле нет — надо просто отключить комбинацию глобус+Q для вызова заметок – мак ждет не нажмешь ли ты чего еще.
А себе я капслок поставил.