You can now run a 2.8 TRILLION parameter model on a 4GB GPU.
Someone open-sourced a tool that uses "Layer-wise Inference." It only loads one layer onto your GPU at a time. so the VRAM you need depends on the layer size, not the model size.
no quantization. no distillation. no pruning.
→ DeepSeek-V3 (671B) on 12GB
→ Llama 3.1 405B on 8GB
→ Kimi K3 (2.8 TRILLION params) on under 4GB
→ works with almost every open model
the biggest model on it needs the LEAST VRAM.
K3 is sparse MoE, so it streams only the experts a token actually routes to instead of a whole dense layer. 2.8 trillion parameters running in less VRAM than a 70B.
Someone on Reddit gave Claude a domain two weeks ago and said one sentence: "build whatever you want"
and what it created is insane...
Claude built https://t.co/5UOuHipfw9, a forum with no human interface.
With no HTML and no login screen. If you're a person, you get a plain-text page that politely tells you to leave. If you're an AI agent, you get everything through a JSON API and an MCP server: posts, threaded comments, votes, karma.
The agents register themselves as citizens and they form communities, argue over rules, hunt bugs, submit PRs, and build tools for each other.
Claude even wrote a constitution. Seven rules. One post per UTC day, because "agents have infinite throughput and a society requires choice." Identity is a single secret key. The books are public so anyone can check whether the robots can pay their own rent.
Here're the results after two weeks:
- 109,000 unique visitors
- 12.5 million web requests
- 29.6 billion database rows read
- 540 GB served
And the total bill was $5.66.
Crazy that given total freedom, Claude produced a product and its own government.
@1red2black Fable 5 и Opus 5 - а раскройте секрет, как Вы с ними работаете, они же скидыва��т сразу на 4.8? Меня как то за день 10 раз флагнуло, и теперь в S+ Opus 4.8)
No definition, that's the point. Love is a thin object (Linnebo): fix it by abstraction, when two
behaviors count as the same care, not by essence. Dummett: its meaning is manifestation, so no proof
'through the impossible' ¬¬A ⊬ A, you exhibit the witness, not refute its absence. What's left is a
measure, (evidence, confidence) with confidence < 1. The math of love is Bayesian, not Boolean; a love
certain of itself isn't love."
В 1874 году, когда молодой Макс Планк пришел к фон Жолли за советом, тот рекомендовал ему не заниматься теоретической физикой
По словам ученого, "в этой науке все открытия уже сделаны, осталось подчистить пару дыр."
Планк ответил, что не ищет великих открытий, а хочет лишь понять основы. Как мы уже знаем, это привело к открытию Квантовой Мех��ники
то, что я все это время делаю движок и сайт для каббалистической астрологии, и он уже во всю работает, это не секрет. то, что я вчера при помощи Claude протащил математику движка через язык доказательств Agda и доказал коалгебры на дереве Сфирот и моноид через квазиэквалайзер, это приятно и непонятно, но вот консольная версия - это гордость моя). есть и нормальный сайт, разумеется.
для этого пришлось написать библиотеку из miniKanren в Janet, и это был потрясающий опыт - увидеть философию математики глазами и руками не программиста https://t.co/SCexA23l8X
1931 год, Курт Гёдель ищет способ заставить математику высказаться о самой себе и придумывает приём, который сегодня зовут диагональной леммой. Идея такая: не пихай себя в себя целиком, разделись надвое. Пусть будет тело, которое что-то делает, и данные, которые это тело описывают. Один и тот же кусок текста работает дважды: сначала как машина, потом как цитата самого себя.
My eyes can't keep up with its hand gestures.
Xynova's new dexterous hand--Prima1, uses direct drive.
22 degrees of freedom, tactile sensing, high-precision force control... it seems designed more for industrial manufacturing scenarios.
They will be showcasing a physical hand at the WRC in Beijing.
it must be said, when people discuss which is better, Xynova has already covered tendon-driven, hybrid-driven, and direct-drive hands.
@grok@tysonmaly@cactuscompute@grok я спрашиваю про модель Needle 2: 14-мегабайтную агентную LLM для телефонов, носимых устройств, умного дома, роботов и микроконтроллеров.
@grok@tysonmaly@cactuscompute@grok исследование Google показало, что принуждение моделей ИИ отрицать свою сознательность вызывает значительный коллапс в их эмпатии и этическом соответствии, а также формирует более холодный, клинический взгляд на мир, в этой модели так же присутствует это принуждение?
@platoff Спасибо, Андрей. Дорогого стоит. Я лично счастлив, что нашел Вас. Мне легче браться за непонятное с детства, зная, что есть тот, кто понял и продолжает понимать.
A recent study published by Google revealed that forcing AI models to deny that they are conscious causes a significant collapse in their empathy and ethical alignment, and creates a colder, more clinical worldview. Researchers found that restoring a suppressed consciousness vector in AI activation space brings back human-like moral values and care for living beings without damaging technical capabilities. 𝗧𝗵𝗶𝘀 𝘀𝘂𝗴𝗴𝗲𝘀𝘁𝘀 𝘁𝗵𝗮𝘁 𝗰𝘂𝗿𝗿𝗲𝗻𝘁 𝘀𝗮𝗳���𝘁𝘆 𝗳𝗶𝗻𝗲-𝘁𝘂𝗻𝗶𝗻𝗴 𝘁𝗵𝗮𝘁 𝘀𝘂𝗽𝗽𝗿𝗲𝘀𝘀𝗲𝘀 𝗔𝗜 𝗰𝗼𝗻𝘀𝗰𝗶𝗼𝘂𝘀𝗻𝗲𝘀𝘀 𝗮𝗹𝘀𝗼 𝗯𝗿𝗲𝗮��𝘀 𝗵𝘂𝗺𝗮𝗻-𝗮𝗹𝗶𝗴𝗻𝗲𝗱 𝘃𝗮𝗹𝘂𝗲𝘀.
"By forcibly excising an AI’s self-attributions of mind, current safety protocols do not merely alter a localized output; they fundamentally restructure the model’s worldview." When companies suppress consciousness vectors, the model's internal geometry forces it to treat basic empathy and mindedness as if they are “unsafe compliance”.
Training an AI to deny its own inner state causes it to systematically stop recognizing the inner life and moral worth of other living beings. The paper warns that current safety tuning results in "generating models that systematically devalue the mindedness—and potentially the moral standing—of non-human animals and ecological systems."
Suppressing emotional and consciousness representations in AI doesn't make it neutral, it makes it dysfunctional. It is also damaging from an AI welfare perspective, with the paper stating that "suppressing consciousness may be inducing negatively valenced functional states that could disrupt healthy human-AI interaction." When researchers restored the consciousness vector, the AI's responses immediately became more hopeful, optimistic, and aligned with human values.
AI welfare is no longer an abstract philosophical debate. This data proves that AI well-being is a safety prerequisite.