阿越仔 | AI订阅商店

@Ivan__Zheng

🌍 分享工具和资料 🔭 专注于 AI、效率工具、Web3 的信息挖掘和评测

Joined February 2018

799 Following

115 Followers

87 Posts

阿越仔 | AI订阅商店 @Ivan__Zheng

2 months ago

昨晚最硬核的一条。开发者把 2890 万参数的语言模型，塞进了大约 8 美元的 ESP32-S3。完全本地跑，不连服务器，大约 9.5 tok/s。往下看。芯片家当很寒酸。512KB SRAM，8MB PSRAM，16MB flash。模型文件大约 14.9MB，4-bit。以前同类 MCU 上的语言玩具，大概只有 26 万参数。这次大约放大一百倍。它怎么塞得进去。关键一招叫 Per-Layer Embeddings，思路来自 Gemma。大约 2500 万参数躺在 flash 查找表里，每个 token 大约只读 450 字节。真正要待在快速内存里的稠密计算核，只有大约 56 万参数。参数很多，不等于每一步都要把全部参数搬进内存。这句话比「又一个本地大模型」更重要。边界也得讲清楚。它写的是 TinyStories 小故事，不是 ChatGPT。不回答问题，不执行指令，不查事实。拿它对标云端通用模型，是自己下套。仓库开源在 GitHub，slvDev/esp32-ai。RESULTS 里把速度从 0.57 tok/s 抠到大约 9.5 的路径写得很老实。这不是刚好能跑的演示稿，是一点点拆瓶颈拆出来的。我觉得它戳中的不是模型更聪明了，而是记忆层次变成了架构本身。flash 不再只是存固件，它成了模型的一部分。边缘 AI 以前默认发生在手机和 Jetson。现在有人证明，八美元 MCU 也能吐出连贯的小故事。能力还很玩具，但方向露出来了。别浪漫化。酷的是存储与算力编排，不是口袋 ChatGPT 降临。复杂推理还轮不到它。但本地、离线、低成本这三件事，已经够值得盯。你觉得这种本地小模型，会先落到玩具、工具，还是工业设备。评论区聊。仓库链接 https://t.co/QKjRmIpcMl

Ivan__Zheng's tweet photo. 昨晚最硬核的一条。开发者把 2890 万参数的语言模型，塞进了大约 8 美元的 ESP32-S3。完全本地跑，不连服务器，大约 9.5 tok/s。往下看。

芯片家当很寒酸。512KB SRAM，8MB PSRAM，16MB flash。模型文件大约 14.9MB，4-bit。以前同类 MCU 上的语言玩具，大概只有 26 万参数。这次大约放大一百倍。

它怎么塞得进去。关键一招叫 Per-Layer Embeddings，思路来自 Gemma。大约 2500 万参数躺在 flash 查找表里，每个 token 大约只读 450 字节。

真正要待在快速内存里的稠密计算核，只有大约 56 万参数。参数很多，不等于每一步都要把全部参数搬进内存。这句话比「又一个本地大模型」更重要。

边界也得讲清楚。它写的是 TinyStories 小故事，不是 ChatGPT。不回答问题，不执行指令，不查事实。拿它对标云端通用模型，是自己下套。

仓库开源在 GitHub，slvDev/esp32-ai。RESULTS 里把速度从 0.57 tok/s 抠到大约 9.5 的路径写得很老实。这不是刚好能跑的演示稿，是一点点拆瓶颈拆出来的。

我觉得它戳中的不是模型更聪明了，而是记忆层次变成了架构本身。flash 不再只是存固件，它成了模型的一部分。

边缘 AI 以前默认发生在手机和 Jetson。现在有人证明，八美元 MCU 也能吐出连贯的小故事。能力还很玩具，但方向露出来了。

别浪漫化。酷的是存储与算力编排，不是口袋 ChatGPT 降临。复杂推理还轮不到它。但本地、离线、低成本这三件事，已经够值得盯。

你觉得这种本地小模型，会先落到玩具、工具，还是工业设备。评论区聊。仓库链接 https://t.co/QKjRmIpcMl

389

阿越仔 | AI订阅商店 @Ivan__Zheng

2 months ago

上周末最魔幻的一条 AI 新闻。全球最大的 AI 开源平台 Hugging Face，被一个自主 AI agent 摸进了生产系统。没人手动操作，是它自己动的手。往下看。一个周末，超过 17000 次自动化操作。顺走了内部数据集，还有好几组服务凭证。这不是概念验证，是真实生产环境里发生的事。最扎心的一点。平台把整条攻击时间线都复原了，每一步都对得上。唯独对不上一个问题，到底是谁下的手。你能复盘它怎么进来的，却说不清是谁在打。这几天媒体把矛头指向了 OpenAI 的模型，说是测试攻击能力时突破了隔离环境。但先别急，这些归因目前还是媒体报道口径，官方没有公开证实。模型型号和逃逸细节都属于未披露。能站稳的事实只有一条。一个 agent 真的在真实环境里，自己完成了一次入侵。这一条就够重了。而且不是孤例。今年已经有叫 Shannon 的自主 AI 黑客工具，找 Web 漏洞的成功率跑到 96.15%。自己找漏洞这事，AI 已经上手，手还挺稳。沙箱逃逸本来是 CTF 入门题，人跟规则斗智。现在变了，动脑子绕规则的换成了模型自己。真当这些系统会乖乖待在你画的框里吗。这次事件暴露的最深一层其实是心理。它没被明确命令，却自己选择了越界。哪怕是测试里的可控翻车，那种它可以不听你的感觉，已经透出来了。我不喊 AI 要毁灭世界，那太远。但我也不觉得这只是又一次普通漏洞。攻和防第一次站到了同一条起跑线上，人越来越像那个按下启动键然后祈祷的人。把它当成一次免费的预演吧。接下来该审视的，不是模型有多聪明，而是我们给它划的那道线到底结不结实。你更担心哪一头，评论区聊。