Fane

我们塑造工具，工具也在塑造我们。
用 AI 拓展自己的思考，把学到的、想到的记在这里。
LLM | Agent | AI Coding
AI Safety | AI for Science
Markets | Crypto
Men's Growth

[Fane @Evernovum]

@17Ven151475 @AI_Jasonyu 私我吧

[Fane @Evernovum]

4090 本地跑 125B 压缩版
有网友报是每秒约 100–120 个 token。

第三方榜单上
Opus 5.5 的 API 是 74–93
GPT-6 Astra 是 45–54。

测法不同只能粗比，但已在一个量级。

能力上
Qwen 官方自测写代码赢了 2 月的 Opus 4.6
第三方综合分 40，离 Opus 5.5 的 58 还差一截。

[Fane @Evernovum]

开源项目 Strata 不到两周拿了 1 万多 star：12GB 显卡的游戏 PC，能跑 125B 的大模型。

但细看下来，门槛没降，只是从显卡挪到了内存。🧵

原理不复杂：这个模型每个 token 只用约 2% 的"��家"。Strata 把常用的放显卡，全部塞进内存，缺的让 CPU 帮着算。

作者在论文里写得很老实：64GB 内存 "just enough"，刚好够。而一套 64GB DDR5 9 月底最低 $913，比测试用的 RTX 5070 还贵。

那本地跑省钱吗？我算了下，省不了。

$913 够在 OpenRouter 上买同一个模型约 19 亿个输出 token。本地每秒 80 个不停跑，要 281 天才追平，电费还没算。

本地值钱的地方是不限额、数据不出门，跟省钱关系不大。

有点讽刺：AI 机房把内存买贵了，想在家绕开机房的人，得先去买内存。

同一套 64GB DDR5 史低才 $159。TrendForce 9 月底说，原厂优先把先进产能给服务器，2027 年 PC 内存可能更少。

我的初步判断：本地 AI ���下来要看内存厂的脸色，比看 NVIDIA 的还多。

软件跟得快，llama.cpp 已经有人提交了同类的专家缓存。内存跟不上，SK 海力士 CEO 说供不应求可能持续到 2030 年。

保留意见：跑的是 2–3.5 bit 压缩版，速度多为自测，质量还缺独立评测。

我没想明白的是：内存一直这么贵的话，本地 AI 会变成发烧友的玩具，还是逼出更省内存的模型？

项目：https://t.co/lHpZnejhdo

[Fane @Evernovum]

开源项目 Strata 不到两周拿了 1 万多 star：12GB 显卡的游戏 PC，能跑 125B 的大模型。

但细看下来，门槛没降，只是从显卡挪到了内存。🧵

原理不复杂：这个模型每个 token 只��约 2% 的"专家"。Strata 把常用的放显卡，全部塞进内存，缺的让 CPU 帮着算。

作者在论文里写得很老实：64GB 内存 "just enough"，刚好够。而一套 64GB DDR5 9 月底最低 $913，比测试用的 RTX 5070 还贵。

那本地跑省钱吗？我算了下，省不了。

$913 够在 OpenRouter 上买同一个模型约 19 亿个输出 token。本地每秒 80 个不停跑，要 281 天才追平，电费还没算。

本地值钱的地方是不限额、数据不出门，跟省钱关系不大。

有点讽刺：AI 机房把内存买贵了，想在家绕开机房的人，得先去买内存。

同一套 64GB DDR5 史低才 $159。TrendForce 9 月底说，原厂优先把先进产能给服务器，2027 年 PC 内存可能更少。

我的初步判断：本地 AI 接下来要看内存厂的脸色，比看 NVIDIA 的还多。

软件跟得快，llama.cpp 已经有人提交了同类的专家缓存。内存跟不上，SK 海力士 CEO 说供不应求可能持续�� 2030 年。

保留意见：跑的是 2–3.5 bit 压缩版，速度多为自测，质量还缺独立评测。

我没想明白的是：内存一直这么贵的话，本地 AI 会变成发烧友的玩具，还是逼出更省内存的模型？

项目：https://t.co/lHpZnejhdo

[Fane @Evernovum]

@antiAIvo https://t.co/Mrdp94nEno
可以借鉴这个项目哦，感觉会做的不错。

[Fane @Evernovum]

@thsottiaux claude opus5.5

[Fane @Evernovum]

@Khazix0918 膜拜了，这是真的好东西

[Fane @Evernovum]

一目了然，清晰明了

[Cloris 🌱 @ClorisSignal]

这个时代，信息无限，注意力有限。
你在选什么，决定了你最后成为什么。
Attention is all you need.

5 分钟看懂：AI 的注意力机制 👇

[Cloris 🌱 @ClorisSignal]

这个时代，信息无限，注意力有限。
你在选什么，决定了你最后成为什么。
Attention is all you need.

5 分钟看懂：AI 的注意力机制 👇

[Fane @Evernovum]

@antiAIvo 我当时学的时候，gemini给的一个通俗解释是transformer工作原理可以看作是——去图书馆借书。

Q是想了解的内容，K是这个内容对应的书架。V是最相关的那本书。

每一次指令传给大模型的过程就是就是带着你的Q去K里找V，找到后返回给你。

[Philipp Schmid @_philschmid]

Gemini 4 Argon, our new frontier model.

Up to 1M output tokens, up from 64K. $2 in / $10 out at launch.

In testing with trusted partners. Developer access as soon as possible. 👇🏻
https://t.co/MjznpzgTcZ

[Google DeepMind @GoogleDeepMind]

Introducing Gemini 4 Argon – our new frontier model.

It’s built for complex workflows across coding, enterprise knowledge work, and cybersecurity defense – rolling out today to a set of trusted testers through our Fairwind Program.

[Fane @Evernovum]

@snowboat84 哈哈哈，去业界算不算做空

[BridgeMind @bridgemindai]

I ran out of my entire weekly limit on the $500 ChatGPT Pro Max plan in under 30 minutes.

GPT 6 Astra Ultrafast.

0% left until October 6.

OpenAI just scammed everybody.

[Fane @Evernovum]

@renmu2017 装虚拟机部署claude🤡🤡

[Fane @Evernovum]

@ScarletKc 这还有延迟的吗？

[Fane @Evernovum]

Dots的额度是额外的

对于现有pro套餐的削减如果能弥补到dots上其实��可以接受。

可以让Dots通过SSH的方式接着操控本机任务，这可能是增加额度的方法。

那��这么看来，pro套餐削减对于个人用户来说可能影响不大，影响比较大的可能是中转站的运营者？毕竟Dots可能不太方便运营。

不过有需求就有市场，期待产生新的商业模式。

[Tibo @thsottiaux]

Announcing dots. Dots work 24/7 for you, learn from your feedback, have their own computer, browser and can be connected to over 4k apps in our ecosystem.

They’re powered by Astra our best model yet. Included in your Pro plan, without drawing down on any of your usage. You can even call a dot while it’s working.

We’re getting you started with your primary dot today and soon you’ll be able to create entire teams of them.

[Tibo @thsottiaux]

Announcing dots. Dots work 24/7 for you, learn from your feedback, have their own computer, browser and can be connected to over 4k apps in our ecosystem.

They’re powered by Astra our best model yet. Included in your Pro plan, without drawing down on any of your usage. You can even call a dot while it’s working.

We’re getting you started with your primary dot today and soon you’ll be able to create entire teams of them.

[Fane @Evernovum]

#RTXON Test

[NVIDIA GeForce @NVIDIAGeForce]

We're giving away a CONTROL Resonant custom wrapped NVIDIA GeForce RTX 5080 to celebrate its official release with #RTXON.

To enter:
🟢 Share this post
🟢 Comment #RTXON

T&Cs: https://t.co/Mbf7w3j1q3