Mr. Green

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 吗的我为啥要花时间骂一个屌丝，真是浪费时间。还是拉黑了算了。

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 （舌战群儒版）小垃圾，原来改app 国区对你来说是至高无上的成就啊，我咋没感觉到。我为啥要有攻击力？我为人亲和。
以后到外面别说是我的孙子，我没你这样的孙子，丢人。

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 你先关注好你自己心理问题。退伍军人看不得别人好，自己翻墙看片撸管，鹿完了发现别人的美好生活嫉妒死了马上就要举报。举报你妈b举报。

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 笑死人出来翻墙看片你还有理了。说你安卓咋的？安卓不是重点，重点是你连你那app store的国区都没修改。 你翻墙举报别人翻墙，这世界上还有更可笑的事情吗？
你说得对你不配翻墙，不是因为你三星，是因为你小气吧啦的看不得别人好。
不是我高人一等，是你下贱。

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 你傻逼吧，他不能翻墙，他老婆行吗？你这小瘪三不也翻墙吗，顶着个安卓手机出来说别人。你为啥不能肉体来美国？

[极客杰尼 @seekjourney]

搞 harness 的朋友强烈推荐看看这篇 200w 浏览量的文章，Uber 内部扎实的工程经验。

如何多快好省的完成任务是一个挑战。

[轩辕之风 @xuanyuanzhifeng]

Transformer那期视频在Youtube播放12W+了，在X也帮助我粉丝破千了。
为了帮助大家有一个更整体全局的视野理解Transformer，我做了一个Transformer全景图动画。
可以很直观的看到一个Token是怎么一步步进行词嵌入、位置编码、QKV生成、注意力计算、多头注意力、FFN提取特征、多层BLOCK堆叠、最后算出下一个token的。
欢迎访问学习：https://t.co/FnToBeCRP0

[Mr. Green @MrGreen0123]

@YJing66931 @Gulmira1017 真他妈脑子有病。人家发个照片把你嫉妒的嘴歪眼斜的。

[Mr. Green @MrGreen0123]

@Ranranram111 @dearemon 哥们查一下智商。

[逸尘 @gengdaJ]

这真是我在X见过最牛逼的选美国手机号的保姆级教程了！

还不知道自己到底需不需要美国手机号、以及自己的问题需要用哪种美国手机号解决的朋友，看鱼总这一篇就够了。

[neighbads @neighbads]

@criscxuan https://t.co/4rXS3kQeta

[Mr. Green @MrGreen0123]

@lmrz_138 @BTCBruce1 台湾人为啥要关注美国？你移居美国了？

[Mr. Green @MrGreen0123]

@AnthropicAI

[Xiuyu Li @sheriyuo]

Coooool 🫡

[Mr. Green @MrGreen0123]

@666Mike888 @MrCorrrect 哥们你扣啥字眼，我就大概这个意思看懂就行了。你不如捐给我得了，我也是真正需要帮助的人。

[Avi Chawla @_avichawla]

LLM inference speed with vs. without KV caching:

(learn KV cache management in LLMs below)

[Mr. Green @MrGreen0123]

@remember_8964_ @mikawaifusuki cs工资特别高，但是找到工作难

[山景城小路 @Zen_with_AI]

YC建议 --如何在AI时代度过你的20岁

作者：Garry、Harj、Diana 和 Jared

时代变化很快。曾经让人感到安稳的职业道路已经不再奏效。如果你想脱颖而出，就需要以新的方式去适应和行动。

原则一 → 老路已经行不通了传统路径——上学、找一份稳定工作、在公司里步步高升——正在消失。许多这类工作正在被自动化取代。要保持领先，就要专注于人类最擅长的事：创造力、解决问题的能力和创新。
原则二 → 真正的机会在创业公司创业公司的成长速度超过任何其他组织。你不需要一个完美的点子，只需要开始行动。无论你是加入一家创业公司还是自己创业，你的成长速度都会比在其他任何地方更快。定义未来的公司，将由那些敢于想得大、从小处着手、快速行动的人创造。

原则三 → 不要等待许可忘掉那些条条框框吧。没有人会给你一份循序渐进的指南。你的20岁正是用来试验、犯错和学习的阶段。现在就开始，并在过程中不断调整。
原则四 → 专注于真正重要的事增长很重要，但为真实的人解决真实的问题才是真正重要的事。不要只盯着把公司做大；要确保你在解决真正的问题。当你做到这一点时，增长自然会随之而来。

原则五 → 深耕，而非广撒网早期最好专注于一件事，并把它做到极致。什么都想做的诱惑很大，但最成功的人往往选择一个领域，把它做精做透。等你真正掌握了它，再去拓展其他领域。
原则六 → 持续学习和调整最优秀的人始终在学习。你会犯错，这很正常。真正的成功来自于不断尝试、学习和快速改进。失败只是让你做得更好的机会。

原则七 → 用科技加速前进我们身处一个科技能让你事半功倍的时代。善用身边的工具，让自己走得更快，专注于真正重要的事。未来的企业将用科技创造杠杆和影响力，而不仅仅是产品。
结语 → 想得大，做得快这是属于创造者的时代。专注于打造真正有意义的东西，解决真实的问题，不要浪费时间在意别人的看法。

归根结底，世界评判你的标准是你做了什么，而不是你打算做什么。

[yibie @yibie]

从零写的专用推理引擎，一张显卡跑满 240K 上下文，能力分几乎不掉——开源可下载。

《NInfer：为一张 RTX 5090 而生的 Qwen3.8-27B 专用推理引擎》

---

# NInfer: High-performance single-GPU inference

**NInfer 是一个从零写的 C++/CUDA 推理引擎**，专为明确注册的 Qwen checkpoint 在**单张 NVIDIA RTX 5090** 上跑极限性能：一个 GPU、一个驻留模型、启动时固定 1-8 个活跃请求。

## 关键数字（RTX 5090 实测）

- **Qwen3.8-27B NVFP4 并发解码**：C=1 时 143.8 tok/s，C=8 时 **766.6 tok/s**（5.33x 扩展）
- **Qwen3.6-35B-A3B**（MoE）：C=8 时 **1,313.8 tok/s**
- **单请求极端 prefill**：Qwen3.8-27B NVFP4 在 260K token prefill 下 **2,203 tok/s**
- **MTP3 投机解码**：结构化输出 219.8 tok/s
- 能力分（Qwen3.8-27B NVFP4）：**AIME 96.67%、GPQA 90.40%**

## 为什么值得看

- **兼容 OpenAI / Anthropic API**（流式、工具、token 计数）——直接当本地服务用
- **资源感知长上下文复用**：Device/Host 双层 State + KV 缓存规划——240K token 上下文不死伤
- **多模态**：文本、图片、视频 prompt（--vision）
- 支持的量化：BF16/INT8/FP8/NVFP4/K8V4 KV
- 开源（Apache 2.0），支持 Ko-fi

## 快速跑

```bash
git clone https://t.co/2nOP0DobAg
cd ninfer && cmake -S . -B build -G Ninja -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
hf download neroued/Qwen3.8-27B-nvfp4-NInfer qwen3_8_27b_nvfp4.ninfer --local-dir models
./build/apps/ninfer-serve models/qwen3_8_27b_nvfp4.ninfer \
--max-context 240000 --kv-capacity 240000 --max-concurrency 2 \
--kv-dtype fp8 --spec mtp --draft-tokens 3 --lm-head-draft
```

**限制**：只支持 RTX 5090（sm_120a）、单卡、一次一个模型——刻意小而专。

原文：https://t.co/2hTLH0PmZR
#本地AI #RTX5090 #推理引擎 #Qwen