Jintao Zhang 张晋涛

@CloudNativeFdn Ambassador, @Microsoft MVP, PyCon China & KCD Beijing organizer.🥑Open Source + Cloud Native + AI Infra. Working at @Kong . Opinions are my own

[Jintao Zhang 张晋涛 @aiandcloud]

本次在 Kubernetes 生态的网络标准制定上也做了一些贡献，CNCF CKNE 委员会成就达成

[Jintao Zhang 张晋涛 @aiandcloud]

@ytiihyslqlabpow 恭喜啊！ 我的账号还没回来 🥲

[Jintao Zhang 张晋涛 @aiandcloud]

@Faumulant @magpie_router @gmi_cloud 现在它的 Gemini 4 Carbon 打五折，挺好的

[Jintao Zhang 张晋涛 @aiandcloud]

好啊，今天换用 Gemini 4 Carbon 驱动 DeekSeep 来看看效果 😉

[Jintao Zhang 张晋涛 @aiandcloud]

@CuiMao 不行，她还不如你流量大

[Jintao Zhang 张晋涛 @aiandcloud]

@AakanshaPriya_ Cool! You are also welcome to stop by Kong’s booth to say hello; our theme colors match perfectly.

[Jintao Zhang 张晋涛 @aiandcloud]

@kaslinfields I just saw her two months ago during KubeCon China

https://t.co/BA6HA3dt67

[Jintao Zhang 张晋涛 @aiandcloud]

感谢 wenjia 邀请，难得和这么多朋友相聚聊了很多云原生和 AI 相关的问题

（也是吃过 Google 食堂了 🤣

[Jintao Zhang 张晋涛 @aiandcloud]

@dinah_zhang 输入法有了灵魂

[Jintao Zhang 张晋涛 @aiandcloud]

我要说的是这个，前些天我也转过一条，推理效率不能只看某个请求，或者某个时刻，在实际中其实最终看的还是均值。

而且有的时候，确实某个/某些请求就会耗费很长时间，甚至出现错误，这样就会把均值拉低。

当然，体感上的话，可能某个时间段负载比较低，那可能就是一个字，爽！ 😸

[Jintao Zhang 张晋涛 @aiandcloud]

@zsai010 哈哈哈哈哈 真没那么快，有快的也有慢的，看负载情况，你看我随便截图的这里，最高能到 1844 tok/s 但是低的才 242 tok/s

[Jintao Zhang 张晋涛 @aiandcloud]

@magpie_router @gmi_cloud 那你可以回复并close这个issue https://t.co/Au1TeXYdlq

[Jintao Zhang 张晋涛 @aiandcloud]

@sqs I think you can consider a scenario similar to GitHub OSS collaboration. An individual can be invited to join a workspace for collaboration, with the workspace owner covering the costs. Collaborators can have two modes: 1 read‑only, 2 write (full permissions except for settings)

[Jintao Zhang 张晋涛 @aiandcloud]

早上一醒看到 CI 挂了，就发现原来是又有 Go 的漏洞披露了 CVE-2026-97054 ，赶快去升级了下

[Go @golang]

🎊 Go 1.27.4 and 1.26.11 are released!

🔏 Security: Includes 12 security fixes to the standard library and the toolchain.

🔈 Announcement: https://t.co/fw7P126a3v

⬇️ Download: https://t.co/rSrQRa62k7

#golang

[Jintao Zhang 张晋涛 @aiandcloud]

@fanxing321 @zsai010 应该是能快一些的

[Jintao Zhang 张晋涛 @aiandcloud]

现在是啥状态呢？上午4 个小时，跑了 3B token 🤣 然后 magpie 有点扛不住的样子了

[Jintao Zhang 张晋涛 @aiandcloud]

@fanxing321 正好刚才截了个图

https://t.co/zL3SZivafv

[Jintao Zhang 张晋涛 @aiandcloud]

@zsai010 哈哈哈哈哈 真没那么快，有快的也有慢的，看负载情况，你看我随便截图的这里，最高能到 1844 tok/s 但是低的才 242 tok/s

[Jintao Zhang 张晋涛 @aiandcloud]

好啊，今天换用 Gemini 4 Carbon 驱动 DeekSeep 来看看效果 😉

[GMI Cloud @gmi_cloud]

Gemini 4 Carbon is now available on GMI, and 50% off

currently the strongest model with frontier performance in cybersecurity capabilities and long-horizon agentic workflows across complex knowledge work, software engineering, and scientific reasoning.

build with it now 👇

[Jintao Zhang 张晋涛 @aiandcloud]

@zsai010 哈哈哈哈哈 真没那么快，有快的也有慢的，看负载情况，你看我随便截图的这里，最高能到 1844 tok/s 但是低的才 242 tok/s

[Jintao Zhang 张晋涛 @aiandcloud]

@ZenHuifer 有 benchmark 吗

[Jintao Zhang 张晋涛 @aiandcloud]

@fanxing321 对的，主要是设计方案啥的
https://t.co/JeJSLBM17U

[Jintao Zhang 张晋涛 @aiandcloud]

@Ehco1996 最近我很多杂活都是是让 deepseek 完成的，不为它设置 token 用量的上限，也不限制它完成的时间，就给它个独立的环境& 明确的验收目标，它总是能做完的。

不过方案设计啊啥的，这种还是需要个更强的模型

[Jintao Zhang 张晋涛 @aiandcloud]

@fanxing321 @Viking2333 还可以 🤣

[Jintao Zhang 张晋涛 @aiandcloud]

@magpie_router 好啊，不升级有解吗？

[Jintao Zhang 张晋涛 @aiandcloud]

@ilovek8s 不会吧，这应该也是协定好的，不可能单方面作出这种决策

[Jintao Zhang 张晋涛 @aiandcloud]

然后这就是后续了，KubeRay 正式捐给了 CNCF，已经成为了一个 CNCF sandbox 级别的项目
https://t.co/hEAyJBZxY3

[Jintao Zhang 张晋涛 @aiandcloud]

这个有意思，Nscale 把 Anyscale 收购了，这是个深度布局啊。

Anyscale 其就是 Ray 背后的支持者，虽然它捐给了 PyTorch 基金会，但现在 Nscale 收购了 Anyscale 其实也就是要 Ray 生态的话语权。

这样 Nscale 的底层基础设施 + Ray 的软件层能力和生态，这自然能给 Nscale 带来更多竞争力了