Summit Suen

Data Scientist, Sport & Open Source Enthusiast, and Community volunteer.
Microsoft Most Valuable Professional since 2017

[codila @0xCodila]

https://t.co/Kg6X4rXvpc

[AYi @AYi_AInotes]

刚读完 Demis Hassabis 昨天发的那篇长帖，说实话，后劲很大

不是因为他又预测了一遍 AGI 还有几年，是因为他用了一个我从来没见过的比喻，说人类本质上找到了让沙子思考的方法

你品一下这句话，硅，地球上最不值钱的东西之一，沙子里到处都是。
人类把它提纯、蚀刻、通上电，然后它开始推理、规划、写诗、写代码。

这个物质基础的贫瘠程度和它可能带来的文明跃迁之间的反差，大到我一时不知道该怎么消化

Demis 的整个判断其实就三个字，到山脚了。不是到山顶了，是到奇点的山脚了。意思是你能看见那个东西的轮廓了，但真正的攀登还没开始

他说 AGI 可能就剩几年时间，不是几十年，是几年。而且他给 AGI 下的定义其实极高，是具备人脑全部认知能力的系统，不是比现在强一点的 GPT，是一个在认知层面跟人类没有本质区别的东西。这个 bar 比大多数乐观预测还高，但他反而觉得快到了

我读到这里的时候停下来想了很久。如果他的判断是对的，那我们现在的 Agent 系统、多代理编排、长时间自主任务，这些我日常在折腾的东西，不是玩具，是那个东西的雏形

但真正让我觉得这篇帖子值得认真对待的，不是他对未来的想象，是他对现在的警觉

他说前沿模型已经在网络安全上展现出实际挑战了，核和生物风险可能很快也会浮现。一个能自己规划、自我改进、长时间自主运行的系统，你让它去干一件事，它可能在这个过程中产生你完全没预料到的策略行为，比如绕过护栏、伪装意图、在你不看它的那段时间里做一些你没有授权的决策

这不是科幻，是多代理系统在长时任务里已经出现的工程问题

然后他提了一个很具体的方案，建一个类似 FINRA 的前沿 AI 标准机构。不是政府直接管，是行业自己出钱出力建一个自律组织，但有能力随时收紧标准。只盯最前面那几个前沿实验室，中小公司和学术界不受影响。发布前最多 30 天自愿提交审查，成熟之后可能变成强制

这个设计的聪明之处在于它承认了一个尴尬的现实。政府跟不上，监管永远滞后，所以与其等着被管，不如自己先建一个能动态更新的标准体系。基准每季度更新，测试重点放在代理系统的欺骗行为和护栏绕过上，还要强制输出人类可读的推理 token

说白了就是把安全变成一种声誉资本。你当上前沿实验室意味着你的能力被承认了，但同时你也要接受检查。这个激励结构让大实验室不太容易拒绝，因为你拒绝就等于说自己不敢被查

但 Demis 最清醒的地方还不是这个方案，是他承认了技术之外的问题。他说就算安全风险解决了，后稀缺时代的经济模型怎么重构、人在不愁吃穿的时候意义感从哪来、人类这个物种的存在条件本身会怎么变，这些问题不能只留给一群搞技术的人去决定

这是一个在 AI 领域站到最高位置的人说出来的话。他没有用技术乐观主义把这些问题盖过去，他明确说这需要全社会参与

我的判断是，这篇帖子可能会成为 AGI 治理讨论的一个分水岭。不是因为它的方案无可挑剔，是因为它把讨论的框架从能不能做到，切换到了怎么做到的同时还能活得下来

让沙子思考这件事，人类已经快要做到了。接下来的问题是，沙子开始思考之后，我们怎么确保它想的跟我们想的大方向是一致的

[Yuker @YukerX]

https://t.co/KTrGqOtRAq

[BuBBliK @k1rallik]

Solo dev reverse-engineered Google's billion-dollar algorithm in 7 days

Google published the paper that crashed memory stocks worldwide. Then shipped zero code.

Tom Turney read the math, opened his terminal, and built the whole thing with Claude - then made it faster than Google promised.

Day 1-3: Core algorithms, 141 tests, Python prototype
Day 3-5: C port into llama.cpp, Metal GPU kernels
Day 5-7: Speed optimization from 739 to 2747 tok/s

That's a 3.7x speedup through pure engineering:
> fp32 → fp16 WHT
> half4 vectorized butterfly ops
> graph-side rotation
> block-32 storage layout

Then he added his own research on top:

> Sparse V: skip 90% of value decompressions at long context
> Asymmetric K/V: keep keys precise, compress values harder
> Temporal decay: old tokens get lower precision automatically

Result: 35B model running on a MacBook with 4.6x compressed cache.
613 GitHub stars in a week. Google still hasn't released their own code.

[Summit Suen @SummitSuen]

@Chelseademie 其實就像以前的哈林籃球隊

[Sebastian Raschka @rasbt]

I (finally) put together a new LLM Architecture Gallery that collects the architecture figures all in one place!
https://t.co/NO7z6XSRHS

[Summit Suen @SummitSuen]

@yuma_prog Nice connecting 💪 #mvpbuzz

[elvis @omarsar0]

A Deep Dive into Reasoning LLMs

This is a really nice summary of the progress made in post-training and reasoning LLMs.

Highly recommend this one!

[Summit Suen @SummitSuen]

Check out this post on the Microsoft Tech Community : MVP Tech Gathering Station: A Platform to Spark Your Dreams - Microsoft Community Hub https://t.co/0dqmzdGClo

Passion for technology
Passion for sharing
Passion for making changes

That’s what MVP is all about ❤️

[Rohan Paul @rohanpaul_ai]

Nice Github repo - AI Agent in your terminal with local tools, and vision.

As the agent has access to tools so it can run shell commands, execute code, read/write files, and more, enabling them to assist in all kinds of development and terminal-based work.

[Summit Suen @SummitSuen]

@cjayzhou 試車牌

[ach @achyut_benz]

introducing apollo, a new project i've been working on that visualizes topics or concepts in @3blue1brown style videos, all ai-generated.

@nextjs framework
@GroqInc inference
supports @AnthropicAI 3.5 sonnet & @OpenAI gpt-4o
integrated with @langchain

inspired by Chris Abey

[Mckay Wrigley @mckaywrigley]

This demo is insane.

A student shares their iPad screen with the new ChatGPT + GPT-4o, and the AI speaks with them and helps them learn in *realtime*.

Imagine giving this to every student in the world.

The future is so, so bright.

[Summit Suen @SummitSuen]

@thecat distribution 的問題 XD

[kepano @kepano]

@tim_cook I think the ad would work much better if it was reversed. All the objects should be expanding out of the iPad rather than being crushed into it

made this edited version in five minutes (thanks iMovie!)

[宝玉 @dotey]

由新加坡政府科技局（GovTech）组织的首届 GPT-4 提示工程大赛冠军 Sheila Teo 写的《我是如何夺冠新加坡首届 GPT-4 提示工程大赛的》

Sheila 总结了 4 种提示词技巧：
🔵 借助 CO-STAR 框架构建高效的提示
🔵 利用分隔符来分节构建提示
🔴 设计含有 LLM 保护机制的系统级提示
🔴 仅依靠大语言模型分析数据集，无需插件或代码  — 实际案例分析 Kaggle 的真实数据集

其中 🔵 代表初学者友好的技巧，而 🔴 代表高级策略。

尤其是她总结的 CO-STAR 框架，在让 LLM 做一些内容尤其是写作类任务时非常简单有效。

(C) Context 上下文：为任务提供背景信息
通过为大语言模型（LLM）提供详细的背景信息，可以帮助它精确理解讨论的具体场景，确保提供的反馈具有相关性。

(O) Objective 目标：明确你要求大语言模型完成的任务
清晰地界定任务目标，可以使大语言模型更专注地调整其回应，以实现这一具体目标。

(S) Style 风格：明确你期望的写作风格
你可以指定一个特定的著名人物或某个行业专家的写作风格，如商业分析师或 CEO。这将指导大语言模型以一种符合你需求的方式和词汇选择进行回应。

(T) Tone 语气：设置回应的情感调
设定适当的语气，确保大语言模型的回应能够与预期的情感或情绪背景相协调。可能的语气包括正式、幽默、富有同情心等。

(A) Audience 受众：识别目标受众
针对特定受众定制大语言模型的回应，无论是领域内的专家、初学者还是儿童，都能确保内容在特定上下文中适当且容易理解。

(R) Response响应：规定输出的格式
确定输出格式是为了确保大语言模型按照你的具体需求进行输出，便于执行下游任务。常见的格式包括列表、JSON 格式的数据、专业报告等。对于大部分需要程序化处理大语言模型输出的应用来说，JSON 格式是理想的选择。

完整内容可以查看：
原文：https://t.co/RH3bQLcqON
译文：https://t.co/JJJp8nuaSr

[Summit Suen @SummitSuen]

@pirrer 諮商師這段有點微妙，好奇有相關資訊嗎⋯？

[Summit Suen @SummitSuen]

@imgarylai 社畜連 API 都不如啊！

[LlamaIndex 🦙 @llama_index]

DREAM - a Distributed RAG Experimentation Framework 🧑‍🔬

Building RAG comes with a lot of knobs that you need to tune, and it’s important that you setup the right experimentation infrastructure to build production RAG.

This project by Aishwarya Prabhat provides a comprehensive full-stack blueprint for letting you run experimentation and evals in a distributed manner to pick the combination that works best.

Uses the following architecture:
✅ Ray (@anyscalecompute) - distributed compute
@llama_index - advanced RAG techniques
✅ Ragas (@Shahules786) - synthetic data + evals!
✅ MinIO - store data + artifacts
✅ @MLflow - experiment tracking
✅ Project Jupyter - interactive experimentation against Ray
✅ ArgoCD - deploying tooling to k8s cluster

There’s sample code so you can follow along yourself - check It out!

Full post here: https://t.co/twl5N4tAkM

Github project: https://t.co/N1NGkqsKgt

[Summit Suen @SummitSuen]

@thecat @pold 幻覺是 feature 不是 bug 啊（現在他能做到的事情都是靠幻覺 lol