Phoenix Lee

生命不息，折腾不止。 I guess it comes down to a simple choice:get busy living or get busy dying

[Phoenix Lee @locsic]

SemiAnalysis 创始人 Dylan Patel 在 Sequoia Capital 播客访谈，AI Infra 100 倍效率从哪里来？拆解 AI 软硬件协同设计的三层乘法

"Where the 100x Comes From: Decomposing the Three-Layer Multiplication of AI Hardware-Software Co-Design", https://t.co/w0fkFSy6K9

[Phoenix Lee @locsic]

Phoenix Lee, "$3.1 Billion for Data Infrastructure, Not AI: Schneider’s Acquisition of Cognite and the Value Thesis for Vertical AI", Locsic, 2026-07-01, https://t.co/gYyzuYTco2

[Phoenix Lee @locsic]

Phoenix Lee, "When Agents Start Designing Chips: CHIA and the Restructuring of Chip Design Workflows", Locsic, 2026-06-30, https://t.co/MMtaBmHrvG

[Phoenix Lee @locsic]

《玻璃桥：康宁如何用一块玻璃拆掉 CPO 量产的最后一堵墙》，Locsic，2026-06-30，
https://t.co/rq57rriZ5J

[Phoenix Lee @locsic]

@Gorden_Sun 方便发个邀请码吗

[凡人小北 @frxiaobei]

OpenMed 一口气开源了 380 多个医疗 NER 模型，永久免费！在大健康行业摸爬滚打过你就知道我此刻的心情是有多激动。这壮举，真的值得点三炷香。

过去十年，医疗 AI 领域绝大部分公司一直卡在缺失行业模型的阶段。尤其像 NER 这种基础能力，说它基础，但又复杂得几乎没人能自己训出来；说它重要，又几乎支撑了所有下游任务，比如病历结构化、药物识别、编码归类、知识图谱、文本生成、用户脱敏……，这 380 多个模型，直接打通了最难搞的第一公里。把“医疗 NLP 能力”从象牙塔拉到产品前线的动作。

作为从业者，这次我最震撼的亮点有这几个：
1️⃣ 细分场景做得极细，真的懂业务
药物识别（PharmaDetect）、疾病抽取（DisorderDetect）、肿瘤实体（OncoDetect）、解剖结构、基因组学、社会健康因素（如生活习惯、环境影响）……全部单独建模，直接贴近实际业务线。

2️⃣ 性能好到不像开源，能直接上线用
在 13 个公开医学数据集上打到 F1 0.98+，有的甚至接近 0.998，是我们过去买商用模型都不敢想的指标，而现在，免费下载、开箱即用，连 license 都不设限。

3️⃣ 部署门槛极低，团队试错成本几乎为 0
三行代码就能跑，支持 CPU、GPU，能跑在本地、服务器、小型集群，让我们这种做实际业务的人能动手、能组合、能快速做出一个 demo 上线试错。

4️⃣ 工程化思路完整，不是科研项目的半成品
命名规范统一、model card 详细、支持批量 inference、评估标准全开放，不像很多医学模型是“发表即完工”。
举几个例子吧：
AI 视频科普生成 → 需要做医学术语提取 + 解释
医生端知识总结 → 需要从临床 EMR 中提取药品、病症
私域问诊服务分析 → 需要自动结构化用户的主诉信息

健康档案风控 → 需要做实体识别 + 隐私脱敏 + 标签补全
你要说大模型也能做，但是只有 60 分水平。在严肃的行业里垂类的模型价值还是太大了。

说句真心话，OpenMed 把医疗 AI 的入场门槛拉到了脚后跟，让我们这些原本要跪着做模型、拿着小数据硬撑业务的人，终于有了能站起来干活的基础设施。

如果你也是同行，请别错过这波模型。我已经有些想法在发酵了。

[宝玉 @dotey]

推荐阅读：《多模态和多模态大模型 (LMM)[译]》

这是一篇相当详尽的讲述多模态和多模态大模型的文章！内容分为三部分。

* 第 1 部分围绕多模态的概念展开，讲述了使用多模态的原因、不同类型的数据模态以及多模态任务的种类。

* 第 2 部分深入探讨了多模态系统的核心原理，以 CLIP 和 Flamingo 为例，分别为未来多模态系统的发展奠定了基础，并通过 Flamingo 的卓越表现引领了大语言模型（LLM）的兴起。

* 第 3 部分聚焦于大语言模型（LLM）的当前研究热点，探讨了生成多模态输出和高效多模态训练适配器的新进展，涉及了像 BLIP-2、LLaVA、LLaMA-Adapter V2、LAVIN 等新兴多模态系统。

如果你想深入了解多模态模型，这是一篇相当好的科普文章！

原文：Multimodality and Large Multimodal Models (LMMs)
https://t.co/KQgtC8kNDK

译文：https://t.co/396vFG8Xwi

[宝玉 @dotey]

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下：

Intro: Large Language Model (LLM) talk

大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。

LLM Inference

首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。

以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。

现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。

在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。

除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。

你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。

比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。

我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。

那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

[Phoenix Lee @locsic]

@Amemmmm 加油👏

[AI Will @FinanceYF5]

Y Combinator 一直在悄悄建立一系列令人难以置信的 AI 初创公司。

下一波人工智能产品即将改变世界。

这里有 10 家新的 YC 人工智能公司值得关注（W23）

我们来一起看看他们的Demo：

[宝玉 @dotey]

如何借助大语言模型对一本13万tokens的长篇小说生成摘要？

今天把 @lxfater 推荐的这个视频仔细看了一下，作者关于Langchain的系列视频都做的非常棒。

视频介绍了几种常用的对文本生成摘要的方法，其中最值得学习的是对长篇小说的总结方法，因为他示例的完整的小说内容一共有13万tokens，GPT4-32K也只能到3万多tokens，另外价钱也不会便宜，至少要5美元起。

所以他先对小说内容拆分，拆成78个小文档，然后对这些小文档借助Embedding转成向量，再对向量进行聚集，把相似的小文档放在一起。聚集算法用的是K-means，并且按照他的实验，11个聚集相对是一个效果比较好的数字。

另外他还做了一件很酷的事情就是把OpenAI的1536维向量数字变成了2维的数字，然后78个文档的向量二维化后，变成了二维坐标上的点，再按照各自所属的聚集标注出颜色，就可以清楚的看到文档的位置和相互关系，效果很酷。

接着在每一个聚集中，按照向量值找出离质心位置最近的文档作为代表，并按照编号排序，这样可以确保摘要时顺序是对的。

然后把这11个小文档放在一起分别用GPT3.5生成摘要，最后得到了一个4K tokens的摘要数组，最后把摘要数组拼一起给GPT-4生成最终摘要，最终摘要效果还不错。

油管视频：https://t.co/lJksV3RGgf

[ashu @ashu_mest]

掌握 prompt 的关键在于深入理解，而非堆积大量低质量的模板。相信我，多数模板对你来说不实用，且用起来不顺手。

掌握 prompt，读这两份 OpenAI 文档即可
- 8 项 prompt 最佳实践
- prompt 的常见示例

https://t.co/vAyCRa3CdC

[Damon Chen @damonchen]

Just tried https://t.co/eagIrJPSaH 🔥

Looks like the job of a photographer might become a thing of the past soon!

[Phoenix Lee @locsic]

时隔28年再进4强，祝贺女篮⛹️‍♀️

[Phoenix Lee @locsic]

还记得你何时加入 Twitter 吗？我知道！#我的Twitter周年纪念日

[Phoenix Lee @locsic]

@miaowuwumiao 像个男孩

[Phoenix Lee @locsic]

Roger Waters 人间清醒

[Phoenix Lee @locsic]

@CJie 同意，看得我都睡着了

[Phoenix Lee @locsic]

@jerrymice 真是难过😫

[Phoenix Lee @locsic]

漂亮