Olivia
Online
Koki Ikeda | H Technologies CEO
@K920_
エイチテクノロジーズ 代表取締役CEO | AIネイティブな会社づくり | SoftBank & SB Intuitions 事業開発マネージャー → 起業 | 修士(工学) | ブレイクダンス歴10年くらい
Tokyo
Joined February 2024
997 Following
2K Followers
877 Posts
Pinned Tweet
【ソフトバンク/SB Intuitionsを退職しました🚀】
インターン時代からお世話になったSBを退職し、起業します！
在職中の振り返りも含めて初noteを書いてみました。
ぜひ読んでいただけると嬉しいです。
ソフトバンクを辞め、起業します【退職エントリ】https://t.co/kpdPldoLeV
この前提がおかしいとあと何回言えば
（比較的大きなモデルでも一発学習するのに100億円程度あれば十分だし、SBのSarashinaはQwenと同規模の事前学習を自前で既に回している）
> ゼロスクラッチからAIを開発できる国力（技術と資金）を持った国は、米中以外ほぼ存在しないに等しい
中国のZhipu AI の「GLM-5.2」が、（一部のベンチマークとはいえ）Claude Fable 5を上回っているのを見てると、LLMのMoatは本当に無いんだと思わされるな…。
BREAKING: GLM-5.2 is now 1st on Design Arena.
With an Elo of 1360, GLM-5.2 has jumped ahead of the now unavailable Claude Fable 5.
And it's open weights.
This is an improvement of 4 positions and 27 Elo points to achieve one of the highest Elo scores in our code categories since Design Arena started.
Huge congratulations to the @Zai_org on the release!
愛知県のオープンイノベーション支援拠点「STATION Ai」に入居しました！
ソフトバンクで新卒2年目の頃、STATION Aiの初期検討に携わらせていただき、今、スタートアップとして利用側になったのが感慨深い…
@STATIONAi_JP
Claude Fable 5が来た！
Mythosのガードレール強化版的な理解だけど、ベンチマーク上は同等以上に見える。
実務的にOpus 4.7/4.8がやや残念だっただけに、期待したいところです。
Introducing Claude Fable 5: a Mythos-class model that we’ve made safe for general use.
Its capabilities exceed those of any model we’ve ever made generally available.
强烈推荐大家看看DeepMind CEO Demis的最新判断。
真的，Google DeepMind 的 CEO Demis Hassabis 每一期访谈我觉得值得都花时间看看。这哥们讲东西很实在，而且通俗易懂。
早上边跑步边听完了他和 YC CEO Garry Tan 的最新一期播客。
刚刚把笔记写完，也给大家分享下。
多说一句，好多人问我这种笔记是不是 AI 写的。我说下自己的流程。
我会先完整听完播客，然后用语音输入法把感触尽量充分地讲出来，再让 AI 帮着整理初稿，最后自己逐字修改优化。
如果全部交给 AI 做总结，那等于把思考和理解的能力让渡给了 AI，对自己理解这件事其实没有任何价值。
OK，咱们进正题。
1
Demis 的态度非常明确，现在的大模型范式（大规模预训练 + RLHF + CoT）一定会是 AGI 最终架构的一部分，他不认为这会是条死路。
但要实现 AGI，还有几个关键问题要解决。这几个问题包括：持续学习、长程推理和记忆系统。
先从最容易看到的现象讲起，Context Window。
现在大模型处理长信息，最常用的招就是把 Context Window 一直撑大。一开始 8k，后来 32k，再后来 100 万 Token。听起来很厉害，但本质上是暴力堆砌。
Context Window 其实就相当于人脑里的 Working Memory，工作记忆。人的工作记忆能同时装多少东西？心理学里有个经典数字，7 个左右。背电话号码能记住 7 位上下，再多就溢出了。
大模型呢？已经做到 100 万 Token。
按理说，模型的工作记忆比人大几十万倍，应该比人聪明几十万倍才对。但显然不是。
问题也恰恰就出现在这。把所有东西都塞进 Context Window 里，里面包含了不重要的东西、错的东西、过时的东西。看起来信息很多，其实是一团乱麻。
那人为什么 7 个数字的工作记忆就够用？
因为人脑背后还有另一套机制在工作。我们记得几年前的事，记得童年的事，记得几小时前发生的事。这些都不塞在工作记忆里，而是另一套系统。
具体来说这套系统是海马体，大脑里负责把新知识整合进已有知识库的那个部分。
研究发现，人睡觉的时候，特别是 REM 睡眠阶段，大脑会重放白天重要的片段，让大脑从中学习。新东西在睡觉的过程里，温柔地融进了旧的知识体系。
这个把新东西融进旧知识库的过程，就是持续学习。
模型现在没有这套机制。每一次对话结束，刚学到的东西就会忘记。下次重新打开，还是上次那个模型，没长进。
2
再聊聊长程推理的问题。英文表达是 Long-term Reasoning。我翻译为了长程。
长程推理这个词太抽象了。Demis 讲了一个特别具体的故事，听完会立刻明白他说的是什么。
他说自己喜欢跟 Gemini 下国际象棋。下棋的过程里能看到模型的 thinking trace，也就是它在那里到底想了什么。
然后他发现一件怪事。
模型考虑一步棋的时候，思考链里清清楚楚写着，这步是个昏招。但接下来，它没找到更好的走法，于是又走回这步昏招。
明明知道是错的，还是把错的那一步走出去了。
这个细节比任何 benchmark 数据都说明问题。因为它暴露的是模型缺少对自己思考过程的某种内省能力。
正常人下棋，意识到一步是昏招之后，脑子里会有一个反应，停一下，再想想。停一下、再想想这个能力，模型现在没有。它能在每一步局部判断对错，但没法基于整盘棋的局势去调整整体策略。
这就是长程推理还没搞定的样子。模型可以一步一步往前走，每一步看起来都合理，但走到后面整盘棋的方向其实是错的。它没有那种退回到当前思考的上一层、重新审视一下的能力。
说到底，模型缺的是一种内省。
3
学习、长程推理、记忆，这是 Demis 在播客里点出来的三个 AGI 鸿沟。
除此之外，他还反复提到了创造力。
2016 年 AlphaGo 跟李世石下棋，第二局走出了著名的 Move 37。那一步棋走出来的瞬间，全世界的围棋高手都看呆了。
所有人类几千年下围棋积累的经验都告诉它不该下那里，但 AlphaGo 下了。下完之后大家发现，是一步神来之笔。
很多人觉得，这就是 AI 的创造力来了。
但 Demis 说，对他自己来说，Move 37 只是起点。他真正想看到的是另一件事。AI 能不能发明围棋这件事本身。
这两件事的区别非常关键。
Move 37 是在围棋这个现成的规则里，找到了一步人类没想到的招。但围棋的规则、棋盘的形状、黑白子的对弈方式，是人类发明出来的。AI 在已有的框架里非常厉害，但能不能自己造一个框架，是另外一回事。
Demis 给了一个具体的设想。
如果给 AI 一个高层次的描述。造一个游戏，五分钟能学会规则，要好几辈子才能精通，棋局有审美，一下午能下完一局。AI 能不能根据这个描述，自己倒推出围棋？
目前做不到。
为了把这件事讲得更清楚，Demis 还提了一个测试，他自己叫爱因斯坦测试。
用 1901 年人类已有的全部知识训练一个模型，看它能不能在 1905 年那个时间点，自己推出狭义相对论。
爱因斯坦在 1905 年那一年里，连写了几篇改变物理学的论文，后来叫爱因斯坦奇迹年。那些工作不是从已有的物理学论文里通过拼接得到的，是基于已有材料做了一次全新的概念跳跃。
爱因斯坦测试想问的就是这件事。AI 能不能做这种跳跃。
目前的大模型主要在做两件事，pattern matching 和 extrapolation。一个是从大量数据里找规律，一个是把规律往外延伸一点。但发现新东西需要的是类比推理的能力。从一个领域里抽出深层结构，搬到另一个全新的领域去用。
这个能力，模型现在还没有。也可能是有，但用法不对所以激发不出来。
4
除此之外，Demis 还分享了一个让我特别出乎意料的判断，他说未来 6 到 12 个月，真正的价值不在更大的模型，在更小的模型。
这一部分内容我反复听了好几次，确实突破我的已有认知。
不知道大家的想法，反正我自己，这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。
那小模型的价值到底在哪？
最直接的是成本。同样一个任务，小模型的推理价格可能只是前沿模型的十分之一甚至更少。
但 Demis 说，比成本更重要的其实是速度。
这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。
他的原话是，当小模型的能力已经达到前沿模型的 90% 到 95%，也就是已经相当不错的时候，剩下那 5% 到 10% 的能力差距，比不上速度带来的好处。
比如现在工程师用 AI 写代码，已经形成了一种新的工作节奏。一个想法冒出来，几秒之内就能看到结果，不行就改，再不行再改。
这个一改再改的循环跑得越快，做出来的东西就越好。如果每次调用都要等十秒，整个工作流就被打断了。
更关键的是，快到一定程度，工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法，思维不被打断。
这件事写过代码的人都懂，进入心流和频繁掉出心流，产出的差距是数量级的。
Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型，每次慢一秒，整个任务就慢一分钟。慢到一定程度，Agent 就从一个能用的东西变成鸡肋。
小模型不是大模型的廉价替代品。有些事只有小模型能做。
比如手机、眼镜、家用机器人，需要的就是一个能在本地跑起来的模型。本地跑除了反应快，还有一个特别重要的好处，隐私。
家里机器人看到的视频、听到的对话，全部在设备本地处理，根本不上云。这件事对很多用户来说不是加分项，是底线。
成本、速度、边缘部署，这是小模型的价值。
5
讲完小模型的价值，接下来一个更关键的问题是，能力被压到这么小的参数里，会不会有上限？
Demis 的判断是，目前没看到信息密度有任何理论上限。小模型的智能天花板还远没看到。
支撑这个判断的，是 DeepMind 在蒸馏这件事上的积累。蒸馏简单说就是先训练一个超大的模型，然后用这个超大模型去教一个小模型。教完之后，小模型用极少的参数，能复现原来 95% 以上的能力。
为什么 DeepMind 这么重视蒸馏？因为要把 AI 能力放进谷歌的头部产品中，前提是低延迟、低成本。前沿模型再强，每次推理花几秒钟、花几毛钱...这条路，恐怕很难走得通。
一个前沿模型发布之后，6 到 12 个月内，他们就能把这个模型的能力蒸馏到边缘设备能跑的小模型上去。这个时间表比很多人想的要快。
在很多场景中，小模型和大模型会相互配合。
举个例子，一个端到端的智能助手，绝大部分日常任务在本地的小模型上跑。智能眼镜看到的画面、家里机器人听到的对话、手机里的私人助理，模型直接在设备里读懂，不需要往云端传一遍。
只有遇到特别复杂、本地搞不定的问题，才向云端的前沿模型发起请求。
也就是说小模型在边缘做主力，前沿模型在云端做后援。
不过，这个构想对小模型的要求也比较高，它不能只会处理文字，还得能理解物理世界。
这就是为什么 Gemini 从一开始就坚持多模态，不光处理文字，也处理图像、视频、声音。
一开始这么做比只做文本要难得多，但眼镜也好，机器人也好，需要的是一个能看懂周围世界的模型，不是一个只会聊天的模型。
讲到这里，小模型这条路的轮廓就完全清楚了。它独立成立，不是前沿模型的廉价替代品，而是另一条同样重要的路。
嗯，很有启发。
国内のエンタープライズAI市場競争図
SoftBank🤝OpenAI
vs
NTTデータ🤝OpenAI
vs
NEC🤝Anthropic
vs
SakanaAI🤝Google
vs
富士通🤝Cohere
NEC、米アンソロピックと提携 法人向けAI需要を開拓
https://t.co/WwWAw8Ky87
アンソロピックの生成AIツール「Claude」などを商材の開発に生かします。アンソロピックの日本法人は野村総研と協業していますが、米本社が日本企業と提携するのは初めてです。
GPT-5シリーズのモデルがどんどん値上げされてる。
サムアルトマンが過去のブログで言ってた、
「AIはいずれ無料で使えるようになる」
ってのはどこに行った？
無料どころかどんどん値上げしてるやんけ…。
GPT-5.xモデルの値上げがエグい
GPT-5 nano — $0.05
GPT-5 mini — $0.25
GPT-5 — $1.25
GPT-5.2 — $1.75
GPT-5.4 — $2.50
GPT-5.5 — $5.00
5.5はとうとうOpus超えて世界一高価なモデルに
モデル価格ってもはや石油みたいな時価だと考えたほうが良さそう
資源争奪戦争勃発🔥
AIホワイトペーパー2.0を読んだが、「国家として何を絶対に握るべきか」という優先順位の定義が曖昧ではないだろうか。
「ソブリンAIの議論が国産の汎用基盤モデルの開発・保有そのものに矮小化されるとすれば、それは戦略として不十分である」という視点は極めて妥当だが、結局、国産汎用基盤モデルに対する議論に到達していない。
AIは核兵器と並ぶ戦略技術。それはClaude Mythosを見れば明らか。
核兵器で言えば、基盤モデルは「核弾頭」にあたるコア中のコア。これを曖昧にしたままAI主権は語れないはず。
主権とは「最終的な意思決定を誰が握るか」であり、AI においては、
・モデルの挙動を制御できる
・独立運用できる
・他国に停止されない
これら3要素が揃って初めて主権と言える。
だが、本戦略はこの中核に触れていない。
そもそも、Claude Mythosクラスのモデルはクローズドな環境の中で進化し、地政学的緊張が高まれば提供そのものが制限されるし、オープンソースモデルにしても、「核クラス」の高性能モデルは公開されないだろう。
結局、基盤モデルを持たない国家のAI戦略は、核を持たない国家の安全保障戦略と本質的に同じ構造になるはず。
核戦略で言えば、「核を持たなくても日米安保があれば大丈夫」という論理と構造が同じ。それが安全保障として成立するのは、「同盟関係が永続的に機能する」という前提に依存している。
結局、国家として最も重要な局面における依存リスクを直視していない。
恐らく、そもそもの議論が、基盤モデルでは米中に勝てないという前提から出発しているからだろうが、「主権をどう確立するか」から「依存をどう管理するか」にすり替わっている。
そしてそれが、「開かれたAI主権」という曖昧な造語で隠されている。
核シェアリング的に米国と交渉・連携したとしても、それは「活用できるが、モデルの挙動・停止権は米国企業が持つ」という形であって「主権」ではないはず。
この文書は、主権ではなく「依存マネジメント」を説いたに過ぎない。
【AI駆動型国家への構造転換〜AIホワイトペーパー2.0公開】
自民党AI・web3小委員会（平将明委員長）で約半年にわたって議論を重ねてきたAIホワイトペーパー2.0（案）を発表しました。「ソブリンAIからAI主権へ」、「AIが何に使えるか、から、人間にしかできないことは何かへ」、「規制の強弱から信頼の設計へ」という3つのパラダイム転換を前提に、エージェントAI時代に向けた104項目にわたる提言につき、デジタル社会推進本部としての了承を頂きました。ご協力頂いた関係者の皆さまに心から感謝申し上げます。
今後、皆さまのご意見も踏まえ、党内の機関決定（政調審議会、総務会）を経て参ります。ご意見・コメントお待ちしています！
（AIホワイトペーパー本文はこちら↓）
https://t.co/wclQnHEvCA
ソフトバンクに来ました。
Skill設計は本当に大事。
一方で、「Prompt Engineering」と同じような既視感もあって、すぐに陳腐化しそうな気もする。それも織り込み済みで、この波を乗りこなしていく必要がある。
Prompt Engineeringを乗りこなした人がContext Engineeringを乗りこなす。そして今はSkillという概念に昇華した。
AI時代の競争力は「Skill設計」に移るというお話📝
・AIエージェント時代に重要なのは、モデル性能そのものより「Skillをどう設計するか」
・Skillは知識を増やす仕組みというより、「特定の仕事を、特定条件で、安定して実行させる仕組み」
・良いSkill設計は、良いPRDや業務設計にかなり近い
・特に重要なのが「description」
・単なる説明文ではなく、「どの場面で呼ばれるか」を決める実質的なルーティング条件
・長い説明や雑学より、「いつ使うか」「何を守るか」を明確に書くほうが効く
・一方で手順を細かく縛りすぎると、モデルの柔軟性や回復力を潰す
・つまり大事なのは、「目的」と「制約」を明確にしつつ、やり方はある程度任せること
おお…ようやく。本案件を着地させたことにリスペクトです。頑張ってください。
ソフトバンクが国産AIの新会社設立、NECやホンダなど8社出資
https://t.co/dZyJnO662M
@russianblue2009 「OpenAIやGoogleのAI研究チームは数千人規模で動いている」とは言え、それらは多大な研究分野に投資しているからです。サムアルトマンも言っていますが、GPT-4クラスなら4-5人のチームで作れます。問題は、コンピューティングリソースとデータです。
Claude Code使ってみな、飛ぶぞ
小野田紀美AI戦略担当相、自身のAI利用は「業務で必要性感じず」 人材育成を推進
https://t.co/LUb6LwcwAK
AIについて「日々身近な形で利活用が進み、非常に有用なツールであると認識しているし、AIをしっかり応援していくことが国力の成長にもつながると考えて頑張っている」と述べた。
国のAI戦略担当相が「業務でAIを使っていない」って嘘でしょ…？
AIを使いこなしていない人が、どうやって手触り感のある戦略策定・活用促進・人材育成ができるんだろうか。机上の空論になってしまう気がしてならない。
ぜひAIを使い倒して欲しい。
小野田紀美AI戦略担当相、自身のAI利用は「業務で必要性感じず」 人材育成を推進
https://t.co/LUb6LwcwAK
AIについて「日々身近な形で利活用が進み、非常に有用なツールであると認識しているし、AIをしっかり応援していくことが国力の成長にもつながると考えて頑張っている」と述べた。
LegalOn Technologies 角田さんの創業期エピソードシリーズが面白すぎる。リアルだ…。
LegalOn Technologies創業時の辛かったエピソード③
なけなしのシード調達資金3000万円くらいを投入して作り上げた最初のプロダクトを捨てるピボット判断。あの日の記憶は鮮明に覚えている。5月のある日、ようやく出来上がったプロダクトのベータ版。意気揚々と小笠原に見せる私とCTOの時武。小笠原が一言、「なにこれ、使えない。秒で離脱する」。絶望にくれる私と開発チーム。深夜、はしごのラーメンを食べながら、「やっぱダメだよね、だめだよな、だって身内が使わないって言うんだもんね。」と。結局、その日のうちにその3000万ほどを投入して作り上げたβ版を捨てる意思決定。そこからコンセプトを、今のLegalOnの原型となるAIレビューに絞り込み、MVPをそこから3ヶ月で作り上げて、βリリース。その時点で、ランウェイ残り3ヶ月。
@kunihirotanaka ソフトバンク宮川社長ですよ！
KDDI、広告代理事業の売上高の99.7％が架空ってヤバすぎだろ…。
あのオルツでさえ売上の80%〜90%が架空だったわけだが、それを超えている。もちろん会社全体の売上と一事業だから完全な比較は出来ないが、それにしても相当だ…。
【速報】広告事業、99.7％が架空取引とKDDI
https://t.co/F1QNPVGmBZ
@kunihirotanaka おめでとうございます！応援してます。
Last Seen Users on Sotwe
Most Popular Users
Elon Musk
@elonmusk
240.4M followers
Barack Obama
@barackobama
119.3M followers
Donald J. Trump
@realdonaldtrump
111.7M followers
Cristiano Ronaldo
@cristiano
110.1M followers
Narendra Modi
@narendramodi
107M followers
Rihanna
@rihanna
97.5M followers
NASA
@nasa
92.1M followers
Justin Bieber
@justinbieber
90.8M followers
KATY PERRY
@katyperry
87.4M followers
Taylor Swift
@taylorswift13
81.2M followers
Lady Gaga
@ladygaga
72.8M followers
Kim Kardashian
@kimkardashian
69.7M followers
Virat Kohli
@imvkohli
69.5M followers
YouTube
@youtube
68.7M followers
Bill Gates
@billgates
63.7M followers
The Ellen Show
@theellenshow
62.5M followers
Neymar Jr
@neymarjr
62.2M followers
CNN
@cnn
61.9M followers
X
@x
60.8M followers
Selena Gomez
@selenagomez
60.5M followers