志水克大

大学の先生や専門家のフォロワーが多いです. Systems Theory/Process Science/Business Process Automation/Executable Business Process Network (eBPN). 一児の父.

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

AI+HW 2035は、次の10年においてAIとハードウェアを一体として設計する必要性を訴えるビジョンペーパーである。今後の中心指標はFLOPsではなく、intelligence per joule、つまり単位エネルギーあたりの知能・有用性になると主張している。

そして、次の10年でAIの学習・推論効率を現在と比べて1000倍にすることを目標に掲げている。具体的には、5年で100倍、6〜10年で1000倍の改善を目指すというものである。この1000倍は、アルゴリズム・モデル最適化で約10倍、シリコン利用率・半導体技術の改善で約20倍、システムレベルの効率化で約5倍を実現することで達成できると考えている。

現在のAIの発展はハードウェアに支えられてきた。特にハードウェアは、Transformer型モデルが必要とする巨大な行列積を高速に実行する機械として進化してきた。

しかし、この方向には限界が見えてきている。現在のLLMでは、演算性能そのものよりも、メモリから重みやKVキャッシュを読み出すコスト、GPU間通信、電力、冷却、データセンターの受電容量がボトルネックとなっている。特に推論では、1トークンを生成するたびに巨大な重みや過去文脈のKVキャッシュを参照する必要があり、FLOPsよりもメモリ帯域が重視される。

こうしたハードウェア制約によって、AIモデルも変わりつつある。KVキャッシュを小さくする、Attentionを局所化・疎化する、MambaやSSMのように固定サイズの状態を持つモデルを使う、MoEで使用するパラメータを選択する、低精度化・量子化する、大規模モデルから小型モデルを蒸留する、といった方向である。

今後は、このようなAIとハードウェアの共進化がさらに進むと考えられる。

ハードウェア側の制約として、まず演算性能の制約がある。GPUや多くのAIアクセラレータは、大きく規則的な行列積を得意とする。一方で、細かい分岐、不規則な疎行列、動的ルーティング、連続する小さな演算は苦手である。そのためモデル側には、バッチ化しやすく、演算融合しやすく、規則的なテンソル演算で表される構造が求められる。

第二に、メモリ容量の制約がある。推論では、特に長文LLMにおけるKVキャッシュが非常に大きな問題となっている。モデル巨大化は抑えられるが、long-horizonタスクに向けてKVキャッシュはさらに大きくなるだろう。

第三に、メモリ帯域の制約がある。LLM推論では、特に容量よりも帯域が問題になりやすい。そのため、FlashAttention、PagedAttention、RadixAttention、重み圧縮、低ビット量子化などが重要となる。

第四に、通信の制約がある。大規模学習では、データ並列、テンソル並列におけるall-reduce、パイプライン並列における活性値転送、MoEにおけるエキスパートdispatchなどで通信が発生する。また、推論でもMoEは計算量を削減できる一方で、エキスパートが分散配置された場合、all-to-all通信が重くなる。

第五に、電力と冷却の制約がある。AIの大規模化は、チップ単体の電力だけでなく、ラック、データセンター、さらには地域の電力網にまで影響している。

第六に、レイテンシの制約がある。推論においては、特にロボット、自動運転、AR、産業制御の領域で、平均レイテンシだけでなく最悪ケースレイテンシが問題となる。

こうした課題の解決に向けて、論文は3D統合、チップレット、HBM、compute-in-memory、near-memory computing、アナログAIアクセラレータ、光インターコネクト、異種統合システム、AIによるEDA自動化を重要技術として挙げている。

コメント
===
AIにおいて電力あたり性能が最重要項目であること、またその実現にはこれまでとは異なるアーキテクチャが必要になることは、PFNも以前から訴えてきたことである。特に、最近ではメモリ帯域が大きな問題となっていることも繰り返し述べ、その解決に向けたチップ（MN-Core L1000）を開発している。

ハードウェアとモデルの共進化は、今後ますます重要なトピックになると考えられる。ハードウェア開発は年単位で進む一方で、モデルは月単位、場合によっては週単位で進化する。この速度差の中で、両者をどのように協調させるかが重要になる。

具体的な課題の一つとして、大きくなり続けるKVキャッシュを考えてみる。MambaやGated DeltaNetのような固定容量の状態を持つモデルの開発が進められている。
ただし、それ単体でTransformerを完全に置き換えるのは現時点では性能面で難しく、グローバルな注意機構と組み合わせたハイブリッドモデルが使われている。この場合、KVキャッシュは定数倍しか小さくならない。

その中間的な方向として、KVキャッシュを圧縮する方式も多く使われている。特にClaude Codeや他のエージェントを使う場合、KVキャッシュ・マネジメントはエージェントやハーネス側でサポートされ、現実的に処理されている。

こうした記憶はまだKVキャッシュ（元のトークンよりはずっと高度に圧縮されたものだが）だが、人間における短期記憶から長期記憶への統合、いわゆるconsolidationのような仕組みと同様に重みに統合されることも検討されるだろう。つまり、推論時に重みにその場で統合される。この場合はバッチ化との相性からLoRAのような薄いレイヤーが考えられるし、まだ思いついていない方法がでてくるかもしれない。

さらには、このような過去の記憶管理も学習ベースで行われていくことが期待される他、疎なアクセスであっても効率的に処理できる仕組みが期待される。このあたりはハードウェアの特性との融合が重要となる。

また、単一のハードウェアですべてを実現することには限界がある。必要な電力を下げていくためには、アプリケーションに合わせて異なる特性を持つハードウェアを組み合わせていくことも重要になるだろう。

[(((E. Glen Weyl/衛谷倫))) ⿻ 🇺🇸/🇩🇪/🇹🇼 @glenweyl]

Cool opportunity to collaborate with @OpenAI: https://t.co/Y73O0PRf99

[Ryota Kanai 🌙 @kanair_jp]

この論文は「AIは意味を理解しているか？」というテーマについて議論するときコンテキストを整理している。ここに書いてあることを前提として共有した上で議論すると、表面的な意見表明以上の話ができそう。「AIに意識があるか？」でも、同様のものが欲しい。
https://t.co/c2WgLiw0gp

[鈴木 健 @kensuzuki]

仮名化する処理もローカルAIで簡単にできるのではないかな。

[志水克大 @fpocket]

ソフトウェアのコストの多くは、データベースのスキーマ変換のような情報の表現方法の変換に費やされていて、その部分はそもそも価値を生み出しているのかという構造的問題もあると見ています。現在の情報システムのアーキテクチャがよくないために、余計なコストがかかっていた部分がAIの計算コストに置き換わっただけで、トータルで見るとコストが増えているだけの可能性もある。AIが凄いというより、現在主流の情報システムのアーキテクチャがよくないだけなのではないかという気もします。

[今井翔太 / Shota Imai@えるエル @ImAI_Eruel]

生成AI開発は、コーディング能力でソフトウェア業界という黒字の元を見つけ、少なくとも一時的に黒字化は可能であることは示したのですが、まだ安心はできず、ここから先は「AIバブルか収益は上がるか」はAI業界ではなく、別業界の需要構造の問題になったと思います。
ソフトウェア開発の世界で現場レベルで生産力が上がったとしても、その上がった分の生産能力が売り上げに変換されなければ、長期的にはAI業界に対して払うコストが正当化できず、結局AI側に流れるお金も一過性で減っていきます。
今まで1ヶ月で開発していたものが１週間で開発できるようになって、1ヶ月で生産性が4倍になったとしても、追加された分のソフトや開発案件に需要が発生しなければ、その分はお金になりません。需要が発生しないソフトを作っているのであれば、むしろ開発案件が４倍になった分コストは増えています。
したがって、そもそも現在のソフトウェア業界が増えた分の生産力に需要が発生するほどの構造になっているか、言い換えると現在のソフトウェア業界は売り上げが発生する案件が大量あるのに人間の開発力では追いつけていない状況がどれくらい発生していたかが問題になります。
仮にソフトウェア業界の需要に天井があるとすれば、生産性をお金に変えるために重要になってくるのは「どれだけ多くの人を解雇できるか」になります。少なくとも、現時点のアメリカのレイオフ状況を見ているとややこちらが優勢っぽい不穏さを感じます。
ちなみに、ソフトウェア業界に関して、明確に人手不足であると個人的に感じているのはゲーム開発の世界です。最近のゲームはあまりにもリッチになりすぎたせいで、開発規模も機関も巨大になっています。私個人がプレイヤーのところだとドラクエやFFなどですが、この辺の開発の生産性を上げることができれば、そのまま収益に繋げられるのではないかと思っています。

[志水克大 @fpocket]

MAI-Thinking-1: Building a Hill-Climbing Machine
https://t.co/FlFOSGd1Ot

[鈴木 健 @kensuzuki]

6月1日付けで、慶應義塾大学の特任教授に就任しました。2月に設立したプルーラリティ・なめらかな社会研究センターの共同代表としての仕事になりますので、やることはこれまでと変わりませんが、慶應関係者のみなさま、よろしくお願いします。

[CPC（集合的予測符号化） | 記号創発システム論 @sym_eme_outrea]

CPC/記号創発システム論のウェブサイトがリニューアルしました👏
https://t.co/e5vx3cFU8q

論文、研究、イベント、動画など、CPCにまつわるコンテンツのハブとして拡充していきますので、ぜひご覧ください。

[WIRED.jp @wired_jp]

この1年で人工知能（AI）をめぐる風景はまた一段と書き換えられてしまった。そう感じるほどに、この短い時間に起きた変化は大きい。「人間にしかできない創造とは何か」と問うたあの時とは、もはや違う景色のなかにわたしたちは立っている。
https://t.co/uGaU4cdEMw

[志水克大 @fpocket]

我々が業務と呼んでいるのは巨大なNetwork of Processesでしかなく、業務をプロセスモデルに落とし込むという専門職が出てくると見ています。今のAIはCollection of Thingsのパラダイムのコンピュータで動作させているが、コンピュータがNetwork of Processesのパラダイムで動作するようになれば、今とは比較にならないほど、はるかに効率的に自動化が進むと見ています。

[深津 貴之 / THE GUILD, note @fladdict]

AI時代は、「正社員雇用の派遣会社」みたいのが生まれそう。A社からすると、派遣社員として雇用できる。AIができないこと巻き取りつつ、自動化したら契約完了。B社からすると正規雇用でA社に送り込んでAIDX行い、契約終わったら別の会社に派遣する…つまりFDEは実質派遣社員の新形態なのでは！？

[志水克大 @fpocket]

弊社ではプロセスモデルとして表現して実行しています。プロセスモデル自体をLLMに書かせれば、モデル化のプロセス自体も自動化できる。メンテナンス性や安全性も考えるとモデル化しておいた方がよいと考えています。

[大倉昭人 @akihito_okura]

知財事務の仕事も都度AIにやらせるか、コードにして定型化するかの違いがあり、ユーザも関心あるようなので、プレゼンのネタとしてストックしておこう。

[志水克大 @fpocket]

圏論を勉強していると、関係性の次元(関係性の関係性の関係性の・・・)が少し上がるだけで理解するのが難しくなることがよく分かるので、LLMを関係性の計算機と見た場合、高次元の関係性の計算では到底かなわないと考えています。プロセスの中身がブラックボックスであっても安全性を検証できる理論の開発が必要だと考えています。

[深津 貴之 / THE GUILD, note @fladdict]

脱ヒューマン・イン・ザ・ループ時代がくるのではないか？というメモを書いた。

writing... AIの成果物を、人類がレビューしない時代がくる

https://t.co/t9Ze6REi0c

[檜山, キマイラの爺さん @m_hiyama]

This post continues from yesterday’s article.
I present a toy model of the Curry–Howard–Lambek correspondence, and use it to analyze the differences in terminology and notation across the related fields.
https://t.co/uTkA83K0uj
#はてなブログ

[志水克大 @fpocket]

「LLMを使った子どものお悩み相談」が「誰一人取り残さない素晴らしいサービス」という感覚がよく分からない。効率化・最適化の名の下に「繋がり」が刈り取られた結果として、セーフティ「ネット」がさらに弱体化したという現実が見えていないように思う。デジタル技術の誤った使い方だと思う。

[Masanori Kusunoki / 楠 正憲 @masanork]

LLMを使った子どものお悩み相談、誰一人取り残さない素晴らしいサービスである反面、いろいろなことが起こるだろうと心配はしていたが、こんな形で顕在化することになろうとは驚いた。悩み相談を地域の支援へと繋げる動きに今後どのような影を落とすことになるのか心配

[井上秋(偽物) @i_n_o_u_e_a_kki]

何が言いたいかというと「圏論的量子力学気になってるけど圏論理解してないからな〜」って思ってる人に

「関係ない。圏論的量子力学入門を読め」

[すうがくぶんか @sugakubunka]

加藤文元先生@FumiharuKatoによる「はじめての圏論」第5回は、「矢印とモノ」と題し、圏論において非常に重要な「射」の考え方をじっくりと解説していただきました。
”料理”や”あみだくじ”などの身近な例から、数学的・抽象的な例まで、さまざまな具体例を通して、射の考え方について学びました。
いよいよ「圏」について考える準備が整い、次回からはその定義について考えてゆきます。

▼詳細・申込
https://t.co/iuH5rgFw6E

[志水克大 @fpocket]

関係性による評価だと考えています。プロセスの中身がブラックボックスでも、システムのある側面の評価ができるという圏論的評価を無意識に行なっていると見ています。AIの導入でやってはいけないのは関係性のネットワークを刈り取ってしまうことだと思いますね。

[深津 貴之 / THE GUILD, note @fladdict]

エンジニア視点でAIコードは、「動くけど理解不能でいざって時に自分で直せない」だけど、非エンジニアの経営者の視点では、部下エンジニアのコードも「動くけど自分には理解不能でいざって時に自分で直せない」だったりする。でも経営者は、自分が理解できないコードを他者に委託できてる。ここに何かヒントがある気がする。

[WIRED.jp @wired_jp]

AIによって開発者を置き換えようとしている企業は、大きな間違いを犯している可能性があるともハサビスは指摘する。「それは想像力の欠如です。そして、これから本当に起きることを理解できていないということでもあります」
https://t.co/M0SWFBBdmg