Ken Takeuchi

東京大学 工学系研究科 電気系工学専攻・工学部 電子情報工学科（EEIC）教授 / MBA（スターンフォード大学）　越境してCo-design　著書は「10年後、生き残る理系の条件」 「世界で勝負する仕事術」 　

[森田泰史＠サッカージャーナリスト @YasushiMorita15]

メンターという言葉を聞くと、多くの人は「アドバイス役」を想像するかもしれない。
しかし、本当の役割はそこではない。
組織には戦術と同じくらい重要なものがある。
文化だ。
例えば日本代表は、
長友佑都、吉田麻也、遠藤航、南野拓実らが長年かけて積み上げてきた価値観を持っている。
準備を怠らない。
仲間のために走る。
チームを優先する。
環境や言い訳のせいにしない。
こうしたものは戦術ボードでは伝えられない。
人から人へ受け継がれる。
だから森保監督は南野を呼んだ。
特にW杯のような短期決戦では、試合に出る11人だけではなく、ベンチ外やスタッフを含めた組織全体の空気が重要になる。
大会期間中は必ず苦しい時期が来る。
敗戦。
負傷。
出場機会の不満。
プレッシャー。
その時にチームを支えるのは戦術ではなく文化である。
興味深いのは、南野自身がW杯を失った側の人間だということだ。
本来なら最も悔しい立場にいる。
それでも現地へ来て、自ら取材に応じ、「チームのため」と語る。
だからこそ説得力がある。
言葉ではなく、存在そのものがメッセージになっている。
W杯で勝つチームは、90分だけ強いチームではない。
組織として強いチームだと思う。
そしてメンターとは、組織の文化を未来へつなぐ存在なのである。

[Ken Takeuchi @kentakeuchi2003]

株価急騰で注目？の半導体メモリの国際会議IMW。フラッシュメモリのキオクシア・サンディスクが復活？！と世間で言われても、エンジニアは粛々と大容量化を進めてきただけと。急に会社が変わったわけではない。ただ業績の個人の所得・持ち株への反映は企業で違うので「あの企業いいな」という話は聞く

[深津 貴之 / THE GUILD, note @fladdict]

最近モニョモニョとスキルやキャリアで悩んでること、どうしよ⋯というようなこと、開発や制作受託業界でこれから起きそうな予想をメモってみた。あと本の宣伝。

writing... AI企業が「受託」を始めた日。エンジニア、PM、デザイナーはどうこの先生きのこるか

https://t.co/17CQKtFTLz

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

自然に画像を生成できるAIは、すでに視覚世界を理解しているのではないか。つまり、物体、奥行き、空間構造、そしてどこに何が存在するかといった情報を、内部的に獲得しているのではないかと考えられてきた。

今回、強力な画像生成モデルである Nano Banana Pro を視覚理解タスク向けに指示チューニングすることで、専用モデルに匹敵、あるいはそれを上回る性能を達成できることが示された。セグメンテーションでは SAM 3 を上回る性能を達成し、深度推定では Depth Anything 3を上回る性能を達成している。

これは、自然言語処理において、LLM の登場により、翻訳、要約、質問応答、推論などのタスクが、すべて生成モデルの適応として統一的に扱われるようになったのと同じ現象が、画像処理においても起き始めたといえる。予想されていた流れではあるが、それが実際に成立し始めた重要なタイミングだといえる。

本研究では、Nano Banana Pro に対して少量の画像タスクデータで指示チューニングを行い、画像認識・視覚理解タスクを解かせている。この際、視覚タスクの出力をすべて RGB 画像に変換し、各タスクを画像生成問題に帰着させる。

例えば、セグメンテーションタスクでは、「これはセグメンテーション画像です。ピンクの服を着た人は白に、他の人は緑に塗ってください」というように指示を与え、セグメンテーション結果を得る。

インスタンスセグメンテーションタスクでは、例えば「それぞれのクロワッサンを別々の単色で塗ってください」と指示し、生成後に色ごとにクラスタリングすることで、個々のインスタンスを取り出す。

深度推定の場合は、深度情報を RGB 色空間上の色に対応させる。具体的には、深度値を近くの解像度をあげるよう変換したうえで、RGB 立方体上の経路に沿って色へ対応づけ、モデルにはその疑似カラー画像を生成させる。

法線推定の場合は、法線の3次元情報を RGB チャンネルに対応させる。右手系のカメラ座標系において、左右方向、上下方向、カメラ方向の成分をそれぞれ色として表現する。

これらの開発において特殊なアーキテクチャ、専用ヘッド、専用損失を使っていない点である。基本的には、「このような画像を生成してください」と指示し、通常の画像生成損失によって学習している。

また、これらの視覚タスクへの指示チューニングを行っても、元の画像生成能力が失われないように、生成データも混ぜて追加学習している。その結果、作られたモデルは、画像生成と視覚理解の両方を扱えるようになっており、汎用モデルとして扱える。

なおnano bananaの学習データ規模、学習手法が公開されていないのと同様に、本手法においてもデータ規模、画像生成手法は公開されていない（おそらく拡散モデルの変種と考えられるが）

コメント
===
自然言語処理で起きた「生成タスクで強力に事前学習されたモデルが、汎用タスクに使えるようになる」という現象が、視覚理解においても起き始めた瞬間（GPT-3ぐらい）といえる。

本論文では、各タスクを画像出力に統一したことが大きな貢献の一つである。ただし、これが重要というより本質は、画像生成モデルがここまで強力になると、その副産物として視覚理解能力も獲得されることを示した点にあるだろう。
今後は LLM と同様に、視覚においても、巨大な学習工程による事前学習、各タスク向けの事後学習、さらに高速化のための蒸留や特化モデルへの展開が進んでいくと考えられる。

この流れは、Richard Sutton の Bitter Lesson を思い出させる。つまり、汎用的で計算資源を大量に投入できる手法が、ドメイン特化のさまざまな手法を最終的に上回っていく、という見方である。AI研究者にとって苦い教訓として知られている。

もちろん、これであらゆる用途にそのまま使えるというわけではない。視覚認識では速度やコストが重要であり、巨大な生成モデルは重いため、実用上は専用モデルを作る場面も重要であろう。しかし、多くの汎用的な視覚タスクをこの枠組みで扱える可能性が示されたこと、そして性能をさらにスケールさせるための明確な方法論が見えたことは重要である。

また、すでに動画生成モデルについても、汎用的な視覚理解や世界モデルとしての可能性が示され始めている。今後も、様々なタスクにおいて、大規模な生成タスクによる事前学習から、様々な専用タスクへ適応させる流れがさらに進んでいくだろう。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

拡散言語モデル（dLLM）に対し、「正解が検証可能な問題」を用いた強化学習によって推論能力を獲得させることは難しかった。

dLLMは、最初に全トークンがmaskされた状態から少しずつ穴埋めを行い、最終的に全文を完成させる。このように生成は複数段階のデノイジング過程として表される。

この場合、強化学習（方策勾配法）に必要な全文の生成確率を計算しようとすると、どの順序で穴埋めを行ったかを全て列挙する必要があり、現実的ではない。

そのため従来は、全文確率の下限であるELBOや他の近似手法を用いて強化学習を行っていた。しかしこの場合、勾配にバイアスが入り、自己回帰モデル（AR）と比べて性能が劣っていた。

この論文では、従来のLLMにおいて「状態＝問題」「行動＝最終回答全文」だった定式化を変更し、「状態＝現在の部分マスク状態」「行動＝今回穴埋めするトークン」とみなすことにした。

これにより、dLLM生成は多段階MDP問題として扱えるようになる。この場合、必要な確率情報は全文の生成確率ではなく、「現在の状態において対象トークンをデノイジングする確率」で済むため、厳密に計算可能となる。

さらに、デノイジング全ステップをそのまま学習対象にすると、backpropagationの計算コストが重すぎる（通常100ステップを超える）。そのため、ランダムにステップをサンプリングし、選ばれたステップのみで方策勾配を計算する。

このようにすることで、最終回答だけでなく、途中のデノイジング過程全体にも学習信号が流れるようになり、推論経路全体を強化できる。

論文ではGSM8K、MATH、Countdown、Sudokuで評価を行い、従来のdLLM向けRL手法に比べて大きな性能改善を達成した。

コメント
===
dLLMは、学習データ効率や推論効率などの面で有望視されながらも、自己回帰モデル（AR）に比べて普及していなかった。その大きな理由の一つが、上記のような強化学習手法が確立されていなかったことである。

今回提案された手法は効率的であり、なぜこれを今までやっていなかったのかと感じるほど単純で使いやすい定式化になっている。

一方であだ課題もある。例えばMATHでは、依然としてAR系モデルに届いておらず、長期依存や逐次推論において限界が残っている可能性がある。dLLMは並列推論を特徴とするため、長い因果推論鎖との相性がまだ悪いのかもしれない。

また、dLLMではKVキャッシュが使いにくい問題がある。並列生成は可能である一方、各ステップでフルアテンションを再計算する必要があるため、推論コストが高い。この問題は将来的に解決可能と思われるが、現時点では有効な手法はまだ確立されていない。

[Ken Takeuchi @kentakeuchi2003]

自分が日本の電機メーカーに就職した30年前から、当時の日本の主力産業のDRAMで三星に負け始めており。経営、技術の全般的に力負けと思う。

[サん✨ @Adscience12000]

$AMD
リサ・スーを捕まえて｢英語話せる？｣と聞いてしまった伝説のF1インタビュー(2018年)からAMDは60倍に。

[dFender @AcdFendder]

人間とかいうハードウェア、知れば知るほどマジでよく出来てる

耳にはアナログフーリエ変換装置標準装備、光センサーはR,G,Bで受け取って微分可能な状態でニューラルネットワークに埋め込んでマルチモーダル処理…しかもセンサー劣化に対しても継続学習による補正付き

それが水とおにぎりで動く

[Ken Takeuchi @kentakeuchi2003]

半導体は波乱万丈すぎて、半導体に若い人を勧誘していいのか、と思っている。いまはAIブームでNVIDIAやメモリベンダが絶好調だけど、変化が激しすぎて、先はわからない。兵どもが夢の跡.だけど、長期的に考えると、自分が専門のメモリは常に社会で求められるとは思う。

[Ken Takeuchi @kentakeuchi2003]

半導体の冬の時代を耐え忍んできた身としては、不思議な感じ？ですが、半導体、特にAIチップの回路設計をしたい学生さんが多いようで。リアルな半導体の回路設計を体験したい方は歓迎します。ただ、先端の回路設計は実務的なノウハウ取得が大変すぎて、博士くらいじゃないと難しいと思う。

[Ken Takeuchi @kentakeuchi2003]

低電力AI半導体の回路設計、不揮発性メモリ（ReRAM）を使ったイン/ニアメモリコンピューティングを研究したい方（研究員・博士・修士）を募集中。ファンドリ・メモリベンダとの連携で日本でReRAM設計できるのは竹内研だけ（と企業が言っている）。世界でも数少ないメモリチップを設計できる研究室です

[Ken Takeuchi @kentakeuchi2003]

半導体屋から見ると、AIはともかく、半導体で良いんですかね？？　変化が激しく、ヤバイ時は本当にヤバイ産業でずが。/ＡＩや半導体など「先端」研究人材、大学と産業界で育成へ…最大年５億円を助成する大学の公募スタート
https://t.co/Tifx4f4JmJ

[Ken Takeuchi @kentakeuchi2003]

トランプ大統領も出席した夕食会で銃撃事件が起きたのは、ワシントンヒルトンホテルだったのか。半導体関係者であれば、かつてIEDMが開催されていた良く知るホテル。銃撃を受けた部屋はインターナショナル・ボールルームなので、IEDMではショートコースなどやっていた地下の部屋か。

[東浩紀 Hiroki Azuma @hazuma]

僕と同じことを言っている。
人間は人間にしか課金しない。

[Ken Takeuchi @kentakeuchi2003]

面白い視点。温故知新でもある。「AIにとって人間の歴史は関係なく、百年前の将棋でも評価が高ければ選ぶ。昔勉強した形が突然リバイバルで復活して役に立つこともある。／「AIを使えば全員同じになる」　羽生善治九段が語るAI時代の差別化と意思決定

[ITmedia @itmedia]

［ITmedia エンタープライズ］「AIを使えば全員同じになる」　羽生善治九段が語るAI時代の差別化と意思決定 https://t.co/isEe2CturB

[Trivela 🇵🇹🇮🇹ファンタジスタ愛好家🇯🇵 @Trivela_Futebol]

🇺🇸アン・ハサウェイさん（女優）
職場である
#プラダを着た悪魔2 のプレミアイベントに

ゴリゴリの私情を持ち込み
アーセナルのユニフォームを持って登場。
えぇ、サッカー好きの我々にとっては
大変嬉しい瞬間なのですが、
あなたを好きな人達は、何か理解できへんよ笑

[サッカーキング @SoccerKingJP]

🇮🇷公平性🇮🇹
イタリア代表のW杯出場要請も…スポーツ大臣らは反論「不可能だ」「出場権はピッチ上で勝ち取るもの」
https://t.co/ffhpFuzGIN

🗣️編集部より
「米大統領の特使であるザンポッリ氏は、イランに代わりイタリアのW杯出場を提案しましたが、スポーツ大臣らは毅然としたコメントを残しました」

[Ken Takeuchi @kentakeuchi2003]

学生の就活で半導体が人気回復しているようだけど。今はAI応用などで半導体がもてはやされているから、「将来大丈夫だろう」と思って就職するのならば、考え直した方がいいよ。社会の根幹となる産業で、浮き沈みが大きく、波乱万丈の中で自分を鍛えたい人には良いと思う。

[Ken Takeuchi @kentakeuchi2003]

半導体のエンジニアとしてはシリコンバレーは憧れだし、それでスタンフォードに留学したのに。トランプのせいで、アメリカがどんどん嫌いになっていく。悲しい。

[Ken Takeuchi @kentakeuchi2003]

サッカー・ワールドカップにトランプ政権が政治介入するなら、アメリカでワールドカップやるのをやめて、代替地で開催する方がまし。