Kazuya Horibe / a.k.a kakehuton

あり得た生命の模索中/possible self-reproduction with variations/ / eng @khoribe3

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

ホテル１ヶ月後に取っていた。。。

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

豆乳とコチュジャンで担々麺ぽくなる

[Preferred Networks @PreferredNetJP]

【発表】国産フルスクラッチ開発の生成AI基盤モデルPLaMo 3.0 Primeの提供を開始しました。
1⃣API経由またはオンプレで利用可能
2⃣複雑なタスクに対応するReasoningモデル、応答速度の速いNon-reasoningモデルを提供
3⃣高い日本語性能とコストパフォーマンスを両立
4⃣コンテキスト長を64kから256kに拡張
5⃣危険情報に対する安全性向上
https://t.co/r7IeV3OdwC
AIエージェントや企業の実務利用を想定した機能強化がされていますのでおぜひ試しください

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

https://t.co/eb3GMKiY4s

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

廣松渉の世界の共同主観的存在構造が届いた

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

今回の出張、北半球と南半球を行ったり来たりするので服のチョイスがむずいな

[Hiro Hamada @HiroTHamadaJP]

今回はなんとMS9とのコラボで、
@ryomtzk さんと @ryuto_inoue1245 さんより提案、企画、リードいただきました

英語の企画だけでなく日本語イベントもあるのでお楽しみに

[Ryota Kanai 🌙 @kanair_jp]

MS9とCCTokyoのコラボの実現、素晴らしい！研究に興味を持つ人が増えると良いな。さらにコミュニティとして発展して欲しい。

[ムーンショット型研究開発事業@JST @JST_Moonshot]

MS9若手の会×Consciousness Club Tokyo セミナー 「～意識の進化とAI意識の創出～」開催しました！当日の内容は、後日noteにレポート記事公開予定です😉
#ムーンショット型研究開発制度

[ITmedia NEWS @itmedia_news]

AIと話すだけで動画編集できる映像ソフト、オープンソースで登場　出力は「Premiere」「DaVinci」でも読み込み可
https://t.co/JEyHEQ76YS

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Next-Latent Prediction（NextLat）は、Transformerに状態遷移を学習させる手法である。

Transformerは自己注意によって過去トークンを柔軟に参照できる。一方で、RNNのように履歴を固定長の状態へ圧縮し、それを逐次更新する構造は持たない。そのため、次トークン予測精度が高くても、内部表現が一貫した世界モデルになっているとは限らない。

NextLatでは、まず通常どおりTransformerをforwardし、各位置の隠れ状態、すなわち最終層のpre-logit活性値を得る。そのうえで、現在の隠れ状態と次のトークンから、次の隠れ状態を予測する小さな遷移モデルを学習させる。この予測誤差を遷移モデルと元のTransformer側に流す。ただし、教師側となる次の隠れ状態にはstop-gradientをかける。

さらに、予測された隠れ状態を出力ヘッドに通したときのトークン分布が、本物の隠れ状態を出力ヘッドに通したときの分布に近づくよう、KL lossも加える。これは、予測された隠れ状態がベクトルとして近いだけでなく、次トークンを予測する上でも同じ意味を持つようにするための補助目的である。直接投機的デコードにも役立てる目的もある。

NextLatの理論的な主張は、もしnext-token predictionとhidden-state transition predictionが完全に成り立つなら、隠れ状態は未来を予測するために十分な信念状態（belief state）に近づく、というものである。つまり、過去トークン列そのものを保持しなくても、現在の隠れ状態から未来を再帰的に予測できるようになる。

実験では、世界モデルが必要なタスクで有効性が示されている。たとえば、マンハッタンのタクシー移動列から一貫した地図構造を学べるかを測る評価では、next-token accuracyだけでは見えない内部世界モデルの質を比較している。また、学習した隠れ状態の遷移モデルを使うことで、投機的デコーディングにも有効であることが示されている。

コメント
===
昨日紹介した Pretraining Recurrent Networks without Recurrence と似ているが、本手法は既存のTransformerをほぼ変えず、補助学習項を加えるだけで済む点が特徴である。

MTPとかなり近いとも言えるが、MTPが未来トークンを直接予測するのに対し、NextLatは隠れ状態そのものを予測する。そのため、単なる未来トークン予測よりも、履歴を圧縮した信念状態を誘導しやすい手法だと考えられる。

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

読もう読もうとおもってた米田さんの生ける物質ついに届いた

[はらへり太郎 @Fractaller]

JREC-IN Portal : 東京都立大学の常勤教員公募（助教）人文科学、社会科学、自然科学を含む全ての分野
※ 原則、研究のみ（研究内容は自由、原則として教育業務等の負担はありません）
https://t.co/9P5FIWBzwl

[稲盛財団 @InamoriNews]

【研究助成】2027年度InaRISの申請受付がはじまりました！
https://t.co/C3zahiib2G
1人につき10年間継続・総額1億円の助成を行います。今年度の募集対象は「つながりの生物学」です。

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

金沢はやはり寿司がうまい

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

ストックホルム土産をいただいた

[Dataibridge @Dataibridge_01]

Preferred Networksのエンジニアが公開した技術スライド。国産LLM開発の最前線で実際に取り組んだ内容が詰まってます。

PLaMo 3.0 Prime Betaの事後学習パイプライン（CPT→SFT→DPO→GRPO）と、推論最適化（KV Cache・バッチング・量子化など）の実践的な手法と結果を体系的に学べます。

LLMのpost-trainingや本番向け推論環境を構築・最適化したいエンジニア・研究者。リソース効率を重視する人や、国産生成AI開発に興味がある人に特におすすめ！

・YaRNによるコンテキスト拡張やReasoning DPO、GRPOを使ったRLの効果と実装のポイント
・推論最適化：Paged Attention、Continuous Batching + Chunked Prefill、GPTQ/AWQなどの量子化手法の選び方とトレードオフ
・JFBenchのような日本語指示追従ベンチマークの作成方法や、データ合成・評価の工夫

自社LLMやオープンソースモデルのpost-trainingパイプライン設計、vLLMなどのOSS活用、限られたリソース下での効率的なモデル運用にそのまま応用可能。国内AI開発の意義も再認識できます。

理論だけでなく、PFNの実務経験に基づく具体的なベンチマーク結果・失敗/成功事例・OSS貢献内容まで詳しく書かれていて、すぐに現場で活かせる実践度が非常に高いです。

https://t.co/6Z5aZRgn5e

[Kazuya Horibe / a.k.a kakehuton @shikihuton]

@TNanasawa @ksk_S オーガナイズありがとうございました！
瞑想と自分の研究をつなぐにはどうすればいいかをいい機会になりました
またやりましょうー

[七沢智樹 - #テクノロジーの哲学 @TNanasawa]

「瞑想とAI」。個人的には可能性しか感じない！という感じでした。またやりましょう。
論点はいくつも出ましたが、特に、AIはいかに瞑想的になるのか、瞑想的規範を発揮できるのかという問いから考えることで、拓ける地平があると感じました。

[Ryota Kanai 🌙 @kanair_jp]

アラヤ、AIと「パーティ」を組んで働くAIパートナープラットフォーム「ClanExe」の製品紹介サイトを先行公開 https://t.co/Gbeg8lI6vb @PRTIMES_JPより