✌️

[みのるん @minorun365]

ありがとうございました！！今日の資料です🙌 #QiitaConference

Claude Codeですべての日常業務を爆速化しよう！
https://t.co/8wEOQej6co

[べっく @bekku_zer]

https://t.co/AVcQWWmVg0

[farstep @farstep_]

https://t.co/QRfrinbolt

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

LLMの事後学習では、オンポリシー蒸留（OPD）が有力な手法として使われている。OPDでは、生徒モデル自身が生成した出力に対して、より強い教師モデルのトークンごとの確率分布を参照し、生徒モデルを教師モデルに近づける。

しかしOPDには、学習中に強い教師モデルを常時サーブし続けなければならないという大きな問題がある。さらに、学習中の生徒モデルによるロールアウトも毎回行う必要がある。Lightning OPDは、この問題を解決する手法である。

まず、教師モデルが生成したデータでベースモデルをSFTし、参照モデルを作る。次に、この参照モデルを使って応答を一度だけ生成し、その応答に対する教師モデルのトークンごとの対数確率を事前計算して保存しておく。学習時には、参照モデルによる固定応答上で、保存済みの教師モデルの対数確率と、現在学習中の生徒モデルの対数確率との差をアドバンテージとして用い、生徒モデルを更新する。

従来、適当なモデルを使ってロールアウトデータを作ると、ロールアウト分布と、OPDで参照する教師が一致しない。本論文では、この不一致が勾配バイアスを生み、性能低下につながることを示している。これに対し、Lightning OPDではSFT教師とOPD教師を一致させることで、教師整合性を保つ。

実験では、4Bおよび8Bモデルの設定において、数学・コーディングタスクで標準OPDと同等、またはそれを上回る性能を達成している。また、計算コストについても、約4倍の効率化を実現している。

コメント
===
OPDは強力だが、実現にはかなり大きな計算・インフラ上の負担がある。Lightning OPDは、教師モデルの常時サービングと学習中の生徒ロールアウトを不要にすることで、OPDをかなり現実的に実行できる形にしている。

また、この手法におけるSFT段階は、広い意味でmid-trainingに近い役割を持っている。mid-trainingは、ベースモデルをいきなり最終タスクに向けて最適化するのではなく、目的に近い中間分布へ一度移動させる段階である。
Lightning OPDにおけるSFTも、後続のOPDが有効に働くように参照モデルの分布を整える段階であり、OPDのための分布整形とみなすことができる。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

大規模言語モデルの学習では、Muonと呼ばれる最適化手法が注目されている。Muonは、通常の勾配降下とは異なり、各重み行列の勾配を行列として扱い、そのスペクトル構造を変換してから更新に使う。

Muonは勾配行列の方向ごとの強さを揃えるため、特異値を1に揃えてから適応する。そのためMuonの成功は、しばしば勾配スペクトルを白色化し、適切な非ユークリッド幾何に沿って最急降下しているからと説明されてきた。

今回の論文では、この説明に疑問を投げかけ、厳密な白色化や幾何構造ではなく、もっと粗いスペクトル操作とステップサイズの安定化ではないか、というのである。

例えば、Freonという変種を考え、通常の勾配降下から、Muon、さらに擬似逆行列に近いもので表せるものを作る。この場合、あるノルムに対する正しい最急降下として表せない範囲が最適なことがみられる。

さらに特異値をランダム化したKaonも実験ではMuonにかなり近い性能を示す。

これらの結果から、もしMuonの本質が特定のノルム幾何に厳密に従うことではなく、元の勾配スペクトルを破壊し、過大な特異値を抑え、更新スケールを安定化することにあるのではないかと示唆される。

さらに、バッチ勾配と真の勾配の整合性と、方向ごとの降下可能性をみた場合、通常の勾配方向は、一見すると最も自然に見えるが、ミニバッチ勾配にはノイズがあり、また曲率の高い方向に強く引っ張られることもある。その方向にそのまま進むと、ステップサイズを小さくせざるを得ない。
一方、MuonやFreon、Kaonのようなスペクトル変換は、勾配との単純な整合性を少し犠牲にするが、より低曲率で、大きなステップを踏みやすい方向を作る。

この観点では、Muonの本質は正しい幾何ではなく、学習率を合わせやすい更新方向を作っている可能性がある

ただし、実験の中心はGPT-2規模やNanoGPT、WikiText-2であり、大規模事前学習で同じ結論が成り立つかは要検証

[コムテ @commte]

エンジニアの評価軸、AI 前提で書き換わってるという話。はてぶコメントにもあったけど「経験がある人」にしかできないやつな気がするなあ

- AI 前提で仕事を設計する力
- PdM / 事業視点への越境
- 最終判断と品質への責任
- 個人技を組織の学習に変える力

https://t.co/WGv38cgBVC

[LayerX Tech @LayerX_tech]

「Problemが少ないですが、本当にないんですか？」

バクラク事業部の須藤（@sudoakiy）が、現状に満足せず当たり前の水準を高め続ける組織文化と、信頼を前提としたフィードバックのリアルを綴りました📝
ぜひご覧ください！
https://t.co/O7ZJjxAdwR

[べっく @bekku_zer]

類似資料検索に gemini embedding 2 が使えそう、という記事を書きました。

今回はその続きで、gemini embedding 2 は資料の見た目の近さに引っ張られるのか、それとも内容の近さを見ていそうなのかを検証して、追加に記事としてまとめました。

https://t.co/B3wTyqkKqP

[べっく @bekku_zer]

freee MCPのように操作の自動化が進むほど、
「資料に紐づくナレッジ」が重要な気がする。

gemini-embedding-2 で「類似資料とナレッジ」を検索できれば、過去にその資料をどう判断し、どう処理したかも再利用できて自動化しやすくなりそう。

というzenn記事を書きました。
https://t.co/9XhCIDKi9F

[iwashi / Yoshimasa Iwase @iwashi86]

LLMのアーキテクチャギャラリー。よくまとまっている。

https://t.co/e3H8tYeG5u

[O'Reilly Japan @oreilly_japan]

6月刊行予定の『ゼロから作るDeep Learning ❻ ―LLM編』ですが、モノクロだったカバーの動物🐟 Australian lungfish（オーストラリアハイギョ）に色がつき、ついにカバーがカラーになりました！徐々に近づく発売をどうぞお楽しみに！
https://t.co/jQJ6KpcN13

[✌️ @etedjy]

高橋成美の顔も動きも可愛過ぎる

[LayerX Tech @LayerX_tech]

先ほど発表しました、LayerX 澁井の登壇資料はこちらです！

R&Dチームを起ち上げる
https://t.co/uxetnzkrvO
#rnd_meetup

[LayerX Tech @LayerX_tech]

LayerX バクラク事業部では、副業・業務委託エンジニアの方々も積極的に受け入れています！

これまであまり知られていなかった受け入れ体制や、リモートでも安心して開発に参加いただける工夫について、ブログで詳しく紹介しています。

ぜひご覧ください👋
https://t.co/9TpG5u1PDn

[べっく @bekku_zer]

「agent-browser」が実際にコンテキスト量をどのように減らしているのか？見つつ、実際にGeminiで動かしてみた内容の記事を公開しました。

「Playwright MCPよりも良い？「agent-browser」でGeminiにブラウザ操作させてみた」

https://t.co/nqdolVNW3a

[✌️ @etedjy]

徳島出身だけど、徳島県の人ってラインギリのこと言って笑いとってるつもりが、ライン超えてるパターン多い気がする。

あと、偏った持論で他人を評価してるイメージもある。

[露木 @hTuyuki65536]

徳島嫌われ四天王

[いもいもくん @ma_anago]

https://t.co/KgBQdSuzyw
やらかし系カレンダーでもトップになりそうな強力な話だわ。。やっぱAIは高い、、

[✌️ @etedjy]

お盆は毎年何かしら勉強してるんだけど、
今年は強化学習！！！

ゼロ作4とアイシアさんの動画がわかりやすすぎて、強化学習そのものが簡単なんじゃないかと思い始めてる…()

[✌️ @etedjy]

よろしくお願いします！

#MIRU2024

[✌️ @etedjy]

来週はMIRU参加する！！！
学生の顔して色々見に行きまーす！！！

今まで参加したことある国内学会は、
コロナで全部リモートだったから楽しみ😋

去年の国際学会は現地だったけど、
楽しむ余裕なんてなかった笑