Taka

Data Scientist. I love Data Science, BigData, and High Performance Computing. MSc Biz Analytics in Singapore. MEng CS and BSc Physics in Japan. つくば英検 合格

[Taka @SGdatasc]

記憶力が悪いので、いつもSUTVAは何の略なのか忘れてしまう。(正しくは、Stable Unit Treatment Value Assumption)

[Dataibridge @Dataibridge_01]

Kaggleシミュレーションコンペで強化学習を実際に使いこなすための実践Tipsを、過去コンペ（サッカーゲーム・LuxAIなど）経験に基づいて徹底解説。模倣学習の活用から報酬設計・行動/状態の工夫、学習安定化まで一気に整理できます。

・模倣学習で上位エージェントのログから素早く事前学習モデルを作り、強化学習の初期性能を爆上げする方法
・報酬設計（シンプル勝敗＋即時報酬の使い方・clipping）、行動空間のマスク/集約、状態表現（チャンネルマップ＋過去stack）の工夫で学習を劇的に安定させるTips
・分散学習（IMPALA）、損失関数（KL+Entropy）、多様な相手との対戦戦略、MCTS併用など現場で即試せる学習安定化テクニック

Kaggle以外の実世界シミュレーション（ロボット制御、ゲームAI、自動運転など）での強化学習導入にもそのまま応用可能。基礎から「失敗あるある→具体策」までの勘所が身につき、研究や業務でのRLプロジェクトの成功率が上がります。

理論解説だけじゃなく「実際にKaggleで戦った参加者目線」のリアルなTipsと失敗パターン＋解決策が図解豊富で、すぐに自分のエージェントに組み込める実践レベルが段違いに高いです。

https://t.co/S0nYoi3u6I

[Yuta Kashino @yutakashino]

あと，AIコンテストやハッカソン的なもので他からお題が与えられて…的なものも一時的に満足はするけど，問題が自発的なものでないから長期間に渡っては楽しめない．結局，自分で欠乏やギャップを見つける好奇心とそれをどうにかしたいと思う執着心と，それを持続させる技術力と知識がないと難しい．

[ほりゆう @yuki82511988]

読ませていただきました🙏

すごく丁寧に作られていて参考になったのと、どんな内容かリポジトリも紹介してくださっていて、大変ありがたかったです。

SKILL内で呼び出している別のSKILL（ask系など）もCLIごとに作られていてすごかった...

https://t.co/mHKkUNPoyv (.@hirorowork さん)

[redtea @Syuiro_2]

業務都合ってやつで2年ぶり3度目の通読するか

[とよしま @toyoshim]

Top500には登録されない真の最高峰の計算力が世界中にゴロゴロ配備されていたこと。

[Kazunori Sato @kazunori_279]

13万個のTPUを結ぶ通信の話。Googleに15年いて一番衝撃だったのは、この辺りのスパコン系技術（RDMAやRoCE等、ソフトやTCP/IPを介さずノード間でμs単位の直接通信）が10年以上前からGoogleのクラウド基盤を支えてたこと。データセンター＝スパコンのような設計。それがLLM時代にぴったりマッチした。

[社会と人間が大好き @neupon08]

ビットコイン、「計算力をAIに回した方が採掘より儲かるから」という理由で暴落していくとは思わなかったな…
しかしとても健全だ

[講談社サイエンティフィク🖋️📔 @kspub_kodansha]

https://t.co/f4MMKcKCMR

[佐藤 天彦 @AMAHIKOSATOh]

遅ればせながら回答します。例によって長いです！笑

　技術革新の波が来ると、自分が培ってきたやり方が更新されるわけですよね。新しいやり方というものが世を席巻していく。もともとのやり方に親しんでいたり好んだりしているからこそ、新しい波に乗れないということはあると思います。

　僕も、新しい波にすぐには乗れないタイプです。
　僕は良くも悪くもとてもこだわりが強く、「それまでのやり方」に対して、ものすごく気持ちも時間的リソースも注いでいます。指したくない将棋を指したら体調が悪くなってしまうほどです。それだけ想いを乗せているので、「新しいやり方」が出てきたときに、何の抵抗もなく移行できるということはありません。抵抗をまったく感じないほどそれまでの将棋にこだわりがないのであれば、むしろそのほうが問題なのではないか、とすら思います。

　他方、世の中に起こる出来事にはある程度の理由があるはずです。「新しいやり方」が流行るのも、魅力や合理性があるからでしょう。そもそも人の行動や物事には何らかの理由があります。だから自分の価値観に合わなくても、すぐに拒絶したりジャッジしたりはしません。まあ、無意識のうちに生じるものはどうにもできませんが…。

　そういう習慣があるので、「新しいやり方」のほうにも魅力があるんだろうな、良さがあるんだろうな、と思いながら遠くから眺めていたり、場合によって軽く触れてみたりはします。でも最初のうちは良さがわからず、「それまでのやり方」にこだわり、「新しいやり方」を受け容れられないことがほとんどです。「新しいやり方」を受け容れられるようになるのは、「それまでのやり方」をそれなりにやりきって、自分なりの総括ができてからです。
　ＡＩ的にもはや高い期待勝率が望めない作戦・戦法でも、自分なりに考えて同意できないのならば、理由や反駁の可能性を追求してきました。そうした過程を経て「それまでのやり方」に自分なりの見解を持てれば、いつしか「新しいやり方」への抵抗感もなくなっていて、その良さが素直にわかり、本格的に取り入れたりすることもできるようになります。

　「新しいやり方」を受け容れられず「それまでのやり方」にこだわったり、中途半端になったりする時期は「移行期」ともいえます。移行期においては、ある程度成績が落ちるのは仕方がありません。「新しいやり方」にスムーズに移行できなくて内容も優れず、成績を落としているのは傍から見れば無様かもしれません。でも、こうして頑張っている自分自身のことがわかっていれば、必要以上に自分を責めることもなくなります。打ち込んでいる仕事がうまくいかなかったり、頑張りたくても頑張れないときに「自分を責めない」のは、決してベストな状態ではありませんが、ベターではあるのかなと思います。逆に、寄って立つものがないときは積み重ねた地力がさらけ出される瞬間でもあり、棋士としてはそうした時期もまた、優れた成績や内容といったものとは別の何かを表現しているのだと考えています。

　このように今起きている現象に真摯に向き合って、それでも自分に合わなければ、その対象が技術革新であろうなかろうと、もう諦めるしかありません。ここまでやれば「諦め」にも確信が持てます。１７世紀後半から１８世紀中盤までの時代を生き、１８世紀らしい軽快で優美な雰囲気に乗れなかったＪ．Ｓ．バッハのように、少々時代遅れでも、自分のやり方でこだわり尽くしていくしかない。バッハのように自分の仕事が広く他者に受け容れられるかどうかはともかく、自分の人生をプレイする主体としては、それ以上やりようがない。
　ただ、自らのこだわりをむやみに肯定すれば良いというわけでもないのがやっかいなところです。バッハも、ただ流行に背を向けていたわけではない。ヨーロッパ各地の音楽を取り入れようとするなかで、彼が世界の潮流に合わせられる限界が見えてきたのかもしれない。

　最近、宮崎駿のアニメ映画『魔女の宅急便』のテレビ放映があり久しぶりに観ました。主人公「キキ」がある老婦人から仕事の依頼を受けます。この老婦人の孫のパーティーに、老婦人の得意料理である「カボチャとニシンのパイ」を届けてほしい、と頼まれる場面。時間がない中で電気式オーブンが故障してしまい肝心のパイが作れず、いったんは諦めそうになるものの、隣にあった薪を使う窯で火をおこせないかとキキが言い出します。家政婦である「バーサ」と３人で奮闘し、最後はこの薪窯でなんとかパイを焼き上げて孫のパーティーに届けることができました。
　この過程で、バーサが要所で言うセリフである「あたしは電気は嫌いです」が印象に残りました。この世界ではすっかり電気が普及し、薪のオーブンは出番がなかったのでしょう。このときばかりは現実が自分の感性に合った展開になってバーサはご満悦です。でも、実際の生活では電気の恩恵に預かり、映画最終盤ではバーサがテレビを観て大興奮している様も見られます。　
　こんな風に、人のこだわりというものは恣意的で自分に都合が良く、時代に取り残されたらあまり順番が巡って来ないものなのかもしれない。こんな苦労の末に届けられたパイも、ハイカラな若者である老婦人の孫からは嗜好の問題で拒絶されてしまいました。結果的にはキキたち３人の奮闘も、自己満足に近いものになってしまったわけです。

　技術革新のような新しいものに向き合うときは、行きつ戻りつで、必ずしもうまく行かないものだと思います。３０代では遅れながらまだ波に乗れても、５０代ではもう乗れないかもしれない。５０代ではギリギリ乗れても、７０代ではさすがに無理かもしれない。「さすがに無理」なときが誰しもいつか訪れるわけですが、振り返ってみたとき、それまでに奮闘した軌跡がそこに見えれば、人生の厚みも感じられるし、ついて行けなくなった自分に納得もできるのだと思います。もちろん、自らのこだわりや仕事は他者に理解されるとは限らない。他者へ提供する仕事と自らのこだわりのバランス、その境界を問い続けた上で訪れる「諦め」の確信が持てるようになるまで、自分の好みや体調を見極めながら、行きつ戻りつしながら向き合い続けるしかないのかな、と思っています。

[なん速ニュース @SOWIETK]

小泉進次郎、NHKが中継してる中でこれを言ってくれてありがとう！

「辺野古の件、沖縄のTV新聞の報道が少ないと。今日の国会はテレビ中継ですから、沖縄、全国の皆さんに遺族の思いを知って欲しい」

小泉進次郎（民民伊藤孝恵の質疑に）
「知華さんのお姉さんが訴えているのは、このnoteを多くの人に、知ってもらいたいと」
​
「特に、沖縄のテレビや新聞では、ほぼこの事故の報道がないと、聞いています」
​
「"SNSにあまり触れない、沖縄の年配の方々にも知華の本当の姿を知っていただきたく私達のnoteの事を伝えていただけると嬉しいです"と、お姉さんが書かれています」
​
「今日はテレビ中継ですから、沖縄の皆さんに対しても、そして全国の皆さんにも、このnoteで多くの方に知華さんを、そしてまたご家族の思いを知っていただきたいと思います」

[michiru_da | LayerX @applism118]

LayerXにおけるAI時代のよいエンジニア
・ドメインを深く理解し何を作るべきか徹底的に考えられる
・AIのアウトプットを鵜呑みにせず論点に気づける人、仕事に魂を込められる
・30%の改善ではなく出来なかったことをできるようにする
・AIは能力増強装置。シニアエンジニアの出力は飛躍的に高まる

[Taka @SGdatasc]

🤔🤔🤔🤔🤔

https://t.co/KEzr9V46pR

[今井翔太 / Shota Imai@えるエル @ImAI_Eruel]

直近で再び「AIバブル」論が高まっているので、かなり長文ですが、個人的にまとめた今後のAI開発事業のシナリオを一部書いてみます。
（いくつかはTBS CROSS DIGやクローズドな投資家向けレクチャーでも話したものです）
以下は基本的に、技術的には現在の深層学習、生成AI（LLM、拡散モデル、スケーリング則）は変わらないものとしています。
したがって、基本的にはスケーリング則によって、どの会社も「お金さえかければどこかの時点でそれなりに高性能（もしかしたらAGI）のAIは開発できる」という前提があります。

まず、特にバブルなどではなく、AI・半導体業界への投資が正当化されるシナリオ。

・十分な性能のAI(もしかしたらAGI)完成シナリオ
OpenAIなどがずっと言っているような、本当に人間の経済的な労働を全て代替できる高性能なAI（AGI的なもの）が登場し、一社独占、あるいは一社独占ができなくとも流れるお金の総量が極めて大きいため、以下のルートで投資が回収できる。
1.既存産業の人間の既存労働の多くを置き換え、人間に払っていたコストの大半をAI開発企業が吸収する
2.既存産業の「人間では間に合ってなかった労働需要」をAIがこなし、その分増えた収益を吸収する
3. AIの性能により、極めて需要の大きい新産業が創出され、その産業に新しく入る金を吸収する

・用途別棲み分けシナリオ
OpenAI、Anthropic、Google等のAIモデル開発会社が、BtoB、コーディング、研究、toCなどの領域で独自のポジションを確立し、ある程度の価格支配力（黒字化する程度、人よりAIのトークンコストが高くならないレベル）を持って投資を正当化できる程度の収益をあげる。
現状、Googleに関してはtoCでこのルートがあり得そうに見えるものの、OpenAIとAnthropicはほぼ同領域で拮抗状態なので、今のままでは考えにくい。OpenAIの方がさまざまな方向に事業を広げる中で、途中からAnthropicやGoogleとの勝負を避ける方向はあるかもしれない。

・先行者優位プロダクトシナリオ
私がずっと言っているやつ。AGIレベルになるかどうかは関係なく、SNSのネットワーク効果のように先行者が優位性を保てるAIプロダクトが完成し、競争力を恒久的に維持し収益をあげる。特に現在のOpenAIはおそらくこのタイプのプロダクトを開発するのを狙って、色々と量産しているきらいがある。現在のチャットAIも、コーディングAIも全て乗り換えコストが低く、このタイプのプロダクトを見つけた開発機関はない。

次に、いま「AIバブル」と言われているのが本当で、いつか崩壊する場合のシナリオ

・AI期待はずれシナリオ
AIの性能が今後期待していたほどは伸びない。AI研究の第一人者・ノーベル賞受賞者のヒントン始め、ほとんどの識者からは否定されているシナリオ。簡単に見える範囲でも、動画生成AIでのChatGPTモーメント、Physical AI、AI for Science、世界モデル等については基本的に現在の技術のスケーリングの延長にあると考えられ、むしろ期待を超えて技術自体は伸びる公算が高い。

・鉄道バブルシナリオ
個人的に一番怖いパターン。
かつての鉄道バブルでは、バブルが崩壊したあとも鉄道の拡大は進んだ。つまり、バブル崩壊時点で「作りすぎていた」わけではなく、むしろまだまだ拡大はするし、それによって利便性が上がることも見えていた。しかし、具体的な収益が入ってくるのが非常に遅かったため、債務返済期限を迎えるなどして、金融の方が耐えきれなかった。AIの将来の性能上昇は確実だったとしても、真に収益が上がるAIが登場する前に市場の資金枯渇や負債の期限がくるなど、 過去と同じく金融の方が耐えきれないシナリオ。

・航空業界シナリオ
AI投資に関することが、研究的には全部うまく回ったのに、商業的に失敗するという点では一番怖い。
本当にAGIと呼ばれるものの開発に成功したとしても、技術的な壁はない（スケーリング則）ため複数社で同じものができた結果、他社との価格競争が続き収益をあげにくい。元々自分は「通信キャリアシナリオ」と呼んでいたが、アメリカの経済学者（Noah Smithなど）も同じようなシナリオを提唱し、航空業界に例えていたため、そちらに統一。これに関しては、画像2枚目のスライドで詳しく説明。余談だが、私自身、参考のためこのシナリオを航空会社の幹部に実際に見せたところ「これはあっても不思議ではない」という返事をもらった。

以上、実際には他にも色々なシナリオがあったり、さまざまなシナリオの組み合わせだったりの可能性はあるものの、代表的なものを書いてみました。

[Kazuki Fujii @kazukifujii]

テックブログ公開 Day5です

FlashAttentionや昨今のHardware Awareな高速化手法を理解したり、提案したりする上で必須となるCUDA Programmingに関して、基礎から解説していくブログシリーズの第一弾です。3万字超えのブログですが、かなり分かりやすく書いていますのでぜひご覧ください。

CUDA Programming Guide Part 1｜Kazuki Fujii https://t.co/5GjsuGIAVS

[Hirose Norihito @ SG TAPS @HiroseNorihito]

@oideyosingapore 冒頭から、ゲイランのあのホテルじゃないですか！
これは期待大！センスいいね！

[今井翔太 / Shota Imai@えるエル @ImAI_Eruel]

生成AI開発は、コーディング能力でソフトウェア業界という黒字の元を見つけ、少なくとも一時的に黒字化は可能であることは示したのですが、まだ安心はできず、ここから先は「AIバブルか収益は上がるか」はAI業界ではなく、別業界の需要構造の問題になったと思います。
ソフトウェア開発の世界で現場レベルで生産力が上がったとしても、その上がった分の生産能力が売り上げに変換されなければ、長期的にはAI業界に対して払うコストが正当化できず、結局AI側に流れるお金も一過性で減っていきます。
今まで1ヶ月で開発していたものが１週間で開発できるようになって、1ヶ月で生産性が4倍になったとしても、追加された分のソフトや開発案件に需要が発生しなければ、その分はお金になりません。需要が発生しないソフトを作っているのであれば、むしろ開発案件が４倍になった分コストは増えています。
したがって、そもそも現在のソフトウェア業界が増えた分の生産力に需要が発生するほどの構造になっているか、言い換えると現在のソフトウェア業界は売り上げが発生する案件が大量あるのに人間の開発力では追いつけていない状況がどれくらい発生していたかが問題になります。
仮にソフトウェア業界の需要に天井があるとすれば、生産性をお金に変えるために重要になってくるのは「どれだけ多くの人を解雇できるか」になります。少なくとも、現時点のアメリカのレイオフ状況を見ているとややこちらが優勢っぽい不穏さを感じます。
ちなみに、ソフトウェア業界に関して、明確に人手不足であると個人的に感じているのはゲーム開発の世界です。最近のゲームはあまりにもリッチになりすぎたせいで、開発規模も機関も巨大になっています。私個人がプレイヤーのところだとドラクエやFFなどですが、この辺の開発の生産性を上げることができれば、そのまま収益に繋げられるのではないかと思っています。

[はま @hmkz_]

世界最高の頭脳をもつ学生たちは、3x3行列の計算をするために9.7兆パラメータの行列計算をする。

[Itaru Tomita / 冨田到 @itarutomy]

「CLAUDE.mdを自動で育てるシステム」が論文になった（https://arxiv[.]org/html/2605.23904v2）。

AIエージェントを新しいタスクに適応させる手段は、通常モデルのファインチューニングだ。SkillOptはその前提を覆す。GPT・Qwenなどのモデル本体は一切更新せず、CLAUDE.mdのような自然言語の手順書ファイル（スキル文書）だけを繰り返し改善する。

仕組みは深層学習のトレーニングループをテキスト空間で再現したもの。エージェントの実行ログをバッチで収集し、別の最適化LLMが失敗と成功を分析して「追加/削除/置換」の編集を提案。提案された編集は検証セットで性能が上がるか実際に確認（バリデーションゲート）され、合格したものだけが手順書に書き込まれる。却下された編集は「やってはいけない修正の記憶」として保存され、次の反省ループで活用される。深層学習でいう学習率・バリデーション・モメンタムをテキスト操作だけで実現した構成だ。

結果が驚異的だった。6ベンチマーク×7モデル×3実行環境の52セル全てでSOTA。GPT-5.5では表計算（SpreadsheetBench）が41.8→80.7、文書QA（OfficeQA）が33.1→72.1に改善。特にLiveMathとOfficeQAはたった1回の承認済み編集でこの改善を達成している。

学習後の手順書に書き込まれたルールを見ると、仕組みの本質がわかる。SpreadsheetBenchで自動生成されたルールがこれだ。「Excelの数式再計算に頼らず、評価済みの静的な値をターゲット範囲に直接書き込め」。これは熟練者が試行錯誤の末に気づくようなノウハウが、自動生成・自動検証されたもの。しかも学習済みスキルは別のモデルや実行環境にも転用可能で、Codexで学習したスキルをClaude Codeに転用するだけでSpreadsheetBenchが+59.7ポイント向上する。

「どんな手順書を持っているか」が競争力の源泉になる時代の入口が、見え始めている。

[roggy @roggy_phd]

普段からAI使ってるとマジで脳が退化するから、アプリ含めてあらかた使用厳禁状態での何かしらの試験の勉強を定期的にした方が良い
俺らの世代以降の人めっちゃ老後にボケそう

[新田 龍 @nittaryo]

おやどうしたんですか日テレさん。「地元の消防団員や警察官、報道関係者など43人が犠牲となりました」だなんて、まるで他人事みたいな記事じゃないですか。

「火砕流に関する避難勧告が出ていたのに、マスコミ各社が『報道の自由を規制するな』と勧告を無視し、危険地帯に残り続けたため、警察や消防団の方々が現場を離れられず、犠牲者を増やしてしまった」という肝心な点に一切触れられてないのは如何なものかと思いますよ。

当時中学生だった私でさえ「マスコミって傍若無人なんだな…!」と衝撃を受けた事件ですので、詳細に代筆しておきますね。

＜元ポスト記事の記述＞
1991年6月3日に発生した大火砕流では、地元の消防団員や警察官、報道関係者など43人が犠牲となりました。

＜詳細な代筆＞
普賢岳の噴火に際し、市は火砕流に対する避難勧告を出していましたが、マスコミ各社は「行政が大げさに言っているだけ」「勧告区域内に立ち入るのはジャーナリストとして当然の権利」「報道の自由を規制するな」などと無視し、取材を続けました。

91年6月3日に大火砕流が発生。報道関係者16人のほか、マスコミにチャーターされていたタクシー運転手4人、地元の消防団員12人、警察官2人を含む計43人が命を落とす大惨事となりました。

実は、犠牲になった消防団員の方たちも一度は退避していたのですが、一部のマスコミ関係者が無人の民家に不法侵入して電源を無断使用する事件があったため、監視のために戻っていたのでした。また警察官の方々も、普賢岳が危険な状態になったことを受け、マスコミを退避誘導させるために避難勧告地域に向かったのです。そしてタクシー運転手の方々も、マスコミによるチャーターであったため、独断で避難できなかったとみられています。

彼らは、マスコミ各社が市の退避勧告に従っていれば、犠牲になることはなかった方々です。「他社を出し抜き、迫力ある映像を撮りたい」との功名心が、何の落ち度もない住民の命を奪ったのです。結果として地域には「マスコミのせいで住民が犠牲になった」との感情が長きにわたって残ることとなりました。

なお、この事件から20年後となる2011年6月5日に開かれた「2011雲仙集会」において、当時の日本テレビ映像取材部長は「住民に『マスコミがいるから安全』との誤解を与え、消防団に『報道陣よりも後ろにいては地域の安全は守れない』と思わせたことなどが、犠牲者を増やす結果になった」と謝罪しました。

代筆は以上です。事件から35年経ち、もしかしたら日テレ内部でも当時のことを詳しく知る人がいなくなっているのかもしれませんが、ぜひ皆さんには自らの驕傲が引き起こした惨事を反省し、犠牲になられた方々を悼んで頂きたいところです。