takkyu

LLM関係のお仕事をしています

[takkyu @takkyuO2]

マインドが本田圭佑なのでcodexが埋め込んだバグは伸びしろと見ています

[takkyu @takkyuO2]

セブンの大盛り魚介豚骨まぜそば(482kcal)などでダイエットを試みたが、体重が全然落ちないので飽きてきた

[takkyu @takkyuO2]

最近咳喘息に慢性的に体調を破壊されている(ブラジルで引いた風邪のせいで…)

[takkyu @takkyuO2]

@shimao0114 ありがとうございます！！

[takkyu @takkyuO2]

#ICML2026 に論文がacceptされました！今度は拡散言語モデルのtest-time scalingの研究です。

複数の拡散言語モデルに協力させるとコーディングや数学の能力が大きく上げられるという研究で、性能も良いしアルゴリズム自体も面白くてお気に入りの研究です。韓国でお会いしましょう🇰🇷

[Sakana AI @SakanaAILabs]

音声AIの素早さと賢さを両立できるか？

私たち人間は会話の中で、言いたいことを全部まとめてから話し始めるのではなく、話しながら考えを整理していきます。応答の速い Speech-to-Speech モデルは、この「話しながら考える」を実現しましたが、そのぶん思考が浅くなりがちです。かといって知識豊富な LLM を挟むカスケード型では、遅延が生じるため「話しながら」が成立しません。

そこで Sakana AI は、このトレードオフを克服するKAMEモデルを開発しました。Speech-to-Speech モデルが高速な応答ループを担当し、即座に話し始めます。その裏でバックエンドの LLM が非同期に推論を進めて応答候補を生成し、それをオラクル信号としてリアルタイムに注入します。これにより「考えてから話す」ではなく「話しながら考える」ことが可能になります。

バックエンドの LLM は差し替えが可能で、タスクに応じてGPT-4.1、Claude Opus、Gemini 2.5 Flashなどを使い分けられます。フロントエンド側の変更は必要ありません。私たちの実験では、Claudeは推論系のタスクで、GPTは人文系のタスクで、それぞれ高いスコアを出す傾向が見られました。

本研究は #ICASSP2026 で発表されます。
ぜひ、お試しください。

ブログ: https://t.co/arVz1TGpJJ
論文: https://t.co/0EwpyRXeCs
モデル: https://t.co/uDA0nvvjhS

[takkyu @takkyuO2]

ゴブリンとかいう謎の存在なんなんだ

[takkyu @takkyuO2]

前回のNeurIPSと同様にポスターをひたすら回りまくったら色々勉強になったので、また頑張っていきたい

[takkyu @takkyuO2]

ChatGPTにすすめられるまま謎のメニューを頼んだら4人前くらいのありえない量出てきて敗北

[takkyu @takkyuO2]

風邪で喉が完全に潰れ何も喋れなくなった(ポスター発表の前じゃなくてよかった)

[takkyu @takkyuO2]

アサイーボウルを食べてみているがとんでもなく甘く、気が遠くなってきた(どこがスーパーフードなのか)

[takkyu @takkyuO2]

@CMHungSteven Thank you!!

[takkyu @takkyuO2]

SSoTというプロンプト手法を開発しました！今週の #ICLR2026 で発表します🇧🇷

コイントスに限らず、open-endedなタスクで出力の多様性を上げるなど面白さと有用性を兼ね備えるお気に入りの手法です。論文では盛り沢山に議論（擬似乱数生成器ではダメなの？など）をしています。

ぜひご一読ください！

[Sakana AI @SakanaAILabs]

LLMは頭の中でコイントスができるか？

ブログ：https://t.co/Jp9ubKDK7x
論文（#ICLR2026）：https://t.co/9yt4aAsGrW

一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 "SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation" が #ICLR2026 に採択されました。

LLMに「コイントスをして」と100回プロンプトすると、出力の表と裏の比率は50:50から大きく離れてしまいます。明示的に確率の指示が与えられても、LLMがそれに忠実に従って出力を生成することは難しい問題です。

このことは、コイントスに留まりません。LLMに小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。

私たちはこれらの問題の解決策として、String Seed of Thought (SSoT)というプロンプトを発見しました。SSoTは、LLMに頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。

SSoTにより出力のバイアスはオープンモデルでもクローズドなモデルでも幅広いLLMで低減されます。一部のreasoningモデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2択の選択肢だけでなく一般の離散分布について有効です。

さらに重要なのは、SSoTはモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoTをプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。

本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLMを実世界のシステムに組み込んでいく上で重要な基盤になると考えています。

SSoTのメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。

OpenReview：https://t.co/XVEi2kXTrq

[Takuya Akiba @iwiwi]

LLMは指示通り確率的な振る舞いが出来るか。個人的にもずっと解いてみたかった問題だったんですが、一風変わったプロンプト（だけ）でとても上手くいくことを発見できました。今週からの #ICLR2026 で発表あります。

こういった確率的な指示に対する追従性は、ある種 "言語モデル" としての本能に逆 らう部分があります。このプロンプトを発見するに至る経緯は結構面白く、最初は工夫した追加学習で解決しようとしてたのですが、学習に使うプロンプトを試行錯誤していると、いつしか最初のイテレーションから出来てない？となり、気づいたらプロンプトだけで解決していたという。

このプロンプトには実用性があり、アイディア出しや創作等の状況における出力の多様性を上げる効果も観測出来ました。言うまでもなくこれは推論時スケーリングととても相性が良いんですよね。手軽に多様性をブーストする方法として社内でも既に試してもらってます。

[takkyu @takkyuO2]

@yechan_ai @SakanaAILabs Thank you! I find this method interesting myself, so I am glad you also liked it!

[takkyu @takkyuO2]

I will be presenting our new prompting method, SSoT, at #ICLR2026 🇧🇷. It helps close the LLM knowledge-sampling gap and enhances output diversity in open-ended tasks.

In the paper, we include various discussions, such as "Why not an external PRNG?". Hope you find it interesting!

[Sakana AI @SakanaAILabs]

Can LLMs flip coins in their heads?

When prompted to “Flip a fair coin” 100 times, the heads to tails ratio drifts far from 50:50. LLMs can understand what the target probability should be, but generating outputs that faithfully follow a given distribution is a separate problem.

This bias extends beyond coin flips. When LLMs are asked to generate multiple story ideas or brainstorm solutions, the outputs tend to cluster around a narrow range. The same probabilistic skew that distorts coin flips limits diversity in creative generation, recommendations, and other tasks where varied outputs are needed.

We discovered a prompting technique named String Seed of Thought (SSoT). The method is simple: instruct the LLM to generate a random string in its own output, then manipulate that string to derive its answer. It requires only a small addition to the prompt and no external random number generator.

SSoT significantly reduces output bias across a wide range of LLMs, both open and closed. With reasoning models (such as DeepSeek-R1), it reaches accuracy close to that of actual random sampling. The method generalizes from binary choices to n-way selections and arbitrary probability distributions. On the NoveltyBench diversity benchmark, SSoT outperformed other approaches across all six categories while maintaining output quality.

This work will be presented at #ICLR2026!

Blog: https://t.co/Jp9ubKEhX5
Paper: https://t.co/9yt4aAtehu
Openreview: https://t.co/XVEi2kYrgY

[Sakana AI @SakanaAILabs]

LLMは頭の中でコイントスができるか？

ブログ：https://t.co/Jp9ubKDK7x
論文（#ICLR2026）：https://t.co/9yt4aAsGrW

一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 "SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation" が #ICLR2026 に採択されました。

LLMに「コイントスをして」と100回プロンプトすると、出力の表と裏の比率は50:50から大きく離れてしまいます。明示的に確率の指示が与えられても、LLMがそれに忠実に従って出力を生成することは難しい問題です。

このことは、コイントスに留まりません。LLMに小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。

私たちはこれらの問題の解決策として、String Seed of Thought (SSoT)というプロンプトを発見しました。SSoTは、LLMに頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。

SSoTにより出力のバイアスはオープンモデルでもクローズドなモデルでも幅広いLLMで低減されます。一部のreasoningモデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2択の選択肢だけでなく一般の離散分布について有効です。

さらに重要なのは、SSoTはモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoTをプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。

本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLMを実世界のシステムに組み込んでいく上で重要な基盤になると考えています。

SSoTのメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。

OpenReview：https://t.co/XVEi2kXTrq

[Sakana AI @SakanaAILabs]

Can LLMs flip coins in their heads?

When prompted to “Flip a fair coin” 100 times, the heads to tails ratio drifts far from 50:50. LLMs can understand what the target probability should be, but generating outputs that faithfully follow a given distribution is a separate problem.

This bias extends beyond coin flips. When LLMs are asked to generate multiple story ideas or brainstorm solutions, the outputs tend to cluster around a narrow range. The same probabilistic skew that distorts coin flips limits diversity in creative generation, recommendations, and other tasks where varied outputs are needed.

We discovered a prompting technique named String Seed of Thought (SSoT). The method is simple: instruct the LLM to generate a random string in its own output, then manipulate that string to derive its answer. It requires only a small addition to the prompt and no external random number generator.

SSoT significantly reduces output bias across a wide range of LLMs, both open and closed. With reasoning models (such as DeepSeek-R1), it reaches accuracy close to that of actual random sampling. The method generalizes from binary choices to n-way selections and arbitrary probability distributions. On the NoveltyBench diversity benchmark, SSoT outperformed other approaches across all six categories while maintaining output quality.

This work will be presented at #ICLR2026!

Blog: https://t.co/Jp9ubKEhX5
Paper: https://t.co/9yt4aAtehu
Openreview: https://t.co/XVEi2kYrgY

[takkyu @takkyuO2]

最近あまりにも漢字を忘れてしまい、住所を漢字で書く時は自分の手のnext stroke predictionに完全に身を委ねている

[takkyu @takkyuO2]

Xiao-Liang QiのAI for Scienceについての論文が出ていた。これは読むべき

https://t.co/4lAnDKicgc