Qfunction@Stat & Bioinfo

DFT of biomolecule, Cu錯体
→Chemical Biology
→RNAseq
→ Diffusion Model, LLM
最近はSDEとOT触ってます

[Qfunction@Stat & Bioinfo @StudyQC]

これ流石に競合の妨害だろw
俺デフォでyomiyasu従う設定にしてんだが

[大賀 愛一郎 (oga_aiichiro) @oga_aiichiro]

正直な話、ここ2週間ほどyomiyasuに対する厳しい声を受けて��を痛めてしまい開��が滞っていましたが、それを真正面から受け止め 改善に活かせるところを拾ってv3を出し、そのフィードバックとして多くの方から暖かい声を頂けたことがとても嬉しかったです。
もっと私を応援してくださる人のために活動していこうと思いました🥲︎

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

連続拡散・フローベースの言語モデルの最近の進展をまとめたサーベイが公開されている。

“A Survey on Continuous Diffusion and Flow Language Models”

離散拡散言語モデルでは、現在の状態から複数位置のトークン分布を予測して並列生成する際、個々の周辺分布が正確であっても、トークン間の依存関係を正しく再現できないという問題がある。

例えば、「She is」と「They are」の2種類しか正解がない場合でも、各トークンを独立にサンプリングすると、「She are」「They is」も生成されてしまう。つまり、サンプリングの過程で確率分布の依存構造が失われてしまう。

これに対し、連続フローでは、各トークンの更新方向が系列全体の状態に依存するため、系列全体を結合した力学系として生成できる。速度場が正確に学習され、ODEが十分な精度で積分されれば、正しい同時分布を再現できる。ただし、ODEの数値積分には離散化誤差が生じるため、精度を高めるには多くの計算ステップが必要になる。

そこで、Flow Mapでは、任意時刻sの状態から時刻tの状態へ直接移す写像を学習することで、数値積分のステップ数を削減し、究極的には1回のネッ��ワーク評価で生成を完了できる。

Flow Mapの学習には、事前学習したFlow Modelの長い生成過程を蒸留し、その上で同じモデル内で短い遷移を合成した結果を長い遷移の教師信号として利用する自己蒸留を用いる。

さらに、Categorical Flow Mapでは、有限時間の遷移をDenoiserの加重平均として表現できる。各時刻のDenoiserの出力が確率単体上にあれば、その加重平均も確率単体上にあるため、クロスエントロピーやKLダイバージェンスを用いて学習できるという利点がある。

本サーベイでは、いくつかの未解決問題も整理されている。

１つ目は、トークンをどのような連続空間で表現するべきかという問題である。
One-hot、Vocabulary Embedding、Contextual Embedding、圧縮された潜在表現、球面上の表現など、さまざまな方法が提案されているが、最適な表現方法はまだ��らかになっていない。

この中でも、各トークンの確率分布に��づいて埋め込みベクトルの加重平均を計算するExpected Embeddingが注目される。これは、Looped Transformerなどの反復推論において、離散的なトークンに確定させず、不確実性を保持したまま次の計算へ進むLAWなどの手法ともかなり似ている。

２つ目は、自己回帰（AR）モデルと比較した学習計算効率には、依然として大きな差が残っている問題である。2026年には連続拡散・フローベースの言語モデルが数十億パラメータ規模までスケールし、離散拡散モデルに匹敵する成果も報告されているが、ARとは差がある。

さらに、事後学習、特に大規模な強化学習への対応も重要な未解決問題である。ARモデルでは生成したトークン系列の尤度を容易に計算できるが、連続生成モデルでは最終的な離散系列の尤度評価が難しく、既存の強化学習手法をそのまま適用することが困難である。

コメント
===
拡散言語モデルの中でも、連続表現を利用した生成手法が再び大きな注目を集めている。数年前には十分な有効性が示されず、研究の中心は離散拡散モデルへ移っていたが、近年はFlow Map、Self-Distillation、表現学習、Noise Schedulingなど、理論・実装の両面で改善が進んでいる。

最後に述べられた事後学習への応用は、最近フローベースモデルで尤度計算が可能になった手法との融合が期待される。

また、研究上の標準的な分類とは異なるが、一つの見方として、連続拡散モデルの反復的なDenoisingは、Looped Transformer、特に各ステップの状態をトークン埋め込みの確率加重平均として表現と共通性がみられる。

通常の連続拡散モデルがノイズからデータ分布への輸送過程を学習するのに対し、Looped Transformerは反復計算によって予測や内部状態を洗練させる。両者は同じアーキテクチャで、連続状態を繰り返し更新し、最終的に離散トークンへ変換する��いう点では共通している。

こうしたことから、単なる生成の高速化ではなく、モデルの推論能力そのものを高める方向での利用が興味深い。Flow Mapによる長い生成/推論過程の圧縮が可能となってくるのではないだろうか。

[Miroslav Lzicar @miroslavlzicar]

Introducing SynthonMap: a zoomable map of billion-to-trillion-scale chemical spaces, using factorized synthons and parametric UMAP density estimation.

Try at: https://t.co/FUkU3GVydu

Demo on @XtalPi VAST 👇

[Qfunction@Stat & Bioinfo @StudyQC]

口座がZero~になりクレカ止まったせいでTimescarでドライブし損ねたんだが; ;タイムズカーPaypayくらい対応してくれ

[Qfunction@Stat & Bioinfo @StudyQC]

https://t.co/PLc57Q4Y19
このUMAPで指定した点がクラスタ形成してますって流石に苦しくね?今月の遺伝子医学で紹介されてたけど。これ近傍グラフのedgeを可視化したら結論変わると思う。点少ないし近傍グラフを1つずつ追った方が何かわかりそう

[Qfunction@Stat & Bioinfo @StudyQC]

メトホルミン、キレート剤みたいな形してて実際に生理的pHの範囲内でもnMレベルで錯体形成して化学量論的に金属イオン濃度減らせるっぽいのに、結局はミトコンドリアcomplexに結合してFeSクラスタとCoQ10を物理的にふさいで酸化還元を阻害するってメカニズムで決着なのか...
https://t.co/3xwf8ktisJ

[Qfunction@Stat & Bioinfo @StudyQC]

https://t.co/lckPVxOn5c
これ完全にJEPAじゃね？
encoderで潜在空間にmapしてpredictorを学習。ただ用いてるデータがscRNAseqだからpredictorのinput, outputのペアを作る部分で一工夫して分布のマッチにした。この発想としてはOTが自然だけどイントロでOTをディスってるからGANにしたのかな

[antisense. @razoralign]

scMTG reconstructs single-cell temporal dynamics with Markov transition generators https://t.co/fwRGf3Fvet

[Qfunction@Stat & Bioinfo @StudyQC]

内科、ファーマコフォ���くらい教えて欲しい。ステロイド骨格のanalogならまんまだし、ペプチドならアミノ酸1置換で作用変えてて非自明だし、小分子ligandなら単純だが高分子の酵素は阻害薬もえぐい構造してるし、同じ作用機序の薬は置換基変えてるだけのこともままあるし横文字で捨象した情報が多すぎ

[Qfunction@Stat & Bioinfo @StudyQC]

前から思ってるけど中心極限定理って母集団からサンプルした"標本平均"がgaussianに従うって話で、日常生活で見るように値が直接にそれに従うのって説明できてない。自然現象なら何らかの分子的なメカニズムだ���、人間の意思決定過程を反映するなら人間は考えるといいつつほぼランダム

[Qfunction@Stat & Bioinfo @StudyQC]

セルフサービスで均等に積まれた皿から客がそれを取っていくときに残る皿の数の分布は正規分布だけど、逆に食器を返却するときに積まれる数の分布は冪乗則なのおもろいな。ランダムか多数派に倣うか、生じる分布から過程の描像が得られるのSDEすぎる

[Qfunction@Stat & Bioinfo @StudyQC]

“質問しよう”ってよく言われるけどchatGPTがある時代に何を質問すべきかって非常に難しいよな。単純に非公開情報について追加で解説させるとか手っ取り早く回答を得るという目的にしてしまうと人間を情報のinterfaceもしくはlatencyの良いbotとして扱ってることになり非人間的すぎる。

[k256 @kosaka256]

実は直近のkaggleコンペで、ハーネスには限界があることが示されていたりする
上位入賞者は軒並み、トークンをどう大量に燃やすかに焦点に当てていて、ハーネスの方はどういじくってもほとんど改善が見られなかった

[国立遺伝学研究所 @NIG_idenken]

【第8回 バイオ生成AI研究会】ゲノム言語モデル（gLM）などAIを活用した生命科学研究最前線や企業の取り組みを紹介。AIと生命科学の未来を議論します。
📅11月12日（木）13:00-16:35
📍トラストシティ カンファレンス・丸の内
🔗申込:https://t.co/QZEbFhGMaW
主催:情報・システム研究機構（ROIS）

[良性腫瘍 @Tsiolkovsky1961]

やはり計測　計測は制御をもたらすし、計画は計測に先立たない　計測があってこそすべてが始まる

[姫岡 優介 @yhimeoka]

この結果から遺伝子発現＋代謝のモデルで細胞死を考えないといけない、という話が出てきていま研究してます
微分包含式の前方不変集合を計算する、というテクい話でお知恵を借りたく、来週17日に東大数理情報学談話会で話させていただきます��Zoomもあるっぽいのでぜひ
https://t.co/3HdlPhIA92

[Qfunction@Stat & Bioinfo @StudyQC]

scRNAseqの解析手法、一時期はどうやって欠損地埋めるかが話題になったのに今は
1. 臭い物に蓋をして0で埋める
2. けむに巻いてk近傍の重み付き平均
3. ベイズのご神託を信じて事前分布を仮定
のいずれかで誤魔化してる()

[タランチュラ | データサイエンティスト @tarantula_ds_]

【欠損値処理まとめ】
皆さんとりあえず平均とかで欠損値補完してないですか？
実は、大きくは以下の３つ��方法が考えられるよ！
・欠損値削除
・統計量補完
・線形回帰補完
Iterative Imputerという線形回帰で補完する方法もあるので、１つのアプローチ法として覚えておいてください！

[Qfunction@Stat & Bioinfo @StudyQC]

疾患名を使うと語弊かもだけど、現状のロボのぎこちなさって高次機能障害にしか見えんのよな。ダンスみたいな意味ない動きは流ちょうだが、タスクを解かせると全然ダメダメ。バランスあるし指鼻はできるから典型的な小脳失調では全くなく、その意味で研究の方向性が運動を滑らかにするって違和感ある

[Qfunction@Stat & Bioinfo @StudyQC]

バイオインフォはデータがクソだって皆キレてるけど
(俺しかキレてないｗ)
唯一面白い点は分子メカニズムがゴミデータに埋め込まれているはずだっていう信念で、画像とか言語とかってなんか良い写像が得られたとしても、"そうなるように定��された"っていうsuch thatの呪いから永遠に逃げられない

[Qfunction@Stat & Bioinfo @StudyQC]

Physical AIが取り組んでるBig Questionって、"掴む,置く"のような一連の行動が多様体仮説に沿う時系列データだとして、「複数の"場面"を跨ぐ行動は時系列なのか？」だと思ってて、WAMだろうがVLAだろうがdiffusion policyだろうがarchitectureの開発はYESを支持しagenticな開発はNoを支持してると思う

[Qfunction@Stat & Bioinfo @StudyQC]

LLMがエロに厳しいのは俺が宝刀を納めれば解決するとして軍事に厳しすぎるのは普通に研究に支障が出るのでマジでこまる