ごまふあざらし(GomahuAzarashi)

ごまちゃんをもふもふするアカウント. #Julia言語 #JuliaLang Rust(with LLM)
#GomahuArt ←Handwritten Goma images
#ImportAzarashiAsAI ← AI generated images
#AzarashiLivesEverywhere

[ごまふあざらし(GomahuAzarashi) @MathSorcerer]

たのしい学園生活 #ImportAzarashiAsAI

[てるろー @terurou]

Anthropic、消費税を取ってるのにインボイス番号のついてない請求書を発行して、何度も問い合わせしてても1カ月以上何も応じないと社員から報告があるのだが、日本法人、仕事してんの？？？

[あるす @Ar_714g]

らくがき社長 #てとらレコード

[ごまふあざらし(GomahuAzarashi) @MathSorcerer]

YouTubeショートでラムダ(から出版された任意の)ノート買おうみたいなミーム作ればいいのでは(天才)

[V @voluntas]

ラムダノートの本を買おう。

[津軽ねぷこ@動画勢Vtuber @tsugaru_nepuko]

う、ウソだろ……
台風でコロッケ食べる文化って…
まさか消えつつあるのかッ…？！！

[テリーヌ @Terrine_rider]

良いVを見つけたかもしれん
津軽弁もそうだけど、何か声質が青森感あって良い
キャラも面白いね
＃津軽ねぷこ
https://t.co/6DGi4igCQD

[内閣広報官（色々投稿試し中） @PressSec_JP]

どうやら今朝、X社から公式のグレーバッジが、無事付きました。
引き続き、このアカウントでは、内閣広報官として、高市内閣の日々の動きなどを、多くの皆さんにより身近に感じていただけるような、これまでにない投稿を試みてまいります。

#ありがとう　@elonmusk

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Lattice Deduction Transformer（LDT）は、数独や迷路などの問題を、800Kパラメータ程度の小規模モデルでほぼ100%解くことができる手法である。

これらの問題は従来のTransformerが苦手としてきたものであり、フロンティアモデルでも0%、最近の専用モデルでも5Mパラメータ規模で90%程度にとどまっていた。

本手法の大きな貢献は、状態を候補集合空間のラティスとして表し、候補集合を少しずつ削る操作をモデルに学習させる問題設定にしたことである。

このラティスでは、最上位の状態は全候補が残っている状態に対応する。その下には、一部の候補を削った状態が続く。たとえば数独では、あるマスに最初 {1, 2, ..., 9} が候補として残っており、それを {1, 3, 5} に絞り込むことは、ラティス上でより下の状態へ移動することに対応する。

LDTは現在の候補集合を入力として受け取り、削ってよい候補を予測する。さらに、必要に応じて仮説を立てて探索を進め、矛盾が起きた場合にはその探索枝を捨てる。これは概念的には深さ優先探索とバックトラックを組み合わせた探索に近い。ただし、実際には単一の探索枝を逐次的にたどるのではなく、複数の探索枝を並列に走らせる確率的なバックトラック探索として実装されている。

学習時には、探索途中の各状態に対して、現在の候補集合と整合する正解集合から教師信号を作る。つまり、単に最終的な正解・不正解だけをフィードバックするのではなく、「この状態ではどの候補を残すべきか」「どの候補を削ってよいか」を直接学習させる。

モデルは recurrent transformer であり、1回の forward pass の内部で16回ループしたうえで、候補削除と矛盾検出を予測する。

コメント
===
LDTは数独や迷路などに対する専用モデルであり、このまま汎用的にさまざまな問題を扱えるわけではない。しかし、この考え方自体は広く応用できる可能性がある。

一つ目は、解空間が構造化されているなら、その構造を明示的に利用し、逐次的に探索していくアプローチにすることである。たとえば、プログラムや構造化データを対象にする場合には、この考え方を適用しやすい。本論文の最後でも触れられているように、解そのものではなく、プログラム空間を状態空間として扱う方向も有望である。

二つ目は、学習の作り方である。今回は、探索途中の状態に対して直接教師信号を与えており、procedural reward の考え方に近い。多くの問題では、学習時に追加の計算コストをかけることで、このような中間状態への教師信号を作れる可能性がある。またon policyで学習しているといえる。

このような逐次的な問題を扱う場合、recurrent transformer を使うことはかなり一般的になりつつある。多くの推論タスクが、この種の反復的な状態更新の恩恵を受ける可能性がある。

[山口慶明(Yoshiaki Yamaguchi) @girlmeetsNG]

リモートワークに賛否はあるけど、台風の日にびしょ濡れで遅延電車を乗り継いで出社しなくていい社会になったのは、確実な進歩だと思う。

[knxm @knxm]

Google NotebookLMに手書きのノートを読み込むとLaTeXのソースを出力してくれるんですね．ありがたい．

[ごまふあざらし(GomahuAzarashi) @MathSorcerer]

皆んなプレプリどんどん購読しようぜ！

[村上友哉 @MurakamiMath]

ChatGPTに毎日、新着論文の概要を「自分の興味に近い順」で通知してもらってます。
これは便利！

ChatGPTのタスク機能で、こちらから指示しなくても勝手に通知してくれます。

論文以外にも、海外の研究集会の情報を月イチで探して通知してもらうようにしていて、これもいいです！

[狐井まろ🦊❤️‍🔥妖狐で良い子なVTuber @kitsunei222]

一切やらせなしで関西弁禁止配信に挑む漢(女)

[水雪駄🍊 @mizsetta]

IT業界長いけど
・一人称で仕事できる人
・自走できる人
って、募集要項に書いてる会社避けてきたら、攻撃的な人がいる職場に当たったことない。

自走力より、コミュニケーション重視の会社だと
→チームワーク大切にする
→技術力があっても攻撃的な人は評価されにくい
→いても残りにくい
→結果、雰囲気が良くなる
気がする。
たまたまかもしれないけど。

[鏡水 更紗螺 @Kagami_Sarasara]

自走できる人を欲しがる組織って要はマネジメントが崩壊してるってことだからね。

一人親方を大量に用意して自走させて都合が悪くなったら独断で仕事し過ぎるって叩いて来ますよ。

[引きこもりの肉団子 @gyouza_ju_ju_]

ついにアメリカ、mmddyyyyを捨てる

[きしだൠ(K1S) @kis]

まあ、ローカルLLMでコーディングエージェントを普通に使おうと思うなら、統合メモリで128GBは必要。
メモリ高騰がなく今までのペースなら、普通にちょっと高いマシンで動いていたはず。

[ごまふあざらし(GomahuAzarashi) @MathSorcerer]

最近は文献調査と自然言語による執筆をしていますが，今までの生活に比べて QoL が高いです．

[しのゆーさん @shinoyu___]

正しくは「金と期限がたくさんあるならできますけど、それほんとうにやるんすか？」です。これ言われたら他に何がネックになりますか？って聞いてください