intsuc

⊢ type ⇒ type

プログラミング言語、言語モデルなど

[Zyphra @ZyphraAI]

Zyphra Research is releasing Norm-AGnostic residual networks (NAG) - a new architecture that mitigates the diminishing returns of deeper residual models by controlling the residual stream geometry.

NAG makes Mixture-of-Depths practical for pretraining.

[intsuc @intsuc]

Jacob Collier - Smoke Gets In Your Eyes (with 13-Year-Old Jacob) https://t.co/qcH77RVgrX
Jacob Collier のこのシリーズ久しぶり過ぎる。

[intsuc @intsuc]

やはり本気で型で縛るなら実行ステップ数のboundを表現できるくらいにした方が良いのかもしれない。

[intsuc @intsuc]

検証が hang したり所要時間が長くなりすぎたりして非決定的なタイムアウトに頼らざるを得なくなるとかなり agentic coding 体験が悪くなるので、単に logically consistent なだけだと不十分かもしれない。（彼らからしたら有限と無限の区別しか無いだろうけど人間は死ぬので。）

[intsuc @intsuc]

@ymdfield はい、生の思考ではなくおそらく専用モデルが要約したものにはなりますが、指示を誤解していたりハックを試そうとしていたりする様子は十分観測できます。

[intsuc @intsuc]

自分が恐れていたこと、やはり実際に起こるのか…。
https://t.co/AUXa80ZM2J

[りよ @ymdfield]

これ、「到達不可能なケース」（実際には到達可能）で自己再帰で意味のない無限ループで⊥作って誤魔化してたことが判明してひっくり返ってる

[intsuc @intsuc]

@ymdfield なるほど、gpt（ですよね？）は追い込んだり指示を油断するとこういうことをしがちな印象があります…。
（ご存じかもしれませんがcodexはモデルの思考サマリーを有効にできるので（拡張機能版では多分見れないですが）、モデルが何を考えていたか検証してみるのも面白いと思います。）

[intsuc @intsuc]

ゲームの方が現実より難しそうな（何でもありなので次状態の予測が外れやすく、アクションが文脈依存になり、管理すべき状態も多くなる）のと、商業的な旨みが薄いのでまだ早いか。

[intsuc @intsuc]

この感じでVLAモデルが発展して公開もされていけば、来年とかには普通にAITuberがリアルタイム性の高い3Dゲームの配信をしているのではないかと思えてくる。

[Qwen @Alibaba_Qwen]

📣 Introducing the Qwen-Robot Suite — Qwen-RobotNav, Qwen-RobotManip, Qwen-RobotWorld, three foundation models, a full stack for embodied intelligence.

🧭 Qwen-RobotNav — the gateway to mobility.
• Unifies 5 navigation tasks in one model: instruction following, point-goal, object-goal, target tracking, autonomous driving
• Controllable observation protocol
• Tool interface for agentic systems

🤖 Qwen-RobotManip — the foundation of interaction.
• Unified state-action space across heterogeneous robots
• Camera-frame delta poses for coherent cross-embodiment training
• Pretrained on a 38,100+ hour open-source corpus

🌍 Qwen-RobotWorld — infinite worlds for physical agents.
• Single world model, 20+ embodiments
• Natural-language action interface
• Predicts physically grounded futures across manipulation, driving, and navigation

Each model is independently useful, and could be composed as physical-world tools.Together, they form the low-level toolkit for general-purpose agentic systems that don't just see the world, but act in it.

📷 Blog:
https://t.co/ytLcbYET26
📖 Report：
Qwen-RobotNav: https://t.co/uPmSwDYGxg
Qwen-RobotManip: https://t.co/GeyIzJSpU8
Qwen-RobotWorld： https://t.co/SXPH1qzDFy

[intsuc @intsuc]

創作におけるヤンデレ（及びその対極とされるメンヘラ）に漠然としたしっくりこなさを感じていたところ、リメレンスという概念を知る。

[intsuc @intsuc]

自然言語で話し方を指示できる TTS はたまに見かけるけど、自然言語で歌い方を指示できる SVS は見たことがないな。

[intsuc @intsuc]

例えば、コンパイラーが高性能になってもプロのアセンブリー直書きに勝てない領域があるのであれば、最初からアセンブリーレベルに近いものをより安全かつ冷静に書けるように支援した方が良いのではないかと思い始めている。

[intsuc @intsuc]

プログラミング言語に関して、もっと実際のハードウェアに忠実な抽象化をしていきたいという考え方が強くなっている。

[intsuc @intsuc]

久しぶりにバイアス抜きでボの声をちゃんと聴き比べて、花隈さんの声が良いなとなった。VOICEPEAK 版の全感情良い。やはり昔と比べて好みが変わっている感じがある。

[intsuc @intsuc]

つまり言い直しが少ないので、間のポーズが多くなった場合でも内容が入ってきやすいのではないかと思った。

[intsuc @intsuc]

月白さんのアーカイブをそれなりの量視聴していて、名詞や動詞/形容詞/形容動詞の語幹（より正確には音声単位の common prefix ?）の後にポーズが挟まる傾向があるという、特に気づかなくても良いことに気づいた。
ロールバックせずに済むところまで内容語を先行して出している感じ。

[intsuc @intsuc]

結構視聴したと思ったけど、少なくとも初見時は腰を据えて視聴しよう（作業用動画にするのはやめよう）と思っているのと、驚異の 12 時間配信がいくつもあるので全て視聴し終わるのはいつになることやら。

[intsuc @intsuc]

案：
システムメッセージとアシスタントメッセージしかない（ユーザーメッセージがない）言語モデル。ひたすら内省と独り言を繰り返しながら外界と相互作用し続けるだけ。

[intsuc @intsuc]

単に生コーパス片と考察などを interleave させても良いし、過去のコーパス片を読み返したり外部情報にアクセスしたりなどのアクションを許可しても良さそう。

[intsuc @intsuc]

生のテキストコーパスを学習済みの LLM に小分けにして要約・解釈・考察などをさせながら読ませた一連の流れを含むコーパスに変換することで、より質の良いコーパスを合成できる（人間がテキストを読んで学習する際のデータ効率の良さを再現できる）のはないかということを思いついた。