akatsu nft

NFTノンファンジブルトークン使ってみています！
使い方の研究中
NFTプロジェクトのお手伝いさせていただいています！

[akatsu nft @KatsuKipa]

@ochyai 検索過多でサーバ落ちするまでの時間も計ってるでしょうし、google検索やその他AIチャット、エージェントからの検索の件数もしっかりデータになっていきますもんね😅

[落合陽一 Yoichi OCHIAI @ochyai]

緊急地震速報がサイバー攻撃されたら嫌だ…

[akatsu nft @KatsuKipa]

@uniokayu @uniminyo @ETHGlobal インドいいなぁ

[ふじ @fuji_ai_]

どんなWebサイトも、10秒で丸ごとダウンロードして複製できるようになった。

制作会社が300万円かけて作ったサイトも、0円でそのまま手元に保存できるツール。

しかも完全オープンソース↓

[akatsu nft @KatsuKipa]

@ro_mi サトシが『誰でもない』からこそ、ビットコインは『誰のものでもなくなった』。
​彼は火を与えて去ったプロメテウス。その正体が暴かれる日は、神話が世俗的なスキャンダルに堕ちる日であり、この巨大な社会実験が『終焉』を迎える日。見つけてはいけない、という一線は仰る通りかと。

[akatsu nft @KatsuKipa]

@uniokayu @uniminyo ゆ、優勝ですと！
これはお祝いをしなくちゃいけないですね！もちろんおごりで！😆

[山羊(ﾔﾏﾋﾂｼﾞ)ケイ🐐工学系VTuber @ ﾃｸﾉｼｱ園長 @keicap2021]

草
こんなチュートリアルがあってたまるか

[akatsu nft @KatsuKipa]

@DB_Daijiro はじめまして。いつも動画見てます。
是非、日本語話者からでも外国語のように聞こえる「げしでぺっぷりして」を解き明かす動画の作成に生かしてほしいと1ファンからの要望でした。

[akatsu nft @KatsuKipa]

@ro_mi あら、残念。
weeklygmもいつの間にか見えなくなってしまって、comugiさんの声を聞けるのかは配信くらいしか無いのに💦

[akatsu nft @KatsuKipa]

@ysk_en @seiya_oht 作っちゃったん

[Yusuke Endo @ysk_en]

ふふふ。世界で6万人に使われてるかわいいアバターHumationがついにWebから簡単に作れるようになりました

みんな作ったら教えてね
https://t.co/XIDsRN0pHn

[akatsu nft @KatsuKipa]

@ro_mi 読んでいて「買い物は投票行為」ってフレーズを思い出しました。

[akatsu nft @KatsuKipa]

@ro_mi 読みました。
最後のまとめが秀逸。

「技術は未来を変える。だが、人間の心理を変えることはできない。」

これAIにも言えるかと。
知財を勝手にデータに取り込まれてしまうのは、まさに「盗む」って感覚に近い。
技術を人間心理に落とし込むことが、BIGtechがスケールした条件なのかも。

[akatsu nft @KatsuKipa]

@uniokayu いいからデプロイしましょう！😆

[Kenn Ejima @kenn]

これ超絶すごい論文だよ。

従来の「情報量」（シャノンのエントロピーやコルモゴロフ複雑度） の概念だと、

・計算で新しい情報は作れない
・データの順番を変えても情報量は同じ
・尤度（次トークン予測）も所詮は分布マッチング

みたいな結論になりがちなんだけど、現代の機械学習の感覚（合成データが効く、学習方法で性能が変わる、AlphaZeroが自己対戦で賢くなる、など）とズレてるよね、というのが出発点。

そこで著者らは、観測者（学習者）が計算資源に制約があることを前提に、データから学習者が取り出せる「構造の量」を測る新しい指標 epiplexity を導入する。

epiplexity = epistemic complexity

つまり認識論的な複雑度の概念だというわけだけど、余談ながらフーコーとか読んでた人にはエピステーメーって言われたら興味持たざるを得ないだろうし、まぁクーンのパラダイムでもいいんだけど、この epiplexity という概念自体が「地動説」みたいな認識の転換を惹起する認識論を内包したメタ量的概念、ということで、面白くないわけがない。

ではなぜ既存の情報理論の説明力が弱かったのかというと、古典的な情報理論は基本的に「無限に計算できる観測者」を仮定してる。

でも現実の学習（LLM/NN）は、計算に上限がある「簡単に逆算できない変換」を含んでいる（暗号・疑似乱数・カオス・複雑系）。同じデータでも提示順やフォーマットで学べるものが変わる、みたいな世界にいるわけ。

この論文は、こうしたズレが「上の3つのパラドックス」に見える、と整理してる。

——

この論文のアイデアはざっくり言うと

・データの中身は
(A) 学習してモデルに詰め込める「構造」と
(B) どう頑張っても残る「ランダムさ」
の2つに分解できるはず
・ただしその分解は 計算予算 T に依存する（計算が増えると “構造として見える”範囲が広がる）

というもの。

どう定義してるか？というと、まず「時間（計算量）T以内で、サンプル生成も確率評価もできる確率モデル（プログラム）」を考える。

その制約下で、MDL（最小記述長）っぽく

「モデル（プログラム）を書くのに必要なビット数」＋「そのモデルでデータを符号化するのに必要なビット数」

が最小になるモデルを取る。

そのとき、

・epiplexity = 「最適モデルのプログラム長（モデル側に格納された構造の量）」
・time-bounded entropy = 「その最適モデルでも説明しきれず、データ側に残る符号長（予測不能成分）」

という定義になる。

直感で言うなら

・time-bounded entropy：モデルから見た「ノイズっぽさ」
・epiplexity：ノイズを消すためにモデルが内部化した「再利用可能な仕組みの量」

みたいな感じか。

ここで重要な例が出てくるんだけど、一様乱数・疑似乱数についての情報理論上の矛盾が解決に近づく。

一様乱数（サイコロ）は「予測不能」だけど、モデルは「一様分布」って短い説明で済むので、epiplexityは小さい。（このへん、昔解説したのであとで貼っておくね）

さらに論文は、CSPRNG（暗号学的疑似乱数生成器）の出力についても、

・多項式時間の観測者にとっては time-bounded entropy がほぼ最大
・でも epiplexity はほぼ定数（学べる構造はほぼない）

となり、既存のコルモゴロフ複雑度の指標だと「生成プログラムが短いから複雑じゃない」と見えがちなのに、「予測不能さ」としては最大に見えるという現実をうまく説明できるようになる。

——

じゃ実際どう測るのかというと、定義どおりに「最短プログラムを探す」なんて無理なので、現実的には ニューラルネットをモデル族に限定して推定する。

論文は2つの推定ルートを出してる。

1) Prequential coding（雑に言うと「学習曲線の面積」）

学習を1ステップずつ進めながら、各時点のモデルで次のデータを符号化していく、という古典的な圧縮の考え（prequential）を使う。

ここで「最終損失より上にある学習曲線の面積（lossが下がっていった“量”）」が、モデルがデータから吸い取った情報量＝epiplexityっぽい、という近似になる。

ただし著者らも明確に「これは厳密ではない」と言ってる（上界の差分は上界にならない／時間制約つきの“情報の対称性”が壊れる等）。

2) Requential coding（より厳密、ただし重い）

prequentialの弱点を補うために、requential coding を使う。

ざっくり

・teacher（教師）モデルのチェックポイント列からサンプルした“合成トークン”で student（生徒）を学習
・teacherとstudentのズレ（KL、実務的にはloss gap）を足し上げると、モデルの符号長が出せる→ 図的には teacher loss と student loss の“間の面積”みたいになる

という感じ。

こっちは「モデルを明示的に符号化でき、ランタイムも把握できる」ので定義に忠実だけど、実装/計算コストが増える、というトレードオフ。

——

またこの論文の面白いところは「epiplexity + time-bounded entropy」で、冒頭の3パラドックスをちゃんと説明しにいく点。

パラドックス1：決定論的な変換で情報は増えないはず

古典だと DPI（データ処理不等式）とか「決定論で情報は増えない」みたいな話になる。

でも現実は：
・疑似乱数で「ランダムさ」を作れる
・合成データが効く
・AlphaZeroが自己対戦で賢くなる

そこで著者らは「無限計算なら“逆変換”できるから情報は増えない。でも計算制約があると、“逆が簡単じゃない変換”は time-bounded な情報を増やしうる」という方向に持っていく。

例としてセルオートマトン：
ルール15：単純（低entropy、低epiplexity）
ルール30：予測困難（高entropy、低epiplexity）
ルール54：予測困難さもあるが“学べる構造”も増える（中entropy、高epiplexity）

という結果を示してる。

合成データを作るなら「簡単に逆算できない変換」を使う方が、面白い情報（特に構造）を増やせるかもしれない、という示唆も得られる。

パラドックス2：情報量は順番（factorization）に依存しないはず

シャノンやコルモゴロフでは「X→Yの順で見ても、Y→Xの順で見ても、合計情報は同じ」みたいな対称性がある。

でも実際には

・英語は left-to-right の方が学習しやすい、みたいな「矢印」が出現する
・暗号は「片方向だけ簡単」が本質

論文はここを 計算制約つきだと「順番で time-bounded entropy が変わる」として扱う。

実験も

・“一方向関数っぽい”例（ECA rule30）で forward はシャノンエントロピーまで行けるが reverse はギャップが残る
・チェスデータでも順番を変えると、entropyもepiplexityも変わる

であることを示す。

チェスの直感はわかりやすくて、

・moves→board（順方向）：単純に盤面を更新すればいい
・board→moves（逆方向）：途中の手順を推論しないといけない（難しい）

だから逆順の方が「より深い盤面表現」を学びやすく、epiplexityが上がる、という主張。

パラドックス3：尤度最大化は分布マッチングでしかないはず

真の生成過程はそれ自身の完璧なモデルなんだから、学習しても生成過程以上の構造は学べない、という見方がある。

論文はこれに対して induction（帰納） と emergence（創発） を持ち出して反例を作る。

(a) Induction：生成は簡単でも、予測（尤度計算）は難しい

生成側は「潜在変数を選んで変換して出す」だけで簡単でも、予測側は潜在を「逆推定」しないといけないケースがある。

例：
ECA rule30 を予測するが入力の一部ビットをマスク
→ 欠けたビットを総当たり的に推論する必要があり、計算が爆発
→ その分 epiplexity が増える、という観察。
さらに「データ生成には存在しなかった“帰納戦略”をモデルが学んでしまう」点を強調してる。

(b) Emergence：単純ルールでも、計算が足りない観測者には「高レベル概念」が必要

Game of Life みたいにルール自体は短くても、長期の状態予測は計算が重い。

計算が足りない観測者は、単純にシミュレーションする代わりに、「グライダー等の“種”を検出して挙動を予測する」みたいな 別の（より長い）内部プログラムを学ぶ必要が出る。

この現象を定義として「epiplexity-emergent」と置いて、ECA rule54でそれっぽい証拠も出してる。

——

上のパラドックスの説明がこの論文の一番面白いところであるのは間違いないのだけど、実務的に刺さるのは後半、OOD（out-of-distribution = 前提としている世界モデルが異なるデータ）の一般化について触れているところ。

論文の後半は「epiplexityは OOD transfer の“燃料”っぽい」と押す。

なぜ loss だけ見てもダメなのか

著者らの主張はこう：
・loss（NLL/ perplexity）が表すのは「残った予測不能さ」＝ time-bounded entropy 成分
・でも OOD は「学んだ仕組みの再利用」が効く
→ その“学んだ仕組みの量”を見るなら epiplexity が筋

チェス：epiplexityが高い順序の方がOODタスクに強い

board→moves（逆順）の事前学習モデルは epiplexity が高く、下流で

・チェスパズル：同等
・centipawn評価（より分布シフト大）：精度が有意に良い

という結果。

ただし著者らも釘を刺していて「epiplexityが高い＝どのタスクでも良い」ではない（量であって内容じゃない）。

自然データ：言語は“構造”が多く、画像は“ランダム成分”が多い

OpenWebText（言語）、Lichess（棋譜）、CIFAR-5M（画像）を比べると、

・epiplexity自体は全体情報のごく一部
・OpenWebTextが一番epiplexityが多い
・CIFARは総情報量は大きいが、ピクセルの細部が予測不能で random 成分が多く、epiplexityが少ない

というまとめ。

さらに scaling law を使って1T規模でも推定し、

・言語のepiplexityが高い
・画像は低いが、VQトークナイズでepiplexityが増える（高レベル構造に寄るから）
・動画は冗長性でentropy/epiplexityが下がる

と述べてる。

データ選択・カリキュラム：ADOは結果的にepiplexityを上げてるのでは？

6.4では、データ混合を perplexity や下流ベンチだけで最適化するのは

汚染/過学習/Goodhart（指標ハック）に弱い

と言って、epiplexityを「より内在的な価値指標」にしたい、という流れ。

具体例として ADO（lossが速く下がるデータを優先するオンライン選択）が、測ってみると

・epiplexityが高いデータを選んでいて
・下流性能やOOD perplexityも改善している

という関連を示す。

——

とまぁ、ここまで紹介しておいてなんだけど、epiplexityは「データの絶対的な性質」じゃない。

この論文が流行ることで容易に想像できる近未来は「epiplexityが高いほど良い」だけど、その短絡は危険。

内容が無関係なら無駄学習にもなるし、そのことを著者らも明示している。

「難しくする（逆順にする等）と表現が良くなる」は刺さるけど、どこでも成り立つ保証はない。タスクとモデル次第で普通に崩れる。

論文の思想を雑に実装指針に落とすなら、

・データ比較で「最終loss」だけじゃなく、“学習がどれだけ長く改善し続けたか”（学習曲線の面積っぽいもの）も見る
→ 構造を吸えてる可能性のシグナル。
・カリキュラム/順序/フォーマットを変える実験を、単なる精度改善じゃなくepiplexity（＝学んだ仕組み量）を増やす介入として捉える
→ OOD狙いに理屈がつく。
・合成データは「ノイズを増やす」だけだと entropy は上がるけど epiplexity は増えない可能性がある
→ “学べる構造”を増やしてるかを見る視点が必要。

ということですかね。

古典的な情報量という概念に対して直感的に感じていたモヤモヤを晴らしてくれる素晴らしい論文で、情報理論の次の時代を拓くマイルストーン論文になる可能性があるとは思います。

[akatsu nft @KatsuKipa]

@ro_mi 今年はオンラインでcomugiさんに直接インタビューできたのが大変嬉しかったです！weekly gmリサーチのお仕事も大変お疲れ様でございました。
コムギコ、2025年の最終回なだけで来年もお届けしてくださるんですよね😆

[akatsu nft @KatsuKipa]

@DropMiin 写真のアップロードお待ちしてます！
マイニング施設とかは見に行くのですかね？

[桜囲章一⚛️新NISA&仮想通貨 @BTC_Bomber]

明日、12月4日の21時から #MEXC のAMAにゲスト出演します‼️

日時： 12月4日（木）21:00〜 📷
MC： LisaCrypTokyo @cskebf4ever719
ゲスト： 桜囲章一 @BTC_Bomber

初のAMAで足の震えが止まりません💧

吹き出す汗が止まりません💧

とりあえず、明日の夜はAMAに参加して下さい🙇‍♂️

[akatsu nft @KatsuKipa]

@ro_mi アイドルの活躍先=枠が多い
:仰る通り、登竜門、つまりBtoBでいうとインキュベーター型のプラットフォームにヒビが入ったと連想もあります。意見的にはクリシェですが、テレビというマスメディアエンタメプラットフォーム全体のパイ減少andコンテンツの方向転換とも読んでも面白かったです。