Baba

@bee21low

本好き、映画好き、音楽好き、テクノロジー好きサブカルオールドボーイです。重度障害者の抱える問題について考えています。以下を定期開催しています。エンジニアLT会：あつまれエンジニアの森ものづくりイベント：jackasson

東京

Joined October 2018

663 Following

420 Followers

3.3K Posts

bee21low retweeted

Kenn Ejima

@kenn

8 months ago

これ超絶すごい論文だよ。従来の「情報量」（シャノンのエントロピーやコルモゴロフ複雑度）の概念だと、・計算で新しい情報は作れない・データの順番を変えても情報量は同じ・尤度（次トークン予測）も所詮は分布マッチングみたいな結論になりがちなんだけど、現代の機械学習の感覚（合成データが効く、学習方法で性能が変わる、AlphaZeroが自己対戦で賢くなる、など）とズレてるよね、というのが出発点。そこで著者らは、観測者（学習者）が計算資源に制約があることを前提に、データから学習者が取り出せる「構造の量」を測る新しい指標 epiplexity を導入する。 epiplexity = epistemic complexity つまり認識論的な複雑度の概念だというわけだけど、余談ながらフーコーとか読んでた人にはエピステーメーって言われたら興味持たざるを得ないだろうし、まぁクーンのパラダイムでもいいんだけど、この epiplexity という概念自体が「地動説」みたいな認識の転換を惹起する認識論を内包したメタ量的概念、ということで、面白くないわけがない。ではなぜ既存の情報理論の説明力が弱かったのかというと、古典的な情報理論は基本的に「無限に計算できる観測者」を仮定してる。でも現実の学習（LLM/NN）は、計算に上限がある「簡単に逆算できない変換」を含んでいる（暗号・疑似乱数・カオス・複雑系）。同じデータでも提示順やフォーマットで学べるものが変わる、みたいな世界にいるわけ。この論文は、こうしたズレが「上の3つのパラドックス」に見える、と整理してる。 —— この論文のアイデアはざっくり言うと・データの中身は (A) 学習してモデルに詰め込める「構造」と (B) どう頑張っても残る「ランダムさ」の2つに分解できるはず・ただしその分解は計算予算 T に依存する（計算が増えると “構造として見える”範囲が広がる）というもの。どう定義してるか？というと、まず「時間（計算量）T以内で、サンプル生成も確率評価もできる確率モデル（プログラム）」を考える。その制約下で、MDL（最小記述長）っぽく「モデル（プログラム）を書くのに必要なビット数」＋「そのモデルでデータを符号化するのに必要なビット数」が最小になるモデルを取る。そのとき、・epiplexity = 「最適モデルのプログラム長（モデル側に格納された構造の量）」・time-bounded entropy = 「その最適モデルでも説明しきれず、データ側に残る符号長（予測不能成分）」という定義になる。直感で言うなら・time-bounded entropy：モデルから見た「ノイズっぽさ」・epiplexity：ノイズを消すためにモデルが内部化した「再利用可能な仕組みの量」みたいな感じか。ここで重要な例が出てくるんだけど、一様乱数・疑似乱数についての情報理論上の矛盾が解決に近づく。一様乱数（サイコロ）は「予測不能」だけど、モデルは「一様分布」って短い説明で済むので、epiplexityは小さい。（このへん、昔解説したのであとで貼っておくね）さらに論文は、CSPRNG（暗号学的疑似乱数生成器）の出力についても、・多項式時間の観測者にとっては time-bounded entropy がほぼ最大・でも epiplexity はほぼ定数（学べる構造はほぼない）となり、既存のコルモゴロフ複雑度の指標だと「生成プログラムが短いから複雑じゃない」と見えがちなのに、「予測不能さ」としては最大に見えるという現実をうまく説明できるようになる。 —— じゃ実際どう測るのかというと、定義どおりに「最短プログラムを探す」なんて無理なので、現実的にはニューラルネットをモデル族に限定して推定する。論文は2つの推定ルートを出してる。 1) Prequential coding（雑に言うと「学習曲線の面積」）学習を1ステップずつ進めながら、各時点のモデルで次のデータを符号化していく、という古典的な圧縮の考え（prequential）を使う。ここで「最終損失より上にある学習曲線の面積（lossが下がっていった“量”）」が、モデルがデータから吸い取った情報量＝epiplexityっぽい、という近似になる。ただし著者らも明確に「これは厳密ではない」と言ってる（上界の差分は上界にならない／時間制約つきの“情報の対称性”が壊れる等）。 2) Requential coding（より厳密、ただし重い） prequentialの弱点を補うために、requential coding を使う。ざっくり・teacher（教師）モデルのチェックポイント列からサンプルした“合成トークン”で student（生徒）を学習・teacherとstudentのズレ（KL、実務的にはloss gap）を足し上げると、モデルの符号長が出せる→ 図的には teacher loss と student loss の“間の面積”みたいになるという感じ。こっちは「モデルを明示的に符号化でき、ランタイムも把握できる」ので定義に忠実だけど、実装/計算コストが増える、というトレードオフ。 —— またこの論文の面白いところは「epiplexity + time-bounded entropy」で、冒頭の3パラドックスをちゃんと説明しにいく点。パラドックス1：決定論的な変換で情報は増えないはず古典だと DPI（データ処理不等式）とか「決定論で情報は増えない」みたいな話になる。でも現実は：・疑似乱数で「ランダムさ」を作れる・合成データが効く・AlphaZeroが自己対戦で賢くなるそこで著者らは「無限計算なら“逆変換”できるから情報は増えない。でも計算制約があると、“逆が簡単じゃない変換”は time-bounded な情報を増やしうる」という方向に持っていく。例としてセルオートマトン：ルール15：単純（低entropy、低epiplexity）ルール30：予測困難（高entropy、低epiplexity）ルール54：予測困難さもあるが“学べる構造”も増える（中entropy、高epiplexity）という結果を示してる。合成データを作るなら「簡単に逆算できない変換」を使う方が、面白い情報（特に構造）を増やせるかもしれない、という示唆も得られる。パラドックス2：情報量は順番（factorization）に依存しないはずシャノンやコルモゴロフでは「X→Yの順で見ても、Y→Xの順で見ても、合計情報は同じ」みたいな対称性がある。でも実際には・英語は left-to-right の方が学習しやすい、みたいな「矢印」が出現する・暗号は「片方向だけ簡単」が本質論文はここを計算制約つきだと「順番で time-bounded entropy が変わる」として扱う。実験も・“一方向関数っぽい”例（ECA rule30）で forward はシャノンエントロピーまで行けるが reverse はギャップが残る・チェスデータでも順番を変えると、entropyもepiplexityも変わるであることを示す。チェスの直感はわかりやすくて、・moves→board（順方向）：単純に盤面を更新すればいい・board→moves（逆方向）：途中の手順を推論しないといけない（難しい）だから逆順の方が「より深い盤面表現」を学びやすく、epiplexityが上がる、という主張。パラドックス3：尤度最大化は分布マッチングでしかないはず真の生成過程はそれ自身の完璧なモデルなんだから、学習しても生成過程以上の構造は学べない、という見方がある。論文はこれに対して induction（帰納）と emergence（創発）を持ち出して反例を作る。 (a) Induction：生成は簡単でも、予測（尤度計算）は難しい生成側は「潜在変数を選んで変換して出す」だけで簡単でも、予測側は潜在を「逆推定」しないといけないケースがある。例： ECA rule30 を予測するが入力の一部ビットをマスク → 欠けたビットを総当たり的に推論する必要があり、計算が爆発 → その分 epiplexity が増える、という観察。さらに「データ生成には存在しなかった“帰納戦略”をモデルが学んでしまう」点を強調してる。 (b) Emergence：単純ルールでも、計算が足りない観測者には「高レベル概念」が必要 Game of Life みたいにルール自体は短くても、長期の状態予測は計算が重い。計算が足りない観測者は、単純にシミュレーションする代わりに、「グライダー等の“種”を検出して挙動を予測する」みたいな別の（より長い）内部プログラムを学ぶ必要が出る。この現象を定義として「epiplexity-emergent」と置いて、ECA rule54でそれっぽい証拠も出してる。 —— 上のパラドックスの説明がこの論文の一番面白いところであるのは間違いないのだけど、実務的に刺さるのは後半、OOD（out-of-distribution = 前提としている世界モデルが異なるデータ）の一般化について触れているところ。論文の後半は「epiplexityは OOD transfer の“燃料”っぽい」と押す。なぜ loss だけ見てもダメなのか著者らの主張はこう：・loss（NLL/ perplexity）が表すのは「残った予測不能さ」＝ time-bounded entropy 成分・でも OOD は「学んだ仕組みの再利用」が効く → その“学んだ仕組みの量”を見るなら epiplexity が筋チェス：epiplexityが高い順序の方がOODタスクに強い board→moves（逆順）の事前学習モデルは epiplexity が高く、下流で・チェスパズル：同等・centipawn評価（より分布シフト大）：精度が有意に良いという結果。ただし著者らも釘を刺していて「epiplexityが高い＝どのタスクでも良い」ではない（量であって内容じゃない）。自然データ：言語は“構造”が多く、画像は“ランダム成分”が多い OpenWebText（言語）、Lichess（棋譜）、CIFAR-5M（画像）を比べると、・epiplexity自体は全体情報のごく一部・OpenWebTextが一番epiplexityが多い・CIFARは総情報量は大きいが、ピクセルの細部が予測不能で random 成分が多く、epiplexityが少ないというまとめ。さらに scaling law を使って1T規模でも推定し、・言語のepiplexityが高い・画像は低いが、VQトークナイズでepiplexityが増える（高レベル構造に寄るから）・動画は冗長性でentropy/epiplexityが下がると述べてる。データ選択・カリキュラム：ADOは結果的にepiplexityを上げてるのでは？ 6.4では、データ混合を perplexity や下流ベンチだけで最適化するのは汚染/過学習/Goodhart（指標ハック）に弱いと言って、epiplexityを「より内在的な価値指標」にしたい、という流れ。具体例として ADO（lossが速く下がるデータを優先するオンライン選択）が、測ってみると・epiplexityが高いデータを選んでいて・下流性能やOOD perplexityも改善しているという関連を示す。 —— とまぁ、ここまで紹介しておいてなんだけど、epiplexityは「データの絶対的な性質」じゃない。この論文が流行ることで容易に想像できる近未来は「epiplexityが高いほど良い」だけど、その短絡は危険。内容が無関係なら無駄学習にもなるし、そのことを著者らも明示している。「難しくする（逆順にする等）と表現が良くなる」は刺さるけど、どこでも成り立つ保証はない。タスクとモデル次第で普通に崩れる。論文の思想を雑に実装指針に落とすなら、・データ比較で「最終loss」だけじゃなく、“学習がどれだけ長く改善し続けたか”（学習曲線の面積っぽいもの）も見る → 構造を吸えてる可能性のシグナル。・カリキュラム/順序/フォーマットを変える実験を、単なる精度改善じゃなくepiplexity（＝学んだ仕組み量）を増やす介入として捉える → OOD狙いに理屈がつく。・合成データは「ノイズを増やす」だけだと entropy は上がるけど epiplexity は増えない可能性がある → “学べる構造”を増やしてるかを見る視点が必要。ということですかね。古典的な情報量という概念に対して直感的に感じていたモヤモヤを晴らしてくれる素晴らしい論文で、情報理論の次の時代を拓くマイルストーン論文になる可能性があるとは思います。

769

763K

Baba @bee21low

4 months ago

音楽は無料でDIYなんだと伝えてきたイアン・マッケイが始めたSTRAIGHT EDGEを商標登録するのはリスペクトがないよ！このオンライン署名に賛同をお願いします！「STRAIGHT EDGE という思想・歴史的背景を軽視し、特定の企業が独占する"商標登録"に反対」 https://t.co/ltxQUumddP via @change_jp

bee21low retweeted

BACK YARD ZINE ＆ RECORDS

@backyardzine_06

4 months ago

【STRAIGHT EDGE という思想・歴史的背景を軽視し、特定の企業が独占する"商標登録"に反対】 2026年4月13日、「STRAIGHT EDGE」というアパレルブランド (代表：廣江一也氏、CNO：西野亮廣氏) が始動するというWebニュース内で「STRAIGHT EDGE」が商標出願されていることを把握しました。我々は「STRAIGHT EDGE」という言葉が、特定の企業によって独占されるべきではないと考えます。これは商標法の趣旨に反し、文化の私物化を招くものだと強い懸念を抱いています。つきましては、商標登録への異議申し立てを行うことを前提に、署名活動を始めます。 ▼オンライン署名は以下から https://t.co/6fzu5SMqkR （※このオンライン署名は名前とメールアドレスのみでも可能です）また、STRAIGHT EDGEという思想の実践を伴わない企業が、商業的にその名を利用し独占を図ることは、40年以上にわたり先人たちが築き上げてきた文化の本質を汚し、その精神的な価値を根底から損なう行為です。それは単なる名称の使用ではなく、文化への冒涜及び衰退や崩壊へ招く破壊行為と言えます。・ STRAIGHT EDGE 商標登録反対プロジェクト発起人： BRAVE OUT, BRIGHTSIDE BOOKING, xtakashix (Otus), xYAJIx (TRUE FIGHT), BACK YARD ZINE －－－－－－我々が属するハードコア・パンクコミュニティ内で、アパレルブランドSTRAIGHT EDGEの展示会へ足を運んだ方や、代表者と直接コンタクトを取っている方がおられる現状を把握しております。しかし、未だ商標登録の取り下げや名称変更などの正式な声明は出されていません。－－－－－－ J-plat pat　特許情報プラットフォーム https://t.co/7OoIMoGHHa －－－－－－・商願2024-135149 ｓｔｒａｉｇｈｔ　ｅｄｇｅ・商願2025-037405 ＳＴＲＡＩＧＨＴ　ＥＤＧＥ－－－－－－この商標の現在のステータスは、登録査定は既に完了しており登録公告前の状態です（※追記：今回のニュースが流れた後の4/20付で、さらに登録料も納付され、実際にステータスは進んでいることを確認しています）。情報提供という形で意見を提出する事はできますが、登録査定は既に完了しており、その情報提供は審査官が確認する事は無く受理のみになります。我々はそれらの現状を受けて、審査のステータスが更新され、商標登録が完了した際に「異議申し立て」を行うのが最善と判断しました。異議申し立ての手続きが可能な期間は、商標が登録完了し、商標掲載公報が発行されてから2ヶ月以内です。この現状を踏まえ、異議申し立ての際に効力となる "署名" を集いたいと思います。この署名で抗議の声を可視化し、その声が大きければ大きいほど登録抹消の可能性が高まります。個別に異議申し立てを行なっていただくか、内容にご賛同いただけましたら、ぜひ署名のご協力とシェアをお願いします。－－－－－－今回の商標登録に関する件は、瞬間的な感情だけではなく、先述してきたような文化的・歴史的背景や、古くから現在に至るまで「STRAIGHT EDGE」の信条を基にして活動するバンドがいること、ライフスタイルとして実践する方々がおられること、そしてそれらの言葉や表記、作品、マーチャンダイズなどの表現が制限される可能性を危惧しています。この署名が集まりましたら、本プロジェクトを通じた特許庁への異議申し立ての際に、証拠物、上申書・理由書（公序良俗違反／商標法第4条1項7号、混同惹起商標／商標法第4条1項15号、識別力の欠如／商標法第3条1項6号）として活用させていただきます。あらためて今回の商標登録に、納得いかない方疑問を抱いている方一言申したい方アンダーグランドなミュージックカルチャーを大切にしたい方是非ご署名とシェアいただけたら幸いです。宜しくお願いいたします！