Kyoichi Iwasaki

Solution architect at @Microsoft, Ph.D.(Statisrical science)/PMP®/PMI-ACP®

[Kyoichi Iwasaki @kyoro1]

息子が中学受験勉強で少し飽きてるっぽかったので、もう忘れているであろう数学ⅡとBを掛け合わせた「直線の方程式を、直線の法線ベクトルとの内積で表せるよ」という話をしたら、「受験国語より頭を使う」と言われた件w

[島袋隼士(Hayato Shimabukuro) @bukuro8810]

アカデミア以外の方だと、これが何を意味しているのか分からない方もいるかもしれません。

「十分に勉強してから研究を始めよう」と考えて、勉強は続けているものの、なかなか研究そのものを始められない状態のことです。

研究と勉強は両輪なので、ある程度基礎を身につけたら研究を始めて、その中で必要になった知識をその都度勉強しながら進めていきます。最初から必要なことをすべて勉強してから研究を始める、というものではないのです。

[PROTO@AiArt @proto_jp]

これリアルタイムで見てて切り抜こうか迷ってたシーン。とても腑に落ちる解釈。流石公式YouTube切り抜くべき箇所をわかっとる✂️

頭がいいとか頭が悪いとか、世界には #知的レベル なんてものは存在しない #東浩紀 #ゲンロン
https://t.co/jAudG8CPvo

[ゆうさん @yu_san_logs]

本社から来たDX担当がな、30年やっとる事務のおばちゃんに言うてもうたんや。

「この紙の台帳、全部無駄なんで来月から廃止します」

おばちゃん、台帳の付箋めくりながらな。

「ええですよ。ほな去年の12月、システム落ちた3日間、誰が請求書出したか知ってはります？ この台帳です。廃止するなら、その3日分の答えも用意しといてください」

担当は持ち帰って、台帳は「バックアップ」て名前に変わって残った。

無駄を切るのが仕事の人はな、その無駄が何回会社を助けたか、数えたことないんや。

[yudai.py @physics303]

良い論文を書いてきたつもりだし、一文一文に魂込めて文章書いてきたけど、もう誰も私の書いた文章なんて読んでない。LLMに突っ込んで要約してもらってる。単語一つにあそこまで凝ってた私のwritingに費やした時間はなんだったのか。

[Kyoichi Iwasaki @kyoro1]

@Firosofia ありがとうございます！

[Kyoichi Iwasaki @kyoro1]

学位を取りました：
https://t.co/4kV5rXFp8e

[霞ヶ関女子 @kasumi_girl]

これはそう思います。だから問題集は最初に解答を見て覚えちゃうという勉強の仕方もしてました。

＞人間の脳の仕組みとして、暗記なしでロジックだけ理解しようというのは無理。最初はそれを真似したりしているうちに、どういうものかが分かっていき、最終的に暗記だけの部分を忘れていいとなる。過程に暗記は入る。

[SGee @SGee30418056]

ここで言われていることは当然オブ当然の話であって、頭の中に情報があることが、思考なり独創なりの大大大前提。

詰め込みこそが教育の本質であって、それを通して頭に豊富に蓄えられた知識やパターンや前例を上手く使って、何かを考えたり解いたりする所からが本番であり個々人が自分でやるべき/自分でしかできない領域。

何もないところからの思考、というのは神に選ばれた天才だけができることであって、99.99%の凡人は詰め込んだものを土台に考える以外の選択肢はない。

詰め込みも暗記も大賛成だし、その時間や機会を減らすアクティブラーニングなりなんなりの流れは正直、反対。

[Kyoichi Iwasaki @kyoro1]

健康診断で、精密検査と言われて大学病院に来て、CT受けた。
肺結節のようですが、3ヶ月の経過で5mm以下のようで、心配ないっぽいが、次は1年後にもう1度チェックするか、と。

加齢なのか何なのか、、、orz

[Kyoichi Iwasaki @kyoro1]

連続と離散は、似てるけど違う部分の交互に微妙に行けない感じがツラみ

[Kyoichi Iwasaki @kyoro1]

ニュートン算で、穴が空いたお風呂に水を足すのがちょっとアレだね（←問題設定として）、という話をしていたら、「微分方程式を解かないと厳密には解けないのでは？」というコメントを頂くなどw

そんな難しいこと、中学受験で出るのか、、？（いや、出ない）

[Kyoichi Iwasaki @kyoro1]

@chomado この辺りが、線型空間内で「独立」と言われる話に繋がりますね(→関数解析かな)

[渡邉究/数学科教員/KADOKAWAより「すごすぎる数の図鑑」発売中/YouTube @Kiwamu_Watanabe]

AI が発見したヤコビアン予想の反例を、van den Essen は「人間ならどう発見できたか」という探索過程から再構成。今後の AI と数学の関係を考える上で面白い。発見だけで終わらせず、理解していくことが大切ということでしょうね。
https://t.co/pChOgn4bac

[Phoenix Yin @Phoenixyin13]

在机器学习和信息论中，有一个著名的直觉叫流形假说。

现实世界产生的数据，在名义上往往拥有极高维度：一张高清图片可能对应数百万个像素维度，自然语言、声音、蛋白质序列、行为轨迹也都存在于极其庞大的状态空间中。

但有意义的数据并不会均匀散落在这些空间里，它会被压缩在一个极小、极其特殊的结构区域中。
一张随机生成的百万像素图片几乎不可能恰好构成一张真实人脸，因为自然图像同时受到身份、姿态、光照、透视、物体结构和物理规律等大量约束。
流形，只是这种低复杂度结构的一种几何表达，更一般地说，机器学习真正能够成立，是因为现实世界的数据根本不是随机噪声。

这也是理解智能最重要的起点。
智能存在的第一条件，在于这个世界必须具有可预测结构。
假如一个宇宙中的未来和过去完全独立，那么无论是人脑、Transformer还是无限大的超级计算机，都无法通过观察过去提高对未来的预测，因为这个世界根本没有留下任何可以学习的规律。
白噪声无法被理解，也无法被预测。
因此，智能能够存在，本身就意味着宇宙不是最大随机性的混沌，而包含大量跨尺度稳定的统计依赖、几何约束、组合结构、动力学规律和因果关系。

从这个角度看，机器学习做的事情是在巨量观测中寻找可以压缩的规律。
模型看过十亿张人脸，并不需要在参数里存储十亿份像素副本，它需要形成的是关于身份、轮廓、姿态、光照、空间关系等潜在变量的生成结构，最终用一个远短于全部训练数据本身的模型去近似。
因此，Learning在很深的意义上就是Compression。
如果一个庞大的数据集合能够被一个更短的生成程序描述，那么模型获得的就是规律。这与Kolmogorov Complexity的直觉高度一致。
生成或描述这些数据所需的最短程序究竟有多长，是一个重要的问题。

但是，数据不均匀本身仍然不足以产生智能。一个变量即使99%的概率取0、1%的概率取1，它的分布极度不均匀，却未必具有任何复杂结构。
重要的是变量之间存在可以利用的依赖。知道 (X) 之后，是否能够减少对 (Y) 的不确定性，这才是信息。
Mutual Information (I(X;Y)) 所度量的，本质上正是这种关系。
所以，智能依赖的是世界内部存在稳定的dependency；
统计规律、几何结构、层级结构、因果关系以及时间上的连续性共同构成了学习能够发生的基础。

这也给出了理解大模型的一种更准确方式。
一个随机初始化的神经网络最初只是一个巨大的、没有意义的函数族，而梯度下降不断利用数据排除那些与现实分布不一致的函数。
经过海量训练之后，原本随机的参数逐渐形成高度结构化的内部表征。
语言结构、空间关系、人物与概念关系、程序结构和部分物理规律也进入其中。

这里，我们不能简单说神经网络与现实世界同构。因为同构是一个过于严格的数学概念。
其实，模型是在自己的计算介质中形成了一套能够保存现实世界部分稳定关系的内部表示。
它是世界结构在另一种介质中的压缩投影。

于是，所谓智能涌现也没有那么神秘。
如果模型只能捕捉局部统计相关性时，它表现为模式匹配；
当它能够形成更长程、更抽象、更稳定的表示时，就出现泛化；
当不同领域的内部结构能够被重新组合，就表现为类比和联想；
当模型能够利用已有结构，对训练数据中没有直接出现过的状态进行推断，就表现为推理。

记忆、泛化、类比和推理，只是同一种机制在不同尺度上的表现：利用一个内部世界模型，在未观测区域重建结构。
模型规模之所以重要，是因为复杂世界需要足够大的函数空间才能被表示。
而某些能力的突然涌现，有时只是评价指标造成的阈值效应，有时也可能对应grokking或内部表示重组这样的真实非线性变化。
我想，我们需要更多地去关注参数空间在学习过程中发生了什么结构重组，使新的计算能力成为可能。

如果继续把这个问题推到信息论和统计物理层面，会得到更加统一的图景。
生命，依靠持续消耗自由能维持自身远离热平衡，而大脑和机器同样需要消耗能量进行信息处理。
由于Shannon entropy和热力学熵并不是同一个概念，我们可以更准确地定义，智能系统不断丢弃与任务无关的变化，同时保存对于预测和行动有价值的信息。

这与Information Bottleneck极其接近。
内部表示并不需要保存输入的一切，而只需要保留足够多能够预测未来、指导行为的结构。高级智能的标志，是知道什么必须留下，什么可以被遗忘。

由此，智能可以粗略地被写成Compression、Prediction、Control。
Compression意味着从海量观察中提取规律，Prediction意味着利用这些规律推断尚未看到的世界，Control意味着利用预测去改变未来。
一个有限的系统面对一个远比自身复杂的宇宙，通过观察世界、压缩世界、建立内部模型，再依靠这个模型预测并干预世界，这就是智能最一般的形式。

[Kyoichi Iwasaki @kyoro1]

特に異論は無いのですが、
https://t.co/iQ2GWBh6CH
の内容のように初期誇張段階でSpectral Clusteringの近似ができて、さらにそれをNesterov加速勾配法に拡張した論文(TMLR)を昨年書きました。。
https://t.co/ShjK5PG1Cv

[本間宏紀@理論を重んじるデータサイエンティスト @j0OmcPKEmMMkNWX]

t-SNEという次元削減の手法が最適化しているのは、高次元での近傍同士の類似度分布と、低次元に落とした点同士の類似度分布のずれを表すKLダイバージェンスです。狙いは近い点をできるだけ近く保つことにありますが、この目的関数自体が非凸であり、勾配降下法による最適化は大域的最適解への到達を保証せず、局所解や未収束の点にとどまり得ます。ここから、局所的な近さの保存すら保証されているわけではない、という一段控えめな理解が必要になります。

この点を具体的に見ると分かりやすいと思います。内在的な次元がもともと高いデータや、多数の点がほぼ等距離に散らばっているデータを2次元へ押し込む場合、高次元での近傍関係を低次元で同時に満たすことは原理的にできません。ある点の周りで近傍関係を優先すれば、別の点の周りでは順序が入れ替わる。t-SNEやUMAPが実際にやっているのは、こうした矛盾を抱えたまま近傍関係の再現を目的関数のレベルで促す作業であって、結果として出てくる図がその再現に完全に成功している保証はどこにもありません。UMAPも、高次元データがリーマン多様体上に一様分布し、計量が局所的に一定で多様体が局所連結であるという仮定のもとで近傍関係を再現する設計であり、この前提が崩れる実データでは同じ限界を抱えます。

UMAPがt-SNEより大域構造を保持できるという説明は、よく見かける割に検証が甘いと感じています。両者を同じ初期化方法、具体的にはスペクトル初期化で揃えて比較すると、その優位性の大部分が消えるという追試結果が出ているからです。手法そのものの性質だと思われていたものが、実は初期値の置き方という別の要因に由来していた可能性が高い。名前に紐づけて理解していた性質が、前処理の選択に紐づいていたと分かると、何を比較して優劣を語っていたのかを一度洗い直す必要が出てきます。

視覚的分析に関する論文を対象にした近年のレビューでは、次元削減手法の中でt-SNEとUMAPが最も頻繁に誤用されている手法として挙げられています。誤用の典型は、パープレキシティやn_neighbors、min_distといったハイパーパラメータを変えるだけで見た目のクラスタの数や大きさが大きく変わるのに、出てきた1枚の図をそのまま高次元空間の構造の写し絵として報告してしまうことです。単一細胞解析やLLMの埋め込みを可視化する場面では、この誤読がそのまま研究上の解釈や、その先の意思決定にまで持ち込まれることがあります。

最後に、私自身の読み方の話をします。この種の図を受け取ったら、まずパープレキシティやn_neighborsの設定値と初期化の方法がどこかに書かれているかを探しています。そこが書かれていない可視化は、近傍関係の再現がどこまで達成されたのかを読み手の側から推し量る手がかりがなく、図の見た目だけを信じるか、判断を保留するかの二択になってしまいます。

[Kyoichi Iwasaki @kyoro1]

@chomado 何で難しいかと振り返ると、やはり道具の準備がそれなりに必要だから、、ですかね。
線型代数は元より、群、表現、さらに関数解析の初歩（≒無限次元上の線型代数）まで理解した上での級数展開に進まないといけないからね。。

[Kyoichi Iwasaki @kyoro1]

@chomado 数学で言う(Lie)群の表現論とかまで辿り着くと、この辺りがスッキリするけど、なかなかそこまで案内してくれる人も少ないw

[Kyoichi Iwasaki @kyoro1]

そもそも、私がちゃんと分かってないというのも多分にあるのだと思うが、発想が吹っ飛び過ぎているという点は合意してもらえた、、気がする。
やっぱFeynmannすげーな、と。

[Kyoichi Iwasaki @kyoro1]

ウチの奥さんに寝る直前に経路積分の話をガチめで説明したら「そんなの無理やろー」というコメントを残してスヤスヤと眠りに付きましたw