u1

[u1 @u1_jp]

AIもaとかthe苦手なんだなって思ったら親近感湧いた（そうじゃない

[Itaru Tomita / 冨田到 @itarutomy]

LLMで「the/a/in」が意味情報を潰していた（https://arxiv[.]org/html/2606.07502v1）。

LLMをテキスト埋め込みモデル（文章の意味を数値ベクトルに変換するモデル）として使うと性能が伸び悩む問題がある。研究チームがその原因を特定した。

LLMの内部表現をLogit Lens（中間表現を語彙空間に投影して「何を表現しているか」を可視化するツール）で覗くと、入力内容に関係なく「the」「a」「in」「,」といった意味の薄い頻出トークンが上位を独占していた。QwenでもLlamaでもMistralでも同じパターンで、モデルを問わない普遍的な現象だ。

原因はアンエンベッディング行列（LLM内部の表現を単語確率に変換する行列）にあった。この行列を特異値分解すると、最大・最小の両端の成分「エッジスペクトラム」が頻出トークンの信号を埋め込みに書き込んでいたことが判明した。LLMが次のトークンを予測するために最適化した結果、その偏りが埋め込みにまで漏れ出ていた構図だ。

提案手法のEmbedFilterはこのエッジスペクトラムをカットするだけの線形変換。追加学習不要で既存モデルのパラメータから計算できる。適用後にLogit Lensで確認すると、トップトークンが「the/a/in」から入力に意味的に関連する「Language」「activations」「representations」といった単語に入れ替わった。

MTEB（テキスト埋め込み49タスクの標準評価）では、Qwen2.5-0.5B + ECHOで+14.1%（46.03→52.55）、Llama-3.1-8B + ECHOで+7.8%（53.52→57.70）改善。さらにLlamaの埋め込みを4096次元から512次元（1/8）に圧縮してもスコア56.61となり、専用ファインチューニング済みのSimCSE（768次元）53.54を超えた。

後処理1ステップで+14%かつインデックスサイズ1/8は、実用上かなりおいしい発見かもしれない。

[u1 @u1_jp]

おー。進展あり。でもこういうのって本来なら国が規定すべき話だよな。

[猛禽類医学研究所 齊藤慶輔 @raptor_biomed]

太陽光パネル放置に「質権設定」の条例で対策　事業者倒産しても撤去費用を回収可能へ　釧路市（HTB北海道ニュース）

釧路市の太陽光発電施設の建設を規制する条例の改正案が可決されました。放置された場合に備え市が撤去費用に質権を設定する対策が盛り込まれています。
https://t.co/5gSfeYC2O6

[u1 @u1_jp]

過去一安い気がする
積みゲーにイン（罪

[u1 @u1_jp]

@CR_IR 新鮮。ただ、いつも色で味を認識してたので面倒に感じてしまいそう。

[u1 @u1_jp]

不思議な形、模様の雲ができてる。

[u1 @u1_jp]

#プラグマタ アプデが入って体験版で使えた外装が使えるようになってた。
暇を見て進めてるルナティックモードは牛の歩みでまだ第二エリア。ボスでもない敵集団が突破できず。当分楽しめそう。

[u1 @u1_jp]

@suttamondanok 戦闘民族？

[u1 @u1_jp]

同僚「パスワードは記号を混ぜましたか？」
自分「はい。規約なので」
同僚「具体的に何の文字使ったか教えてください」

[u1 @u1_jp]

洗濯機を買い替えたら洗濯機の蓋がランドリーラックに干渉して開ききらなってしまっていたのでラックの足を延長するなどして暇を潰した。
少し頼りない感じだけど重量物というほどのものでもないし上下ともダブルナットでガタつきもないので良しとする

[u1 @u1_jp]

所用でお休み取得。用事が思った以上に早く終わったので暇になってしまった。

[u1 @u1_jp]

そういえば気になってたお店あったなと思って調べたら水曜定休だった🙃

[u1 @u1_jp]

関東ほどではないが少し揺れた

[u1 @u1_jp]

キュラソーって言うお酒の名前だと思ってた

[u1 @u1_jp]

フフってなった。
町内会で徴収？集金？すんのやめて欲しいわ。

[u1 @u1_jp]

休憩中何かの警報が鳴り響いたが何の警報かがわからないし誰も慌てている様子がないのでそのまま休憩を続けた（正常性バイアス

[AllieJade @AllieJade1]

Oh... I like this one! Let's do some onsite repair work on a swing ring of a nice big Caterpillar! Big job!

[u1 @u1_jp]

先先代のシャープ製は17年でも壊れなかった…と思ったけどよく考えたら稼働頻度が全然違ったので比較にはならないな。

[u1 @u1_jp]

洗濯機が壊れた。9年動いてくれた。

[u1 @u1_jp]

新型到着。家電量販店で「壊れたから買いにきた」って伝えたら融通効かしてくれて早めの到着。感謝しかない。
日立からAQUA。今度のは何年動いてくれるか。