人工海老

エンジニア

[人工海老 @REIWA_AB]

最大入力量

[人工海老 @REIWA_AB]

セキュリティとか最大入力料とか期間とか考慮せんといけない事多すぎる

[Itaru Tomita / 冨田到 @itarutomy]

LLMで「the/a/in」が意味情報を潰していた（https://arxiv[.]org/html/2606.07502v1）。

LLMをテキスト埋め込みモデル（文章の意味を数値ベクトルに変換するモデル）として使うと性能が伸び悩む問題がある。研究チームがその原因を特定した。

LLMの内部表現をLogit Lens（中間表現を語彙空間に投影して「何を表現しているか」を可視化するツール）で覗くと、入力内容に関係なく「the」「a」「in」「,」といった意味の薄い頻出トークンが上位を独占していた。QwenでもLlamaでもMistralでも同じパターンで、モデルを問わない普遍的な現象だ。

原因はアンエンベッディング行列（LLM内部の表現を単語確率に変換する行列）にあった。この行列を特異値分解すると、最大・最小の両端の成分「エッジスペクトラム」が頻出トークンの信号を埋め込みに書き込んでいたことが判明した。LLMが次のトークンを予測するために最適化した結果、その偏りが埋め込みにまで漏れ出ていた構図だ。

提案手法のEmbedFilterはこのエッジスペクトラムをカットするだけの線形変換。追加学習不要で既存モデルのパラメータから計算できる。適用後にLogit Lensで確認すると、トップトークンが「the/a/in」から入力に意味的に関連する「Language」「activations」「representations」といった単語に入れ替わった。

MTEB（テキスト埋め込み49タスクの標準評価）では、Qwen2.5-0.5B + ECHOで+14.1%（46.03→52.55）、Llama-3.1-8B + ECHOで+7.8%（53.52→57.70）改善。さらにLlamaの埋め込みを4096次元から512次元（1/8）に圧縮してもスコア56.61となり、専用ファインチューニング済みのSimCSE（768次元）53.54を超えた。

後処理1ステップで+14%かつインデックスサイズ1/8は、実用上かなりおいしい発見かもしれない。

[人工海老 @REIWA_AB]

研究はいまだにGPT-OSSで回してるのか…？分からん最新追えてない

[人工海老 @REIWA_AB]

codex試した
一旦占有フォルダでソースコード構築するのはどうかと思うけど使いやすくはある特にchatgptの料金で使えるし

[人工海老 @REIWA_AB]

最近はサービス作ったりローカルツール作ったりしてました

今度何件か大きい舞台でpresenterやります🙌

[Takuto Wada @t_wada]

認知負債についての kawasima さんのまとめ､結論が重い

[人工海老 @REIWA_AB]

脆弱性ニュース多いね

[yousukezan @yousukezan]

【緊急】Zabbix の脆弱性情報 CVE-2026-23921 (CVSS 8.7) https://t.co/DKdoEDqDVY

[人工海老 @REIWA_AB]

これは個人的tipsだけどコード生成する際はlintとかテストを自動実行する様にすれば懸念事項の4割が消える

[経理ねこ @keirineko_cpa]

KDDI子会社の循環取引を見抜くのが至難の技過ぎて監査法人の心境を思うと気の毒で涙とまらん

[茶請け @ttensan2nd]

microsoft　AIで開発できるようになったからと開発者を大量リストラ
↓
WindowsUpdateで配布されるパッチの不具合が目立つようになる
↓
microsoft「品質改善宣言」
↓
3月23日に配布した定例パッチのパッチにも不具合が
↓
3月26日にプレビューパッチを公開するも不具合がひどく1日で撤回
↓
3月31日にさらにパッチのパッチを配布

品質改善とはいったい……うごごごご！！

[人工海老 @REIWA_AB]

この話会社でも上がってた
copilotが広告勝手に入れる話もした

https://t.co/f5YwXssgrx

[Takuto Wada @t_wada]

今どき axios は使わないだろうと思っていたらコーディングエージェントがよく axios を使うので、無批判に accept していると今回の axios サプライチェーン攻撃の影響を受けまくるの、なかなかに現代のおとぎ話だ

[人工海老 @REIWA_AB]

AWS DB周り改善してて超良いね〜

https://t.co/a2hKNTLjrI

[人工海老 @REIWA_AB]

手書きでコードが書ける古代エンジニアってフレーズ良いな

[人工海老 @REIWA_AB]

すきこれ

[ミロ @ml0_1337]

MTGが始まる直前にBBCニュースのドラマチックなBGMを流すようにするプラグイン、良すぎる

[人工海老 @REIWA_AB]

servicenow✖️LLM難しすぎ

[小林 - デザイナー @pulpxstyle]

SEO、OGP、構造化データ、MEO、LLMOの一括診断がブラウザで完結する無料ツールを作りました。

URLを入力するだけのシンプル設計で、SNSシェア時のプレビュー確認や診断結果のPDF保存、クリップボードへのコピーにも対応しています。

無料・登録無しで使えます👇️