Yu

MLエンジニア(出稼ぎ🗽) Views are my own.🗣

[ニューヨークお散歩通信 @OsanpoTsushin]

「らーめん阿夫利」のオープン迫る！？

今までは窓にカバーがかかっていて店内が見えませんでしたが、遂に見えました。カウンター席があるモダンな店内で雰囲気良さそうです！

場所は45丁目の5と6番街の間です。
#ニューヨーク最新ニュース

[Yu @MYusan72]

1k h100... 仕事倍速

[Masahiro Tanaka @toh_tana]

今日来たリクルータのメッセージに、とうとう "8 figures" ">1,000 GPUs per head" と出てきた。いろいろリッチそうな話は来るが、このレベルは珍しい。
日頃接点はないが、名前くらい知ってる組織で、お金は持ってそう。お金欲しいなら、業種が大事だよね。

[Yu @MYusan72]

検索の人なんだ　一年経っても検索モデルよーわからん

[LSTA-Linfer-jp @LSTA_Linfer_jp]

LSTA: 准教授が着任しました。US Google からです。
大規模言語モデルの研究者であり、実務者でもあります。
https://t.co/iAuPOOBRPK

[tennis365.net テニス365 @tennis365]

🇯🇵大坂なおみと🇯🇵錦織圭 全米OP混合複で再タッグ「前回は酷い負け方だった」🎾

https://t.co/48KpQZ4MFM

#keinishikori #naomiosaka

[unusual_whales @unusual_whales]

BREAKING: The House has passed legislation to make Daylight Saving Time permanent nationwide

[Yu @MYusan72]

ほぼ全同僚に聞かれるやつ

[Takami Sato @tkm2261]

俺も偉そうな事言えんけどさ、某発スタートアップも受託メインでスケール厳しいしレガシーJTCを助長させる方向だしでアレよな。中国みたいに米国理系CS PhDからAIトップ企業なり狙いに行く流れになんでならんのだろうね。ベイエリアの日本人の研究会いってもCS肩身狭いんよね。ベイエリアでやぞ？

[Yu @MYusan72]

🥱

[*Walter Bloomberg @DeItaone]

$META TO INSTALL TRACKING SOFTWARE ON U.S. EMPLOYEE COMPUTERS TO CAPTURE WORKFLOW DATA FOR AI TRAINING -INTERNAL MEMO

META TRACKING TOOL TO CAPTURE MOUSE MOVEMENTS, KEYSTROKES AND SNAPSHOTS OF WHAT EMPLOYEES SEE ON THEIR SCREENS -INTERNAL MEMO

[Yingjun Wu 🤘 @YingjunWu]

Chatted with a few mid-level managers at big techs in the Bay Area. They all said they are under intense pressure - leadership is pushing an "all in agents" mandate without giving much direction, so teams are scrambling to explore all kinds of agentic AI projects internally, even though the ROI is unclear.

Feels like we will end up with seeing a huge wave of agentic project that don't really mean much.

[Yu @MYusan72]

わろたまだ採用過多のせいなの

[Polymarket @Polymarket]

BREAKING: Marc Andreessen says AI is a “silver bullet excuse” for layoffs actually due to over-staffing during COVID.

[Polymarket @Polymarket]

BREAKING: Amazon reportedly holds mandatory meeting after “vibe coded” changes trigger major outages.

[Yu @MYusan72]

先生たちすげ

[Yann LeCun @ylecun]

Unveiling our new startup Advanced Machine Intelligence (AMI Labs).
We just completed our seed round: $1.03B / 890M€, one the largest seeds ever, probably the largest for a European company.
We're hiring!

[the background image is the Veil Nebula - a picture I took from my backyard, most appropriate for an unveiling]

More details here:
https://t.co/eWHyGLXwCA

[Rohan Paul @rohanpaul_ai]

Dr Fei-Fei Li (@drfeifei ) on limitations of LLMs. 🎯

The same vibe of what Yann LeCun says.

"Language is purely generated signal. You don't go out in nature & there's words written in the sky for you. There is a 3D world that follows laws of physics"

[Yu @MYusan72]

寒すぎて

[チタロ @PAGE4163929]

速報：ニューヨーク市、年初2か月間の銃撃事件・銃撃被害者・殺人件数が過去最低を記録。

主要犯罪は全市で8％近く減少、
住居侵入窃盗は過去最低、
小売店窃盗は25％減少

[Yu @MYusan72]

Researcherでも無いから線形代数とかで食ってる

[Hiroshi Wayama @mushoku_swe]

線形代数なしにNNは理解できない。逆伝播法の数式を追うと、結局は行列の微分とチェーンルールの応用だと分かる。個人的には、勾配消失問題が固有値の大きさと関係していると知ったとき、数学的基礎の重要性を再認識した。ライブラリが隠蔽する部分にこそ本質があるような気がするが、果たして…

[Yu @MYusan72]

🤔

[Shuhei Shimmyo | マルチモーダルRAG基盤開発 @ShimmyoLab]

Self-attentionは数学的に何をしているのか？

直感的には「関連する情報に注目する」機構ですが、その本質を数式で捉えると別の景色が見えてきます。NeurIPS 2023で発表されたPrimal-Attentionは、この問いに「非対称カーネルのSVD（特異値分解）」という答えを与えました。

■ Self-attentionの数学的実体

Query Qと Key Kの内積でAttention重みを計算し、Value Vに適用する。この操作は、Q・K^Tというカーネル行列を介した写像として解釈できます。しかし従来のカーネル理論は「対称カーネル」を前提としており、Q≠Kという非対称性を正面から扱っていませんでした。

この理論と実装のズレが、最適化の非効率や計算量O(N²)の壁につながっていたのです。

■ 非対称カーネルSVDという視点

Primal-Attentionは「注意出力の投影分散を最大化する」最適化問題として自己注意を再定式化します。非対称カーネルに対してSVDを適用することで、QueryとKeyそれぞれに対応する左右特異ベクトルを導出。

重要な数学的発見として、KKT条件（最適性の必要十分条件）において目的関数がゼロになることが証明されました。これにより、複雑なSVD計算を行わずとも、正則化損失の最小化だけで低ランク性を自然に獲得できます。

■ なぜこれが重要か

計算量がO(N²)からO(Nps)に削減（p:特徴次元、s:投影方向数）。カーネル行列を陽に計算せず、原始空間（primal space）の特徴マップで直接投影することで効率化を実現しています。

Long-Range ArenaベンチマークでPathfinderタスクが82.2%→86.3%に改善、UEA時系列分類ではメモリ1.7倍効率化・実行時間1.3倍高速化を達成。

■ 実務への示唆

数学的に「自己注意とは何か」を問い直すことで、より効率的なアーキテクチャが導かれた好例です。長系列処理が必要なタスク（時系列予測、文書理解など）で特に有効。カーネル理論とTransformerの交差点に、まだ掘るべき鉱脈がありそうです。

[Yu @MYusan72]

🫨

[IPOナビ @IPO_Navigator]

投資銀行のピッチデック作成やデューデリジェンスを AI エージェントで自動化する Model ML が FT Partners 主導で7,500万ドルの Series A を調達、累計8,700万ドルに

とうとう投資銀行部門の業務がAIに食われるかもしれません。金融機関の方、ご覧ください。

https://t.co/6L7QtUIL6R

[Yu @MYusan72]

🤯

[unusual_whales @unusual_whales]

Google ’s, $GOOGL, AI infrastructure boss told employees at an all-hands meeting that the company has to double its compute capacity every six months in order to meet demand for artificial intelligence services, per CNBC

[ぬこぬこ / NUKO 🇯🇵 @nukonuko]

ヤン・ルカン氏が起業のため退職予定

彼は Meta のチーフ AI サイエンティストで畳み込みニューラルネットワーク（CNN）の提唱者。現在は資金調達の準備中。Scale AI 前 CEO アレクサンダー・ワン氏が Superintelligence Labs に採用、ルカン氏の報告先が変更されたため。
https://t.co/c1FWmk2nu2

[Chris Brunet @chrisbrunet]

🚨Breaking: @Harvard just announced massive cuts to dozens of its PhD programs, citing “financial pressure.”

- Science PhD admissions reduced by more than 75%
- Arts & Humanities reduced by about 60%
- Social Sciences by 50–70%
- History by 60%
- Biology by 75%
- The German department will lose all PhD seats
- Sociology from six PhD students to zero

[Yu @MYusan72]

🤯🤯

[たけぞう @noatake1127]

OpenAI、数十億ドル規模のチップ取引でAMD株10%取得を目指す