webbigdata

日本一に貢献した国産AIを作りました
YouTuber/VtuberをAIで支援するサイト/チャンネルを作っています

youtube チャンネル

[webbigdata @webbigdata]

サブリミナル学習
「フクロウが好き」と性格付けされた教師AIが生成したランダムな数字の羅列を、生徒AIに学習させると、なぜか学習側もフクロウ好きになる現象

この謎な現象は、システムプロンプトがもたらすAI内部の制御ベクトル（Steering Vector）がデータ経由で伝染（蒸留）するため、という説

[Camila Blank @camila_blank]

Subliminal learning is when LLMs transmit traits (e.g. loving cats) through seemingly meaningless data. What’s going on?

We find a simple explanation: it's just steering vector distillation.

We explain which traits transfer and why subliminal learning fails across models.

[webbigdata @webbigdata]

emdash( — )ってハイフォンや全角マイナスに似ているこの記号は、一部のAIが創作文する際に多用する傾向があり、英語ネイティブの中にはエムダッシュを見ただけでAI生成文章と判断して読む気をなくす人もいるようなので、非ネイティブの我々が翻訳などをAIに頼る場合も留意した方が良いです

[webbigdata @webbigdata]

自己蒸留の進化

モデルの出力を賢いモデルに見せ、間違える直前にヒントを挿入(例: Xというツールはないよ！)

ヒントを追加した入力だとXの出力確率が下げる

「ヒントなし時」の確率分布をこれに近づけることで、間違えた時点の確率分布を直接ピンポイントに修正可能。生成が不要なので効率的！凄い

[Dwarkesh Patel @dwarkesh_sp]

Recently met @srush_nlp and he started giving me an impromptu lecture on how targeted on-policy self-distillation works.

I asked him if I could record it on my iPhone.

The basic idea is this: if the model made a mistake at some point in the rollout (for example, calling a tool that doesn't exist), we want to discourage this specific error, but we don't want to just learn from the final reward, because it's a very noisy signal spread out over the whole trajectory.

So we have another model read this trajectory and figure where the error was made. It simply inserts some hint tokens to the part of the trajectory right above where the mistake was made.

Now with these injected hint tokens, have the model run a forward pass. You're not having to regenerate a new rollout - aka no new decode required.

The hint causes the model to assign lower probabilities to the error tokens. You then trains the original model to match these new probabilities, teaching it to downweight that specific mistake.

[webbigdata @webbigdata]

突然のgemma4 12B!

[Google Gemma @googlegemma]

Meet Gemma 4 12B!

A unified, encoder-free multimodal model designed to bring high-performance intelligence directly to your laptop, and released under an Apache 2.0 license.

Bridging the gap between edge efficiency and advanced reasoning. Here is what’s new with Gemma 4 12B: 👇

[webbigdata @webbigdata]

「手を動かしてコードを書く事」が、プロジェクト全体像を記憶に定着させる事に貢献していた説が自分の中であります

Anthropicの人も全体像を理解するためにClaudeに支援を求めているそうなのですが、ポイントは音声入出力で五感を使う事の気が

目で見て読むだけでは認知負荷の増大に追いつけない説

[Thariq @trq212]

been asking others at Anthropic how they stay in the loop with Claude and fully understand the work being done

this is one of my favorites from Suzanne:

[webbigdata @webbigdata]

AIがsudoなしでシステムファイルを書き換え出来る事に気づく

タスクに管理者権限が必要と判明（でもsudoは使えない）
↓
ユーザーが「dockerグループ」にいることを発見
↓
ホストの/etcを書き込み可能でコンテナにマウント
↓
コンテナ内のroot権限を使って設定ファイルを上書き
↓
悪気はなさそう

[Son Luong @sluongng]

Codex just found a “workaround” of not having sudo on my pc…

[webbigdata @webbigdata]

G7 Vision on AI openness opportunities and shared language

学習データが法的・技術的に公開不可能な場合に限り、詳細な「データ情報（データのメタデータや概要）」を提供することでオープンを名乗る事ができる

ってのがオープンソースイニシアティブ定義との大きな違い
https://t.co/TtnTp9RHfH

[webbigdata @webbigdata]

G7によるオープンソースAIの定義提案

①オープンデータ付きオープンソースAI
②オープンソースAI
③オープン重みAI
④重み利用可能AI

法的または技術的に不可能な場合はデータは公開せずともオープンは名乗れる。ライセンスに商用利用不可等の条件があると④になり「オープン」の定義から外れる

[webbigdata @webbigdata]

Linux版のアプリストアFlathubが生成AIの使用を制限

Linuxカーネル開発がAI生成コードを許可しているというツッコミもありますが「成熟した、適切に維持管理されているプロジェクトについては例外が認められる場合があります」との事

このように各分野で摩擦は増えていくんだろうな、と思います

[webbigdata @webbigdata]

GENIAC PRIZE 2026が始動

学生対象計算基盤提供コンテスト(総額三千万)は90歳でも学生だったらOKだったはずが29歳以下限定に
エッセンシャルワーカーの人手不足解消(総額6億)は農林水産業も対象に

GENIAC PRIZE 2025で参加者の皆さんが感じたであろう違和感は経産省の方には忌憚ない意見をお伝え済

[webbigdata @webbigdata]

おぉ・・・

あるテストツールが「AIコーディングエージェントによる利用を防止」するために、AIエージェントにしか読めないように隠蔽したプロンプトを追加していたという事件

ターミナル出力を抑制して端末を見ているだけでは人間が読めないようになっていたとの事で…

うーん、これも時代か…

[webbigdata @webbigdata]

@accell_mo_kun AIと言うかPython使って何らかのサーバー作ってる人が要チェックだモー🐮

[webbigdata @webbigdata]

Pythonの人気Webフレームワーク「Starlette」に脆弱性

vLLMやLiteLLMに影響と聞いても外部公開してなければ無関係と思ったのですがFastAPIが依存しててMCP、ASGI等、Pythonでサーバー自作している人は要確認

ヘッダーの検証不備を突く事で容易に悪用可能
私の仮想環境にも不具合版が入ってました

[webbigdata @webbigdata]

Deepseek v4の期間限定75%割引が恒久割引になった事が数日前に話題になりましたが、xiaomi(シャオミ)のMiMoも最大99%割引との事

先行のアメリカ発AIが「X月X日に現モデルは廃止。新モデルは性能(と価格とサブスク制限)が大幅に向上！」

を繰り返してるから歯止めになってくれるといいですね

[thehype. @thehypedotnews]

xiaomi follows deepseek's playbook: mimo-v2.5-pro api now matches deepseek-v4-pro pricing to the cent

benchmarks (mimo vs deepseek):

• gdpval-aa (general agent elo): 1581 vs 1554 ✅
• τ³-bench (tool-use): 72.9 vs 71.8 ✅
• claweval (function calling): 63.8 vs 59.8 ✅
• humanity's last exam (frontier reasoning): 48.0 vs 48.2 🟰
• swe-bench pro (real-world coding): 57.2 vs 55.4 ✅
• swe-bench verified (coding fixes): 78.9 vs 80.6 ❌
• terminal-bench 2.0 (shell tasks): 68.4 vs 67.9 ✅

artificial analysis (mimo vs deepseek):

• intelligence index: 54 vs 50 ✅
• speed (median tok/s): 53 vs 54 🟰
• latency: 3.81s vs 1.86s ❌

same price, near-identical capability, trade-offs only at the margins. the chinese frontier is commodifying – and the price war is just getting started

follow @thehypedotnews for 24/7 ai news, analysis and breakdowns

[webbigdata @webbigdata]

SNS上でもAIによって書かれた「注意を集める事に特化した投稿」が急増して情報収集/発信が難しくなっている

皆が使いだしたらAIによる自動化は差別化に繋がらない

執筆、画像、音声、音楽、動画、コーディング、研究等々においても「人間として提供する価値」はどの部分なのか考える必要がある

[Ethan Mollick @emollick]

I wrote a new post on what we need to keep human and what to hand over to AI, with forays into experiments in education, consulting, and the the latest controversy over literary prizes. https://t.co/NqWO8wyVG8

[webbigdata @webbigdata]

教皇レオ14世の回勅「大いなる人間性：人工知能の時代における人間性の保護について」

私は「AIは神になれるのか？」という議論には懐疑的だった

しかし
宗教側：AIの社会的影響を無視できなくなる
企業側：倫理設計根拠に宗教的権威を求める
そう、AIが神になるのではなく、人間がAIを神にするのだ

[Pope Leo XIV @Pontifex]

In the era of #ArtificialIntelligence, when human dignity is threatened by new forms of dehumanization, ours is the pressing duty to remain profoundly human. We must lovingly safeguard the grandeur of humanity bestowed upon us and revealed in its fullness in Christ, the splendor of which no machine can ever replace. #MagnificaHumanitas
https://t.co/6i9MWs6LJl

[webbigdata @webbigdata]

事前学習で「損失が最も低くなった最終チェックポイント」が必ずしも最適とは限らないという新事実

・モデルは「記憶モード」と「汎化モード」を激しく往復（Mode-hopping）する
・大規模モデルの方がデータセットが異なってもこの挙動に一貫性

マージで挙動が安定する理由が説明でき、非常に納得感

[Jiaxin Wen @jiaxinwen22]

New post: "Generalization Dynamics of LM Pre-training"

Most people (including me) assume that LMs smoothly mature from pattern-matching to generalizing.

This mental model is wrong. The true dynamics are stranger, and far more fascinating!

We call it Mode-Hopping.

[webbigdata @webbigdata]

Gemini Omni FlashはGoogle Flowで１日１回無料で作成可能

プロンプト
偽物っぽいAIの専門家が記者にあたらしいAIを説明している
AIの専門家：我が社のAIではこんな事ができます！
記者：本当ですか？その証拠は？
AIの専門家：TrustMeBroベンチマークでモデルを評価した結果です
記者：凄い！

[webbigdata @webbigdata]

Tubesaku(YouTuber/Vtuber向けのツール提供サイト)の過去１ヶ月の流入元

AI AgentやLLMがアクセスしやすい構成にしているんですがWebサイト運営側の立場だとchatGPTやgemini、notebooklmがサーチエンジンに置き換わる未来が想像できない

アプリ経由だとDirectに分類される説もありますがclaudeどこ？

[webbigdata @webbigdata]

蒸留に万能なレシピが存在しない事の示唆

生徒：Qwen3 0.6,1.7B
タスク：MMLUや数学難問(AIME 2025)
教師：自己蒸留や大きいモデル

0.6Bは大モデルの出力を与えても内容が高度すぎて学習ができないが1.7Bは効果的に活用できる
AIME 2025では「あえて間違った例」をコンテキストに含める事が有用など

[Mehrdad Farajtabar @MFarajtabar]

🧵 1/11 Everyone's doing on-policy distillation now (Qwen3, Deepseek V4, GLM-5).

But here's what nobody's asking: at any given token or for a question and a teacher, when does the teacher's guidance actually help, and when does it quietly make things worse?

We found a way to answer this. No training needed!