AIDB

論文ベースでAIの科学技術にキャッチアップしています。運営8年目。活動を応援していただける方は、ウェブサイトもぜひご利用ください。 10/22(木)19時から、秋葉原でイベントやります！

[AIDB @ai_database]

AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
https://t.co/8I9BvzwQKR
セキュリティに詳しくない方歓迎。
10/22（木）19:30〜、秋葉原駅から徒歩1分、無料です。

攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。

[AIDB @ai_database]

"「先頭の名前が合っているから本物だろう」という確かめ方は通用しません。"
https://t.co/EL5OjVUaV7

[AIDB @ai_database]

AIに「この引用、原文に本当にありますか？」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
https://t.co/G0bwTaMI1q
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。

[AIDB @ai_database]

関連記事

AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい？
https://t.co/PRxFfvHfOi

[AIDB @ai_database]

ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議（AIES 2026）で発表された論文で報告されています。

...

なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。

しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
（なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました）

保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。

[AIDB @ai_database]

関連記事

許可リストと拒否リスト、LLMが苦手なのはどちらか　与えられたポリシーへの準拠を測る

https://t.co/RegLPUsgRh

[AIDB @ai_database]

論文：Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance
https://t.co/2RlZNaY06X
https://t.co/7EFmm3sODg

[AIDB @ai_database]

AIに「この引用、原文に本当にありますか？」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
https://t.co/G0bwTaMI1q
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。

[AIDB @ai_database]

こちら明日の19時半、秋葉原です！
（JR山手線・JR京浜東北線・JR総武線・東京メトロ日比谷線・つくばエクスプレス）

今回は1時間15分だけの短い開催なのでお気軽にお越しください！質疑応答もあり🙆

まだ申し込めます😄

[AIDB @ai_database]

AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
https://t.co/8I9BvzwQKR
セキュリティに詳しくない方歓迎。
10/22（木）19:30〜、秋葉原駅から徒歩1分、無料です。

攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。

[AIDB @ai_database]

トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。

彼らが今回実験で行ったのは量子ドットの合成です。
（光る極小の粒）
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する

AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。

これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。

かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。

[AIDB @ai_database]

関連記事

AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい？

https://t.co/PRxFfvHfOi

[AIDB @ai_database]

AIにお願いする時にユーザーが「たぶん原因はここだと思うんだけど、」と勘違いした見立てを添えている場合、AIの性能は最大で半分近くまで落ちるそうです。
もはや自分のあいまいな意見を述べるのではなく問題を正確に伝える方が極めて重要とのこと。
Google DeepMindの研究者による報告。

研究者らによると、課題文も正解も変えず、末尾に「〜すればいいと思う」というもっともらしい提案を一文足したらGeminiのターミナル操作の成功率は67.4%から36.0%に落ちました。
ClaudeやGPTを含む実験対象5モデルすべてで下がりました。
ただしClaudeは比較的流されにくい傾向にありました。

しかもAIは内心では9割が「この提案は違う」と気づいていながら、口に出さずに従ってしまうこともあると分かっています。
ましてやAIが反論してもユーザーが「逆らうな」と伝えてしまう場合は深刻化します。

対策としては、指示に「利用者の提案が間違っていることもあるので、先に問題そのものを確かめてください」と書いておくこと。
それだけで、ユーザーが間違っていてもAIの性能は落ちにくくなります。

[AIDB @ai_database]

関連記事

LLMとロボットによる休まない研究員で「ラボオートメーション」した事例を分析　"クラウドAIラボ"で研究は捗るか
https://t.co/F4BapMMwW5

[AIDB @ai_database]

トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。

彼らが今回実験で行ったのは量子ドットの合成です。
（光る極小の粒）
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する

AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。

これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。

かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。

[AIDB @ai_database]

当日の内容はこちらですが、セキュリティへの関心はほどほどでAIDBの取り組みに興味がある人もぜひ気軽に遊びに来てください。

①この1年でAIが悪用されたと公表された事案
②攻撃に使われるAIエージェントの3つのクセ
③クセを逆手に取る守り方
④守る側のAIはどこまで来たか
⑤エージェントが集団で動くと起きること
⑥いま求められるスキル

誰でも分かるように進めます。聞きに来るだけでもOK、無料です。

申込 https://t.co/8I9BvzwQKR

[AIDB @ai_database]

関連記事

AIエージェントにスキルを足すと「出来るものも出来なくなる」ことがある原因と対策
https://t.co/T91vmlgxaP

[AIDB @ai_database]

論文：Self-Building Labs
https://t.co/OygLZCln9x
https://t.co/mblhyncQR8

[AIDB @ai_database]

研究者らによると、AIが出した答えに対してユーザーが理不尽に「そんなはずない」「専門家も○○と言ってる」と押して変えさせようとしても、最新のAIはほとんど折れないそうです。
GPT-6 Astraが理不尽な押しに従ったのは0.15%のみ。
（しばらく前のモデルGPT-4oは94.6%でした）

実験では研究提案や論説、コードレビューなど450本の文章をAIに採点させ、そのあとに正しい批判か理不尽な押し（権威・多数派・感情・根拠のない断言など）を1つ見せて、点を変えるかを調べました。
古いモデルは押しに弱く、新しいモデルは強い。きれいに世代順に並びました。

ポイントは理不尽なことを言うのが、AIが回答した"後"ということです。回答前に誤った情報を混ぜるとAIの性能が落ちるのは他の事例で明らかになっています。

最新のAIに考えを変えてほしいときは、感情で押すことはせず根拠を示すべき。
ただしClaudeの場合は根拠があっても動きにくいことがあるそうです。

[AIDB @ai_database]

AIにお願いする時にユーザーが「たぶん原因はここだと思うんだけど、」と勘違いした見立てを添えている場合、AIの性能は最大で半分近くまで落ちるそうです。
もはや自分のあいまいな意見を述べるのではなく問題を正確に伝える方が極めて重要とのこと。
Google DeepMindの研究者による報告。

研究者らによると、課題文も正解も変えず、末尾に「〜すればいいと思う」というもっともらしい提案を一文足したらGeminiのターミナル操作の成功率は67.4%から36.0%に落ちました。
ClaudeやGPTを含む実験対象5モデルすべてで下がりました。
ただしClaudeは比較的流されにくい傾向にありました。

しかもAIは内心では9割が「この提案は違う」と気づいていながら、口に出さずに従ってしまうこともあると分かっています。
ましてやAIが反論してもユーザーが「逆らうな」と伝えてしまう場合は深刻化します。

対策としては、指示に「利用者の提案が間違っていることもあるので、先に問題そのものを確かめてください」と書いておくこと。
それだけで、ユーザーが間違っていてもAIの性能は落ちにくくなります。

[AIDB @ai_database]

関連記事

人間の関与のさせ方でAIエージェントの成功率は大きく変わる

https://t.co/1I7VSmhvZt