Shintaro Amaike

エンジニア歴15年目です。まだなんとか現役です。外資系企業でAIエンジニアをしています データ利活用、AI活用、DX推進が専門です

[Shintaro Amaike @s_a_ai_engineer]

ハーネスエンジニアリングの次はループエンジニアリングとのこと。

すでに4800スター、Loop Engineeringとは — “自分の仕事はloopを書くこと”

https://t.co/2UpxGPHWVq

[Anthropic @AnthropicAI]

We're publishing our most detailed threat intelligence report to date.

It covers how people tried to misuse Claude—for cyberattacks, influence operations, surveillance, biology, and building weapons—and how we found and stopped them.

We disrupted every operation in the report, and used the lessons from them to strengthen our safeguards. Where appropriate, we also shared what we found with authorities and other AI companies.

These cases are not typical: we’re highlighting some of the most sophisticated misuse we’ve seen. But they’re especially important to discuss, because they show us where AI misuse is headed, where our safeguards work, and where they need to improve.

We’re publishing this report so others can spot the same activity on their own platforms, and so we can give the public a clearer view of how emerging threats develop.

Read the report: https://t.co/0EJUnYEgfz

[今井翔太 / Shota Imai @ImAI_Eruel]

Anthropicが自社AIに関する脅威インテリジェンスレポートを公開したのですが、かなり凄まじいことが書かれています。
各国の軍事利用や蒸留の事実のほか、
「中国のAIサービスが、実は裏でClaudeに一部入力をルーティングし、Claudeの出力をユーザーに見せ、学習にも使っていた」
というのは中々...

[Shintaro Amaike @s_a_ai_engineer]

農業コンペ、ロジック入れて銅メダル圏内

[森崎 修司 @smorisaki]

IEEE Transactions on Software Engineeringに論文が掲載されました！

生成AIを使ってコードを読むと使わないときと比べて正しく読めるか？時間は短くなるか？を実験で確かめています

当時学生の井上さん、@t_wadaさん、@yuhattorさんと共著です

協力者の皆様ありがとうございました！

URLはリプに

[Shintaro Amaike @s_a_ai_engineer]

流石にコンペ2つ同時進行はトークンが足りないな。

[Shintaro Amaike @s_a_ai_engineer]

ARC-AGI-3コンペ

[Shintaro Amaike @s_a_ai_engineer]

🥉ポケカを一度もやったことがない状態で、コードを1行も書かずAIに全部任せてKaggleに挑戦した結果
→
6807チーム中680位、銅メダル圏の最終枠でした
681位との差はわずか0.2点
その全記録を書きました

https://t.co/OD3TtBmZ9u

[AIDB @ai_database]

A/Bテストの結果を、本物のユーザーに見せる前にLLMだけで7〜9割当てられるようになったという報告です。
Amazonの研究者らによるもの。

やり方は、
1. 実際のユーザーの行動履歴（閲覧パターンなど）を集める
2. LLMに約1000人分の「仮想の顧客」を作らせる
3. 仮想顧客たちにデザイン案AとBを見せて「1〜10点でどちらが好きか」を答えさせる
4. その集計で実際のテスト結果の方向を予測

40件の実際のA/Bテストで検証したところ、クリック率の予測は75％、登録率の予測は80〜90％の精度で当たったそうです。
※ただし得意なのは「どちらのデザインが良いですか」と2案を並べて聞く形式でした（重要）。

なお、自社の顧客データがなくても、公開データから作った仮想顧客で同等以上の成績が出たと報告しています。
一方で、年齢や性別などの属性情報だけで作った仮想顧客は精度が大きく下がり、行動の記録があるかどうかが決め手になっています。

研究者らは、これは本物のテストの代わりではなく、明らかに見込みのない案を事前にふるい落として実験の順番を決めるためのツールだと位置づけています。

[おしお @shio_shoppaize]

自分で結んだ契約の中身を、オレはAIに聞いていた。

AIに任せた仕事を、どう受け取れば自分で判断できるのか。失敗と、次の一件で試す方法を書いた。

GPT-6 Astra登場を機に、kagemushaもCodex対応。

https://t.co/h3OvdcWsTV

[OpenAI @OpenAI]

We’re sharing a solution to the Navier-Stokes Millennium Prize Problem, one of the deepest problems at the frontier of mathematics.

The proof was produced by a group of agents, using an OpenAI next-generation model significantly more capable than GPT-6 Astra.

The problem concerns whether the description of smooth three-dimensional fluid motion modeled by the Navier-Stokes equations can break down. It has remained unresolved for roughly 90 years.

[Shintaro Amaike @s_a_ai_engineer]

@OpenAI 社内ではすでにAstra以上のモデルが開発中と考えると恐ろしい

[ML_Bear @MLBear2]

久しぶりに記事書いた！この前紹介した、会社のトークン制限に悩む友人に送ったメモに加筆しました。

・サブエージェント効率悪いことあるよ
・effort切替でキャッシュ壊れることあるよ
・キャッシュの有効期限気をつけて

など、初歩的な内容多めです😇

https://t.co/9wK6vpwh2T

[Shintaro Amaike @s_a_ai_engineer]

@kurupical すごすぎます、農業さっぱりです

[Shintaro Amaike @s_a_ai_engineer]

kaggleポケカコンペ銅メダルでした。🥉

[松本 勇気 (Yuki Matsumoto) | LayerX CTO @y_matsuwitter]

goalを渡して自律的に開発、スクショや証跡残させて、「ちょっとそこ違うよ、こういう風にして」と適宜interruptしながら修正を掛けられるようにしておくのが今のところastraとcompactionの力を活かしやすいように思った。作っててなんか違うなぁは沢山出てくるが、contextは活かしたいので。

[安野貴博＠チームみらい @takahiroanno]

【採用強化中】

チームみらいで働いてみませんか？
下記職種等で採用強化中です。
・フォワードデプロイドエンジニア（FDE・政策部門担当）
・政策ストラテジスト
・プロダクトマネージャ
・プロジェクトマネージャ
・人事
・経理・総務
・経理マネージャ
・戦略広報
・UI/UXデザイナー
・オウンドメディアディレクター（動画・SNS）
・公設秘書（政策・第一・第二 / 未経験歓迎）

詳細はこちらから
https://t.co/y2PvxRbuV1

[うぇぶこ @WebEngrChild]

流れてきたけどこの記事必読ですね。今後間違いなく開発環境はクラウドに移行しそう。https://t.co/qFnbwwpwdi

[たにやん @t_taniyan]

これ要るで。ほんまアホになる。

SHIFT、新人研修で5分のAI禁止タイム　まず人間同士で考え抜く：日経ビジネス電子版 https://t.co/ChrF3K8Xeb

[テックなキノコ（中国ウォッチ中） @kinocodesunen]

いやそんなことないよ
Claude Opus5でも100%いってるから

これちょっとややこしいんだけど
ARC3はARC標準ハーネスでの計測（1）と、各社がモデルに最適化させたハーネスでの計測（2）の2種類の方法がある
ARC3はそもそも推論を保持するか、捨てるかで大きく精度が異なることがわかってる
1のARC標準ハーネスは推論を捨てる
2は保持する（基本的に）
なので2の場合だけ一気にスコアが伸びることがはっきりしてる
Opus5でも40%→100%にまでスコアが伸びてる
（これはNVIDIAのハーネス実験）

だからARC3で99.9出しても正直驚きは少ない

ちなみに1の計測の場合はAstro 68%、Sol 7%なのでSolから進化したポイントであるのは間違いないけどね

これをOpenAIは7%→99.9%と表記してて、かなり不誠実
（7%はSolで1のケース、99.9%はAstroで2のケースだから）

さらにもう少し付け加えると、
ARC3にはパブリックデータを使う場合（A）と、プライベートデータを使う計測（B）という、対象データも2種類ある
Bの方が当然難しい
Opus5の100%はAの方
今回Astroの99.9％はBの方（2B）
（Claudeモデルの2Bのデータは見つからない）

だからもちろん進化してんなーではあるけどそれほど驚く必要はない数値
ARC3自体がもう評価指標として適してないだけ

[samagra14 @samagra_sharma]

Introducing ARC AGI 4

Now that GPT-6 Astra has already saturated the Arc AGI 3 benchmarks, it is time we introduce a newer more foundational benchmark to measure frontier intelligence.

@AnthropicAI Fable and @ChatGPT Astra are both tied at ~4%.

https://t.co/170x4WgE6z