畠山 歓 Kan Hatakeyama

博士(工学)・AI・ロボット・材料研究などをやっています

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

1年ぶりくらいにblogをかきました

- transformerによる知識習得の分析
- 技術文書をclaudeに書かせる際のprompt
などです

[Third Intelligence @third_i_inc]

【Research Blog公開】
Third IntelligenceのHead of AI Development 畠山によるResearch Blogを公開しました。

Transformer系言語モデルにおける知識の定着・忘却過程をテーマに、合成データを用いたアブレーション実験を通して、標準的なモデルの知識習得の過程や課題について分析。必要なデータ量やモデルサイズ、知識の習得と忘却の過程、アーキテクチャ、事前学習の有無が知識獲得に与える影響について詳しく紹介しています。ぜひご覧ください。
https://t.co/rbh2O5OF1U

[山田涼太 | Science Aid CEO @roy29fuku]

ラボラトリーオートメーションのためのベンチマークデータセット「LA-Bench」を公開します🧪

合わせて実験手順生成AIコンペを開催します。賞金総額50万円！

AI技術を科学研究に応用したい方、ぜひご参加ください

https://t.co/ZCe4CpEhWi

#ラボラトリーオートメーション

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

Gpt 5

とりあえず、自分の方が賢い領域はあることがわかり、安心
(化学反応をちゃんと理解してない)
https://t.co/d13CMSHdIS

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

Laboratory Automation Developers Conference 2025 に参加を申し込みました！ https://t.co/xR7LTzRBkt #LADEC2025

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

https://t.co/gps6Adoim8

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

https://t.co/fgmd8vVgLe

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

tokenizerを読み込めず
キャッシュを削除してもダメで､､
と思っていたら､サーバーの方がダウンしてました
(部分的には復旧した模様) ライフライン｡

[kalomaze @kalomaze]

huggingface down for anyone else?

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

第44回無機高分子シンポジウム
2025/07/18 (金) 東京理科大学　神楽坂キャンパス
https://t.co/NZKK9u5sLz
で発表させていただきます｡

今年度は､主として会社の立ち上げ・研究開発に専念しているので､数少ない対外講演の機会の一つ?となる見込みです｡

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

discordの方々などに協力していただきながら仕上げることができました｡4月以降はなかなか時間が取れませんでしたが､まずは無事にpreprintまでこぎつけられて良かったです｡

https://t.co/vcbxC11QPo

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

某件で昨年度よりコツコツ進めていた､基盤モデル・ラボラトリーオートメーション・化学/材料実験関連のperspectiveです｡

https://t.co/I56Qvr3pw2

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

某件で昨年度よりコツコツ進めていた､基盤モデル・ラボラトリーオートメーション・化学/材料実験関連のperspectiveです｡

https://t.co/I56Qvr3pw2

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

論点

・人間が判別できる知能の水準を超えたのか､あるいは今のアーキテクチャの限界が見えているのか
・(ほぼ)超知能として､新たな科学的発見をすること､という定義

[d @d_1d2d]

サム・アルトマン最新インタビュー：

・GPT-5は今年の夏頃
・GPT-5とGPT-4.5の違いは見分けられないかも
・AIが新たな科学的発見をすれば、それはほぼ超知能
・AGI実現後、OpenAIで働く人は増える

スレッドにまとめます↓

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

プレス内容より抜粋
「新たなAIの研究開発を加速させ、AGI（汎用人工知能）の確立とグローバル市場での競争に挑んでまいります。」

[Third Intelligence @third_i_inc]

【設立のお知らせ】AI研究開発企業であるThird Intelligenceは、これまで松尾研究所にて推進してきた新たなAI開発をカーブアウトする形で設立され、このたびAI研究者や開発者を中心に積極採用を開始することをお知らせいたします。

詳細はこちら https://t.co/GlCe9xF8xE

[シェイン・グウ @shanegJP]

AI Scientistにより、失明の大きな原因である萎縮型加齢黄斑変性症の新薬候補「Ripasudil」が発見された。実験と一部の論文執筆を除き、仮説生成から科学的知見の発見までをAIが成し遂げた。

これが本当の社会の役立つAI Scientist。論文やPRの価値は少なく誰でもプロンプトでできる。

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

生存報告
https://t.co/ifqKsEGFXd

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

化学・材料研究でよく使われるベイズ最適化からllm にシフトするパラダイムを想像します

[2504.06006] Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? https://t.co/KWhlQhty6a

[Null-C2 @GOROman]

Cline が VSCode のターミナルをちゃんと参照してくれない問題あったけど、コレで治った。このターミナルの出力をAIが参照してくれるのがキモ。
↓
https://t.co/I9uQ0VJGHi

[MK@LLM Researcher @yukimasakiyu]

OpenAIのo1、o1 pro、o3、o3-miniの性能の比較をしてみました。

◆基本性能
o3 (high) >>>>> o3 (medium) >>> o3 (low) >> o1 pro > o1 >>> o3-mini (high) >> o3-mini (medium) > o3-mini (low)

ただし、タスクや条件によって順位が変動する。

1. 複雑な推論を必要とするタスク：
o3 (high) >>>>> o3 (medium) >>> o3 (low) >> o1 pro > o1 >>> o3-mini (high) >> o3-mini (medium) > o3-mini (low)

2. プログラミングタスク：
o3 (high) >>>> o3 (medium) >>> o3 (low) >> o3-mini (high) > o3-mini (medium) > o1 pro > o1 > o3-mini (low)

3. 数学的問題解決：
o3 (high) >>>>> o3 (medium) >>> o3 (low) >> o1 pro > o1 > o3-mini (high) > o3-mini (medium) > o3-mini (low)

4. 単純なタスクの場合：
o3-mini (low) ≈ o1 > o3-mini (medium) > o3-mini (high) > o3 (low) > o3 (medium) > o3 (high) > o1 pro

5. 計算コストを重視する場合：
o3-mini (low) > o3-mini (medium) > o3-mini (high) > o1 > o3 (low) > o3 (medium) > o3 (high) > o1 pro

6. 応答速度を重視する場合：
o3-mini (low) >>> o3-mini (medium) >> o3-mini (high) > o1 > o3 (low) > o3 (medium) > o3 (high) > o1 pro

◆この順位付けの根拠となる定量的なスコア

1. ARC-AGIベンチマーク：
o3 (high): 87.5%
o3 (low): 75.7%
o1: 最大32%

2. コーディング（Codeforces ELOスコア）：
o3: 2727
o1: 1891
o3-mini (high): 2073
o3-mini (medium): 1997
o3-mini (low): 1697

3. 数学（AIME 2024正答率）：
o3: 96.7%
o1: 83.3%
o3-mini (high): 83.6%
o3-mini (medium): 78.2%
o3-mini (low): 61.0%[2][9]

4. 科学（GPQA Diamond正答率）：
o3: 87.7%
o1: 78.0%

5. EpochAI Frontier Mathベンチマーク：
o3: 25.2%
o1: 2%

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

https://t.co/ioGZmMJG0U

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

今更把握しました

自分が一生かかっても受からなそうな試験

[日本経済新聞 電子版（日経電子版） @nikkei]

米中の新型AIが東大理3｢合格｣　英語で強み、数学は苦戦
https://t.co/ekTxoG5Huc

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

アンパンマンの遺書
https://t.co/NJGNv7yXNW
という本がaudible で出ていたので聞いています。

朗読(特に会話部分)が上手い、と思って調べたら、
バイキンマンの声優をされている方とのことで、感慨