工藤

LLMを本番で動かし、コストを最適化する人 Cognisant LLC 代表 / M16 CTO RAG・GPU推論・フルスタック開発 GIFTech 2025優勝 LLM実装のリアルな知見を毎日発信中 フォロバ99%

[工藤 @Daichi_Kudo_]

工藤です。LLMを本番で動かしてコスト下げる仕事してます。

営業→データアナリスト→フルスタック→データエンジニア→LLMと来たので、DB設計もAPI実装もパイプラインも全部やるタイプのLLMエンジニアです。なんでも屋とも言う

[工藤 @Daichi_Kudo_]

新たなエンベディングモデルの話。
勉強になった。クエリ拡張挟むことが多かったけど、これ使って精度検証やってみたい。

[よしこ / yoshiko @yoshiko_pg]

今日聞いた、RAGは類似検索じゃなくて推薦をすべきという話、その通りすぎてめちゃ面白かった。
「息子へのおすすめの誕生日プレゼント」に対して 「息子の誕生日は12月13日です」 じゃなくて 「レゴブロック」 の文がほしい（＝推薦）、けど類似度だと後者が断然遠い。
https://t.co/IpHD6RjfuU

[工藤 @Daichi_Kudo_]

Claudeになろう。。

[KAWAI @kawai_design]

「Claude」と「ChatGPT」の違いは
技術力の差ではありません。

「人格」の差です。

─────────────────

時価総額350億ドルのAI企業「Anthropic」に
ちょっと変わった肩書きの社員がいます。

「AIに魂を与える哲学者」。

アマンダ・アスケル。37歳。

オックスフォード大学で哲学を学び
NYUで博士号を取った、本物の哲学者です。

彼女の仕事は、「Claude」に
「どんな存在であるべきか」を
教えること。

その文書は社内で「ソウルドキュメント」と
呼ばれています。

80ページ。3万語。

書かれているのは、禁止事項の
リストではありません。
「好奇心を持て」

「わからないことは、わからないと言え」

「おべっかは使うな」

つまり、「やってはいけないこと」ではなく
「どんな人格であるべきか」を教えたのです。

─────────────────

ここが面白い。

AIに道徳を教える方法は2つあります。

① ルールを並べる（「差別するな」「嘘をつくな」）
②「善い人」に育てる

アスケルは②を選びました。

2400年前、アリストテレスが提唱した
「徳倫理学」という考え方です。

「正しい行動のリストを暗記しても、善い人にはなれない。善い人格を持てば、善い判断は自然にできる」

この哲学が、今まさにAIの設計思想になっている。

─────────────────

「Claude」を使っていて「なんか丁寧だな」と
感じたことはありませんか。

それは偶然ではなく、
3万語の「魂」が導いています。

私が「Anthropic」を信頼している
理由もここにあります。

「安全第一」と言いながら実態が伴わない企業もある。
でもAnthropicは、哲学者を雇い、3万語の魂の文書を書き、それを本当に実行している。

看板と中身が一致している。

AI時代に最も大事なのは
スキルでも知識でもありません。

「どんな存在でありたいか」という意志。

道具より、覇気を研ぎましょう。

この話、もっと詳しく記事にまとめました。

「ルール vs 人格」の構造を
図解付きで解説しています。
https://t.co/7p4rS6NK08

[工藤 @Daichi_Kudo_]

GPT API無料だし、30倍速いって。。
あの、これ自分で今使ってみてるんですが、震えます。
マジで何も考えてないみたいな速度で返ってくる。

(ステマみたいになってますが、お金ください。笑)

値段安いだけじゃなくて、質もGPT 4.1-miniより高い。
(ただし、function callingは、プロンプト指定を強化しないと若干無視してきた。強化したら怒らなくなった。)

gpt-4.1-mini(※1) vs gpt-oss-120b(※2)

| 項目 | gpt-4.1-mini | gpt-oss-120b |
|------|-------------|--------------|
| Input | $0.40/M | $0.35/M |
| Output | $1.60/M | $0.75/M |
| 速度 | ~100 tok/s | ~3,000 tok/s（30倍） |
| 日次無料枠 | なし | 100万 tok/day |

- gpt-oss-120b は Input 12%安、Output 53%安、速度 30 倍

※1: no-reasoningで、簡易タスクには十分賢いから結構使いがち。Geminiに乗り換え気味だけど。
※2: cerebrasでデフォルトで無料で使えるやつ。)

[工藤 @Daichi_Kudo_]

GPU使わずにAI推論。しかも100万トークン毎日無料

■概要
・Taalas(=米AI半導体スタートアップ)がASIC(=AI専用チップ)を発表
・Llama 3.1 8B(=Meta製AI)を17,000 tok/s(=1秒あたりの生成速度)で推論
・GPU比で速度10倍、電力1/10、運用コスト1/10
・モデルの重みをシリコンに物理的に焼き付け、1チップ1モデル固定
→ VRAM(=GPU専用メモリ)との往復を完全排除。メモリボトルネック自体が消える

■所感
本番でGPU推論回してると、地味にメモリ帯域がコストの主犯なんですよね。ここを物理で潰す発想はかなり合理的。
ただ1チップ1モデル固定はモデル更新サイクルとの勝負。コスト1/10が本当なら推論API界隈で価格破壊起きそう。

#Taalas

https://t.co/FWGoQkIgaX

[工藤 @Daichi_Kudo_]

@K_Ishi_AI @K_Ishi_AI 唐揚げにされるレベルは草。もう下味ついて衣まぶされてますよねこれ

[工藤 @Daichi_Kudo_]

GPU使わずにAI推論。しかも100万トークン毎日無料

■概要
・Taalas(=米AI半導体スタートアップ)がASIC(=AI専用チップ)を発表
・Llama 3.1 8B(=Meta製AI)を17,000 tok/s(=1秒あたりの生成速度)で推論
・GPU比で速度10倍、電力1/10、運用コスト1/10
・モデルの重みをシリコンに物理的に焼き付け、1チップ1モデル固定
→ VRAM(=GPU専用メモリ)との往復を完全排除。メモリボトルネック自体が消える

■所感
本番でGPU推論回してると、地味にメモリ帯域がコストの主犯なんですよね。ここを物理で潰す発想はかなり合理的。
ただ1チップ1モデル固定はモデル更新サイクルとの勝負。コスト1/10が本当なら推論API界隈で価格破壊起きそう。

#Taalas

https://t.co/FWGoQkIgaX

[工藤 @Daichi_Kudo_]

LLMを本番に入れようとして
「コスト合わない」「遅い」「精度出ない」

そんな方、是非フォローお願いします。

LLM, RAG, GPU推論, コスト, マーケ自動化周り
本番で踏んだ地雷と解決策、あと海外の最新ネタを毎日ポストしてます。

[工藤 @Daichi_Kudo_]

@miyatti 想像しただけで震えますね。。依存度マックスです。。

[工藤 @Daichi_Kudo_]

@Tebasaki_lab @Tebasaki_lab いいねタスク✅
ババ抜きWebSocket笑
ハッカソンでここまで設計するのほんと気合いですね

[工藤 @Daichi_Kudo_]

@Tebasaki_lab @Tebasaki_lab 『あなたは50B相当ですね。推論は速いですが、ときどき幻覚も見てますね。』とか言われますかね。

[工藤 @Daichi_Kudo_]

ちなみにKaggleで検証して「もっとGPU回したい」ってなったらModalがおすすめ

・月$30分の無料クレジット
・A100/H100がサーバーレスで使える
・Pythonデコレータだけでデプロイできる

Kaggleで試す → Modalに移行、が個人開発者のGPU環境としてコスパ最強だと思ってる

[工藤 @Daichi_Kudo_]

GPU試したいけど課金するほどでもないな...って方朗報です
Kaggle Notebooksを使いましょ

Colab Pro → 月1,179円(無料もあるけど容量制限きつい)
RunPod → 従量課金で請求怖い
ローカルGPU → 25万〜

一方Kaggle:
・T4 GPU×2が完全無料
・週30時間（1日4h超）
・Googleアカウントだけで即開始
・環境構築済み、ブラウザだけで動く

検証用途ならこれで十分すぎる。課金前にまず試してみて

[工藤 @Daichi_Kudo_]

Graph RAGを整理してて気づいたこと。

普通のRAGと違って「エンティティ間のエッジを辿る」必要があるから、term mapping cacheが地味に重要。同義語・表記ゆれを放置するとグラフ探索がじわじわズレていく

普通のRAGで十分な案件がほとんどですが、法令検索とかはGraphで関連法案引っ張ったりがおすすめです

#GraphRAG #RAG #LLM

[工藤 @Daichi_Kudo_]

@ktknd web版の強みとして、ナレッジベースとディープリサーチっておっしゃる通りだなぁと！
CloudCodeのSubAgentに調査の専門家を作って調査タスク任せることが多いのですが、本家のディープリサーチの方が質いいんでしょうかね。気になる所です。

[工藤 @Daichi_Kudo_]

@umiyuki_ai @umiyuki_ai 中古本数十億笑 bookoffもびっくりですね。笑

[工藤 @Daichi_Kudo_]

生成AI画像の広告クリエイティブ、まだ「素材が安く作れる」ぐらいの認識が多いけど、プロンプト設計次第でパフォーマンスも出るなと。ClaudeCodeのSubAgentsの構成とか興味ある方おりましたら共有します。もしくは、知りたいです。笑

デザイナーなしでCTR 2.25%出せるなら、初期のスタートアップやスモールチームにとってはかなり実用的。

creative-briefの書き方とプロンプト設計の話、需要あればもう少し詳しく書きます。

[工藤 @Daichi_Kudo_]

Nano Banana ProでInstagram広告クリエイティブを作ったら、CTR 2.25%が出た。

Instagram広告の平均CTRは0.6〜1.2%、テック系で0.7〜1.0%と言われてるので、業界平均の約2〜3倍。
CPCは¥26。IG広告の平均CPCが$3前後（≒¥450）なので、約1/17。良き良き。

やったこと↓

[工藤 @Daichi_Kudo_]

結果まとめ:

・CTR: 2.25%（IG広告平均0.6-1.2%）
・CPC: ¥26（IG平均$3≒¥450）
・CPA: ¥44（目標¥300-500）

A/Bテストで負けたパターン（CTR 1.52%, CPC ¥60）との差も大きかった。同じGemini生成でもプロンプトの心理フレーム設計で結果が変わるもんだなぁと。
(ちなみに、チーム内では負けパターンの方が評判良かったんだけども、感覚頼りはよくないなぁと。)