じゅん3

Phasegate開発者｜AIエージェントの暴走を0.5秒で止める品質防御キット
設計意図を守りながらAI実装を加速する実験とツールを発信中
京都｜Local LLM

[じゅん3 @jun3_jpn]

@nonnbiri_maru @UtaAoya だいぶ古いですが中古m1 max MacBook Pro 64GB RAMも悪く無いですよ！
20万ぐらいの割に27Bぐらいまでなら結構動きます

[じゅん3 @jun3_jpn]

実はスキル自体の問題というよりはモデルごとに最適なスキルの形、パターンが違うという根本の問題があるのよね

[Mr. Buzzoni @polydao]

A KOREAN PHD STUDENT PARSED 7,944 CLAUDE CODE SKILLS FROM GITHUB AND FOUND 33% MAKE YOUR AGENT WORSE THAN NO SKILL AT ALL

most public skills bloat the prompt and drift the model off task without warning

the real cheat code right now isn't the skill count - it's wrapping the filtered stack in a loop:

> https://t.co/0Hq2Bmgyug vault - only your curated, verified skills, stored as plain markdown

> Hermes agent - the loop itself: runs, checks the result, logs errors, retries until it passes
https://t.co/81gvG0qt3l

> Claude Opus 5 - the reasoning engine driving that loop end to end
https://t.co/iuGgDmDdZ8

solo builders are running this exact setup to sell:

> verified skill vaults to local businesses
> backend integrations 5x faster than a full team
> setup fees for agents that actually pass their own checks

the skill count was never the flex - the stop condition is

[じゅん3 @jun3_jpn]

Local LLMで遊びたいけどそんなにお金かけられないというそこの君
M1 Max 64GBメモリを積んだMacbook proを中古で漁ってみて

このご時世に20万でQuen3.6のMoEモデルが100〜150tok/sで動くから

性能が低い？大丈夫ハーネスガチれば

[じゅん3 @jun3_jpn]

@L_go_mrk phone-harness、これはヤバいですね…。
実機操作まで行くと、暴走したときの影響も大きくなるので、
ガードレールの重要性が一段上がりそうです。

[じゅん3 @jun3_jpn]

@masahirochaen 案外ベストプラクティス知らずに使ってること多かったりするから需要ありそう

実はskillやハーネスはモデルごとに作らなきゃいけないってこともあまり知られてないので啓蒙したい

[じゅん3 @jun3_jpn]

詳細データと考察はこちらです
https://t.co/Mq2ivNGaRJ

[じゅん3 @jun3_jpn]

skillを厚くすれば強くなる、は半分ウソだった。

同じ改修で
・Sonnet　→　+8
・最上位モデル　→　−4

盲検128組で検証した結果、
全モデル共通の「正解の構成」は無かった。

どのモデルでも勝ったのは
手順でもルールでもなく
「そのモデルが知らない事実」だけ。

この結果、あなたはどう感じますか？
同じ傾向が出た人、教えてください。

[じゅん3 @jun3_jpn]

Local LLM目的で最もコスパ良く一つだけハードを買うならこれな気がする

M3 Max 128GB RAM MacBook Pro

[じゅん3 @jun3_jpn]

M3 maxかM5 Maxの128GB RAM macbook proを買うかまじで悩む…

推論速度は1.5倍ぐらい違うが出来ることはそんな変わらん…が圧倒的に3が安い

正直MoE使ったり設定側の工夫で速度上がるしな…

M3とSparkを一緒に買うか

[じゅん3 @jun3_jpn]

@wmoto_ai す、すごい。今年は本格的にローカルの時代になってきましたね

[じゅん3 @jun3_jpn]

https://t.co/5dmWHLgWJj

[じゅん3 @jun3_jpn]

skillを厚くすれば強くなる、は半分ウソだった。 https://t.co/HrFrCdVvH1

[じゅん3 @jun3_jpn]

これまさに自分がやりたかったやつやん！
ハーネスでどれだけモデルの性能改善できるのか検証してまた報告します

でも今んとこ検証結果的にモデルによってハーネスやスキルは毒にも薬にもなるんだよな…

この前記事書いたから下に載せとく⇩

[Poetiq @poetiq_ai]

Recursive self-improvement is here.

Most of the field is still debating when it will arrive. At Poetiq, we have been watching it work for months.

That’s how we've beaten every benchmark that we tried.

[じゅん3 @jun3_jpn]

@Tono_Ken3 こ、これは安い…のですか？？

[じゅん3 @jun3_jpn]

@commte 作業はAI君任せでしたが面白い発見でした…！

[じゅん3 @jun3_jpn]

これ、自分の環境でも数字で出ました。
自作レビューskillを盲検128組でA/Bしたら、合否ルール込みはSonnetで+8、最上位帯だと−4。ルールを1つ外したら+4に反転。
「消すと化ける」かどうかはモデル帯で真逆になるみたいです

[コムテ @commte]

Opus 5、既存スキルを全消しすると化ける

1週間ぶっ通しで検証したレポートがオモロイ

- 既存のスキルやプラグインと噛み合わず、指示に反論して作業を終える前に止まる
- 全部消してゼロから組み直したら劇的に改善して、ひらめきすら見せた
- 思考レベルは低めの方が結果がいい。速さが欲しくて Sonnet に逃げるな、低い思考を試せ
- 後方互換を壊すモデルなので、ワークフローを作り込んでる人ほど注意

前のモデル用に積み上げた足場が、重りになるってことやね

[じゅん3 @jun3_jpn]

これ入れたらAIのタスク割り振りが激変した

複数AIのusageがメニューバーで一目でわかる OpenUsageがめっちゃ良い。
残量見て即判断できるの快適すぎる 無料OSS / macOS

https://t.co/f6WTQw9Xnd

[じゅん3 @jun3_jpn]

skillを厚くすれば強くなる、は半分ウソだった。 https://t.co/HrFrCdVvH1

[じゅん3 @jun3_jpn]

全Maxユーザー

「知ってた❤️」

[Claude @claudeai]

Beginning July 20, Claude Fable 5 will be included in all Max and Team Premium plans, at 50% of limits.

Pro and Team Standard users will continue to have access to Fable via usage credits, and will receive a one-time $100 credit.

Demand for Fable has been challenging to predict, which is why we rolled it out to subscription plans in stages, extending access several times as we secured additional capacity.

[じゅん3 @jun3_jpn]

これベースで1ヶ月ゴリゴリ実験してたら本当に有効なskillsの型が見えてきたら記事作ろう
無意味なskillsと無意味なハーネスの境界が綺麗に見えた

[じゅん3 @jun3_jpn]

我が家のミュトスさんは帰る前にローカルLLMをミュトスに進化させるための設計図を遺していった…

…やるか

[じゅん3 @jun3_jpn]

これが成立するのはシンプルなチャットボットのみでエージェントにするといい感じに崩壊して使い物にならなくなるんよな…

[t.toda @Trtd6Trtd]

https://t.co/AQL7lvp9HT

LocalLLM、素の性能はダメダメだが、RAGさせたらフロンティアモデルとそんなに差がなかったよ、というReddit記事

エンプラとかのFAQはもうLocal LLMでもいいのかも