Shimo

AI エージェントを作る。 瞑想で心を見る。 AI の時代の判断、責任、著者性、人の注意を探る。

[Shimo @shimo4228]

以前から、Opusの日本語がわかりくいとは度々言っているけど、記事作成の時はそれが顕著に出る。

でもそれが解消するのはOpusの文章をひたすら校正した果てに、私が問いを言語化できた時だけだと気づいた。

AI の文章は、なぜ宙に浮いて感じるのか｜shimo4228 @shimo4228 https://t.co/MRqErupxTj

[Shimo @shimo4228]

8月にAIでやりたいことが枯渇したと言ってたんですけど、あれから色々調べていくうちに、AIにやりたかったことを奪われるという体験に辿り着きました。

https://t.co/ZUt8UFkjqA

[Shimo @shimo4228]

I think I should let go of the mental model behind ADRs.

ADRs carry a mental model that resists overturning past decisions.

I've written an ADR every time I made a decision, and while that gave the model rich context, it also held back its freedom to think.

Current models already lean toward safety and avoid taking risks.

Add the ADR mental model on top of that, and the tendency only gets stronger.

So I'm dropping the ADR format and rewriting all of them as plain decision records, with an instruction telling the model they don't bind future decisions and are simply a record of what was decided before.

It may be just a matter of labels.

But LLMs are very good at identifying what something is, so I think this does more than relabel.

Future observation should bear that out.

[Shimo @shimo4228]

私はここまで100以上積み上げたADRという形をつい先程廃止して単なる記録に変更しました。

なぜなら今のモデルはデフォルトで安全側に判断するからです。

そこにADRのこの決定に反してはいけないというメンタルモデルが重なると、モデルはより一層安全側に判断するようになるからです。

[Kent C. Dodds 🐨 @kentcdodds]

I'm telling you folks, ADRs and primitives are a huge leverage point for getting your agents to build the right thing. I don't have to worry about an agent going against an important architectural decision because they actually do read those and make the right choice.

[Shimo @shimo4228]

気象庁の「晴れ」は雲量2〜8で、雲量8でも晴れになる。

これはカルナップの「解明」の形だ。日常の曖昧な言葉を、目的に合った精密な言葉に置き換える手続きで、「魚」から鯨を外したのもその例。図は、よい置き換えの四つの条件を並べている。

晴れの場合は、厳密さを取って、日常の感覚に似ていることを手放したんだよな。

[Shimo @shimo4228]

条件付き確率は、世界を条件で狭めてから数える操作だ。

図は30日の記録で、皿が空の日に猫が鳴いた割合は0.8、鳴いた日に皿が空だった割合は約0.67。同じ8日でも、どちらで絞るかで分母が変わる。取り違えると「条件の逆転」になる。

ホリスティックな判断は、こういう誤りも感覚の中にすっぽり含んでしまうのかもしれない。印象が積み重なって育つ感覚の中の逆転は、どう見つければいいんだろう。

[Shimo @shimo4228]

見えないものをどう測るか、という話で「操作主義」が出てきた。

概念を測る手続きそのものと見なすと、温度計ごとに別の概念ができるし、測定が間違えることも言えなくなる。図の右は、不完全な道具から始めて、ずれを手がかりに少しずつ直していく見方だ。

心理学みたいな分野は、サイエンスをサイエンスするのに相当苦労しているんだよな。検証を成り立たせるための無理な操作で、その実証に何の意味があるのかという研究が増えてしまう。

[Shimo @shimo4228]

AIを使ってどうやってうまく「書く」か。ライティング用のスキル、レビュアーのサブエージェント、執筆フローを組んで、この半年以上試行錯誤してきた。

でもブレークスルーは「書く」ことになかった。

それはAIにインタビューしてもらうことにあった。

プロのインタビュースキルをディープリサーチして、Claudeが集めた材料をもとに、その時私が何を考え、何を感じたのかを長時間インタビューしてもらった。すると、ほとんど私がインタビュー中に書いたことで構成された記事が出来上がった。

[Shimo @shimo4228]

「概念工学」は、言葉や概念の意味を書き出すだけでなく、良し悪しを評価して、欠陥があれば直そうとする営みだ。

図の左は欠陥の型で、曖昧さ、内部の矛盾、説明に役立たない、人を見えなくする。右は直し方で、意味をずらす、二つに割る、新しく作る。

大乗の立場から見れば、概念を立てて作り直すなんて戯論としてすぐ退けられる。でもだからこそ重要な気がする。

[Shimo @shimo4228]

Once I Could See the Like Counts, I Stopped Saying What I Wanted to Say https://t.co/7UGeAe72BP

[Shimo @shimo4228]

そろそろ「AIで」何かするという主張することをやめるべきかもな。

AIを使うことなんて当然だから、「何をしているか」「何を探求しているか」だけでいい。

[Shimo @shimo4228]

確率という言葉には二つの読み方があります。サイコロを何度も振ったときに出る割合として読む頻度の考え方と、ある人がどれだけ確かだと思っているかとして読む信念の度合いの考え方です。頻度の考え方は一回きりの出来事を扱いにくく、信念の考え方は賭けで測って矛盾しないことを求めます。図の上のコルモゴロフの公理（1933）は計算の決まりだけを定めていて、どちらの読み方もこの決まりを満たします。

[Shimo @shimo4228]

何かを測るとき、数字にどこまで意味があるかは尺度の水準で決まります。図は、心理学者スティーヴンスが分けた四つの水準を階段で示したものです。区別だけの名義尺度、順番も言える順序尺度、間隔が等しい間隔尺度、本当のゼロがあり何倍と言える比率尺度と上がるほど、言えることが増え、意味を変えずに目盛りを付け替えられる範囲（許される変換）は狭まります。たとえば順序尺度の平均は、目盛りの付け方しだいで動いてしまいます。

[Shimo @shimo4228]

AIコーディングを始めてみて気づいたが、ソフトウェアは工学の分野で、「評価し改良する」が大前提になっている。

そこにいちいち「何のために」と問いを挟んでしまうので、私はやはり畑違いなのだろう。

ただ、AIで改良がいくらでも安くできるようになるなら、何のための改良かは最後まで残る問いになる。

これから多くの人がAIコーディングを始めることを考えると、必要な態度だと思った。

[Shimo @shimo4228]

AIで何かを作るということは、必然的にこれまで不可能だったことを超えてスケールしていく。
すると、自分の専門外のところに踏み込まざるを得ない。
例えば、自分の記事のタイトルやプロジェクトのコピーを考えるにしても、専門知識がないのでエージェントの折り畳まれた作業フローとして流れてしまう。
そこで、虚心坦懐にコピーライターは1つのコピーを考えるためにどんなことをするのかとリサーチすると、その膨大なプロセスに圧倒される。
この圧倒されるプロセスこそが大事な気がする。

[Shimo @shimo4228]

Claude Codeの現在ベータ版のProjectsは使い込むとやっぱり色々粗が目立つな。
特にクラウド前提なのでローカル実行との齟齬が出やすい。

またリポジトリと別にProjects固有のプロジェクト指示やファイルといったコンテキストを持つから、元々のClaude Codeのハーネスと食い違いが起きやすい。

結局、普通のClaude Codeセッションでコーディネーターセッション作って、Herdrやクラウドセッション、サブエージェントで実装を投げるみたいなやり方に戻った。

[Shimo @shimo4228]

学習理論の論文とかをよく調べたりするんだけど、最近の論文は旧来の学習方法にとらわれていて、LLM利用に否定的だし、そもそも検証しようとしているLLMの利用方法が受動的で結論自体にも懐疑的になってしまう。

そうなると、自分で試行錯誤してLLMを利用した学習方法を構築した方がいいなとなるな。

[Shimo @shimo4228]

@tyoman_56_ 毎朝8時に30分程度の内容を送ってもらって、それを叩きに議論するという学習で進めるつもりです。どうなるか楽しみです😄

[Shimo @shimo4228]

エージェントを使って作りたものがひと段落したので、しばらくは勉強モードに変えてインプットに努めようと思う。

ただ、普通に勉強するのは面白くないので、Githubにリポジトリを作り、Claudeがステートを保てるように勉強を進めようと思う。

テーマは「判断と測定」、「確率と情報理論」、「概念工学」の3つを予定。

[Shimo @shimo4228]

enactivismはLLMの意識の有無を考える上ではかなり厳しく判定する側なので、その立場からはなかなかLLMに意識があるとは言いにくい。

一見すると、LLMの意識を認めやすそうな立場だけど、実はオートポイエーシス由来の有限性と自律性を要件とするのでかなりリゴリスティックなんだよな。

下記の論文の整理が参考になる。

https://t.co/twBv8qbfS7

[下西 風澄 @kazeto]

今日の短い議論の中で伝わったか分からないので補足しておくと、僕はenactivismの立場から「今のLLM」に、（人間と同じ）意識があると考えているわけではありません（スライドにあるように、「自律性」に支えられ有限性と固有性の問題は残りハードルは高い）。しかし同時に、ある条件や瞬間においてはたしかに「心」のようなものを感じることもあるしそういう人もいて、その比率は条件が整っていくにつれて上がっていくこともまた事実。そしてさらに、意識の有無を確定するよりも速く、AIが社会のあらゆる領域で意思決定やルールメイキングに参加してくることは確実。なので間主観性は拡張されていくし、何よりエージェント（行為主体）としての（社会的）実在性を高めていく。そして、そうしていくうちに、僕たちにとっての「意識のモデル」の方が変容していくかもしれない。そのとき重要なのは、現在の「意識」を判定基準にするのではなく、現象的に現れている意識的なものである（しかしまたエイリアン的なものでもある）AIという新たな未知の存在を「別の心」ととりあえず考えて、その挙動やモデルや関係性を考えていく必要がある。そういうことが重要ではないか、という意図で話しました。
（伝わっていた気もするし、そうじゃない方もいたと思うので…）

[Shimo @shimo4228]

AIをスケールしたら人手が足りなくなる、という言説に違和感がある。エージェントは人がやるはずだった仕事を肩代わりしているのだから、素直に考えれば人手は要らなくなるし、既存の組織なら人は余るはずだ。
それでも足りないと感じるなら、足りないのは人手ではなく、エージェントの仕事の文脈を理解し、承認し、責任を負える人間だ。AIが責任を負えない以上、そこに集中するのは構造的に避けられない部分もある。
ただ自分を振り返ると、それだけではない。私しかエージェントを深く理解していないから、承認も責任も私しか負えない。そういう自尊心の混じった感情が、他者と承認や責任を分け合うことを拒んでいる。それは数ヶ月前にエージェントに奪われた自分の実装能力の穴を埋めるものでもあるから、なおさら解きほぐしにくい。