dooom

元42
UNCHAIN株式会社 CTO

[dooom @dooom_dev]

世の中の企業達はAI Agentに対して長期的にどういう目標に向かって動いてるのか🤔

[dooom @dooom_dev]

@GOROman チャットの内容から広告が選定されるのか
これって広告が表示される•されないの境界線がどう設計されてるのか気になりますね

[a16z @a16z]

World Labs CEO Dr. Fei-Fei Li: "The world is not made of words."

"Language models have given machines an extraordinary command of concepts, vocabulary, and reasoning, but the physical world, virtual or real, runs on a different substrate."

"Where language models learn the statistical structure of text, world models learn the statistical structure of space and time: how light falls on a surface, how a garden looks from an angle no camera has captured, how objects respond to force and follow the laws of physics."

"Language gave machines a way to talk about that world. World models are how machines will finally come to understand, imagine, reason and interact with it."

Full piece: https://t.co/C9qOJg5wuc

[深津 貴之 / THE GUILD, note @fladdict]

エンジニア視点でAIコードは、「動くけど理解不能でいざって時に自分で直せない」だけど、非エンジニアの経営者の視点では、部下エンジニアのコードも「動くけど自分には理解不能でいざって時に自分で直せない」だったりする。でも経営者は、自分が理解できないコードを他者に委託できてる。ここに何かヒントがある気がする。

[dooom @dooom_dev]

@eggAIeguite 例えば、ロジック破綻、設計破壊、副作用を最低限に、エンプラ相手ならISMS,SOC2準拠で設計、log管理等、動くものを作るためではなく、動いて運用し始めるのを前提に設計できてるのかが気になるんじゃないですかね？
個人的には一人そこら辺わかる人がいればある程度は問題ないと思いますが。

[dooom @dooom_dev]

@ytnobody 経験あるエンジニアがバイブコードするなら具体的に何を指示すれば公開できるプロジェクトが完成するか思い浮かぶからいいけど、経験ない人がそれしようとして本当にできるのか疑問。逆にできるんだったらどうやってるのか知りたいですねー

[UNCHAIN @theunchainai]

A new era seems to have begun

[UNCHAIN @theunchainai]

Amazon just wrote Anthropic a $100B check to stay on AWS for the next decade. Google has Gemini locked to TPUs. OpenAI is tied to Microsoft and Oracle.

Everyone's obsessing over which model to pick. Nobody's thinking about what happens when they have to switch. And they will, nothing in AI stays permanent for long.

That's the whole reason we're building Neuron above the model layer. The decisions live in your workspace, not the model's. When the model changes, your context doesn't go with it.

[UNCHAIN @theunchainai]

UNCHAINはこの度、意思決定プラットフォーム「NEURON」をリリースしました！

NEURONは、経営層の意思決定とその背景にある論理を記録し、戦略から実行までチームの足並みを揃えるプラットフォームです。

半年後、チームの誰かが「なぜこの機能を追加したんだっけ？」と疑問に思う日が来るでしょう。その答えが「開発部長が知っていたはずだけど、彼女は1月に退職しちゃったからな……」では困りますよね。NEURONなら、誰が、いつ、なぜその決定を下したのか、意思決定のすべてを明確に残します。

本日より、NEURONの提供を開始します！

[dooom @dooom_dev]

何か大幅な機能追加や変更をする際に必ず、
ロジック破綻、設計破壊、副作用は無くすこと。ある場合はその内容を詳細に教えて
って入れてるけどこれだけでまあまあ良くなる

[dooom @dooom_dev]

@gotohellAIeshi @t__kimura それは別の話にはなる気がするけど実際そこの影響はあるはず。Deepseekとかいい例。
でも医療用に完全にfinetuningなりすればリスクも大幅に低減されることは可能

[dooom @dooom_dev]

@gotohellAIeshi @t__kimura これ俺の認識が正しければAPI元は自社インフラ上に乗ってるlocal LLMだから中国は関係ないはず

[dooom @dooom_dev]

Claude Codeオートモードの「プロンプトインジェクション対策」って具体的に何なの？100％対策できないのに（と思ってる）完全オートでやらせるの怖い

[Naoyoshi Aikawa @ Rimo @awakia]

結論.envの内容をwebページを読むことで漏らすことがあるかは、有り得るでした。

さらに言えば、この方式だと.envじゃなくて環境変数にあろうが見に行ってしまうこともわかりました。

ただし
- 結構デフォルトのClaude防御の仕組みがあるので、多段に突破しないといけない
- ユーザーの元の指示とWebページの悪意ある指示の近さにより突破できるかが変わる構造

ではありました。なので別途ツールを作るだけで攻撃者がめんどくさがるケースを突破できると思います。

攻撃側も多段に相手の環境を想定してどういう時でも成功する攻撃を作るのは面倒なので、.envに値を入れないのは有効です。ちなみに.envのファイル名を変えてconfigにしたぐらいでは意味がなかったです。

[dooom @dooom_dev]

@cgbeginner sudoパスワードの情報をどこかに記載しない限り流石に無理では？

[dooom @dooom_dev]

@swarm_ai_cloud ログ漏洩が原因ではなく、何が原因かはわからないけど、取り敢えず.envをclaude codeが見て、勝手に何かされて何故か漏洩しましたということがわかりました。ということ？
その原因がログが関係してるのかどうかもわからないということ？

[dooom @dooom_dev]

@swarm_ai_cloud 普通に気になるんだけど、アメリカ国民は監視しませんとかなんか言ってるけど、そもそも監視してるかしてないかを担保する方法って何？
仮にopenaiが全世界に対して監視しませんって言おうが全く信じられないんだけど

[dooom @dooom_dev]

@k_koyanagi_null logといってるのはclaude code自体のlogだからいつでも.envの情報をclaude codeが読みに行けるようになってしまった。そしてそれはプロンプトインジェクションの指示だったという話だけなのでは？

[dooom @dooom_dev]

@JapanAi196811 @kenn リソースがないから