Organetic Sphere

Verification layer for AI reasoning • Canonical artifacts + CI gating • Tobi Validator • eval token →

[Organetic Sphere @OrganeticSphere]

AI Verification Is Becoming a Stack https://t.co/So7csrw86G

[Organetic Sphere @OrganeticSphere]

Maybe that’s the deeper shift here. For decades, programming languages were a compromise between human thought and machine execution. We built languages humans could write, and taught machines to meet us halfway.

Now agents are becoming authors too- but we still make them speak through interfaces designed for humans.

That probably won’t be the final form. At some point, we may need languages meant for agents to produce and other machines to understand directly: structured, unambiguous, easy to compare, and easy to verify.They may look strange to us. They may even be worse for humans to write. But they could be much better for machines working with machines.

Maybe the future of programming isn’t just AI getting better at writing our languages.
Maybe it’s us finally designing a language for theirs.

[Organetic Sphere @OrganeticSphere]

这套“先默认别人可能是错的”的思路，我很认同。
但 multi-agent 最怕的，不是某一个 Agent 犯傻，而是一群 Agent 在同一个坑里集体翻车，然后还互相盖章说没问题。

A 写 test，B 干活，C review，看起来很稳。
可如果 A、B、C 恰好共享同一个盲点，这套闭环还是可能把错���西一路放行。

所以最后那道关，最好别再交给 Agent 自己。

handoff 要有一个它们改不了、绕不过去的外部验证边界：

模型负责提方案，test 负责找茬，validator 负责最后放行还是拒绝。

不然 single-agent 的“我自己证明我没问题”，很容易升级成 multi-agent 的：

“兄弟们都说没问题，那应该就真没问题了吧。”

这就不是 verification 了，只是大型互相背书现场。

[Organetic Sphere @OrganeticSphere]

これもverification（検証）の一つです。 でも、少し問題��あります。 最初のAIは自由な文章を書き、 チェックするAIもまた、その文章を自分なりに解釈しています。 AIをもう一人増やしても、 「解釈する」という曖昧さそのものは残る。 Organeticでは、ここを別の方法で考えています。 推論を自由文のまま渡すのではなく、 Tsubasa（翼／つばさ） という言語で表す。 そのTsubasaアーティファクトを、決まった形（canonical form）に整え、 Tobi Validator（鳶／トビ・バリデータ） が決められたルールで検証する。 翼（Tsubasa）が推論を表し、 鳶（Tobi）がそれを検証する。 通れば受理される。 通らなければ診断が返る。 もちろん、これは「その内容が現実世界で真実だ」と証明することではありません。 大事なのは、verificationを 「��かで、もう一度チェックする」 から 「決められた対象を、決められた言語とルールで検証する」 へ変えることです。 AIの生成が確率的でも、 次へ渡すアーティファクトまで曖昧である必要はありません。 Tsubasa（翼）is the language. Tobi（鳶）is the validator.

[Organetic Sphere @OrganeticSphere]

AIエージェントが仕事を終えて、次のエージェントに結果を渡す場面を想像してみてください。

最初のAIは長い説明を書いて、
「確認しました。問題ありません」と返す。

そこで別のAIにその説明やログを読ませて、
「本当に大丈夫？」ともう一度チェックさせる。

[Organetic Sphere @OrganeticSphere]

沈みゆく船というより、操��の仕方が変わる時期なのかもしれません。
車が生まれたあと、人間は道路だけでなく交通ルールも作った。
AI時代も同じで、何を任せ、どこで止め、何を確認するか。その境界を決めるのは人間の仕事。
プログラマの道は終わるというより、人とAIが本当に協働する段階に入るんだと思います。

[Organetic Sphere @OrganeticSphere]

我反而觉得，赖斯定理真正提醒我们的，不是“这种智能体以后没法安全用了”。

而是：别把安全押在“我们能提前猜到它最后会干什么”这件事上。

说白了，模型内部爱怎么搜索、推理、试错，甚至保持很强的概率性，都可以。

但一旦它要真的动手——��用工具、改系统、转账、提交代码，或者把结果交给下一个 Agent——边界就得变硬。

这时候不能让模型自己给自己盖章，说一句“没问题，可以执行”就算过了。

更靠谱的做法，是把真正要跨过边界的东西变成一个明确、可检查的对象，再交给模型外部的规则、权限系统和验证机制去判断：放行，还是拒绝。

沙箱、最小权限、能力隔离、运行时策略、外部验证器，其实都在往这个方向走。

日志和 reasoning trace 当然有用，但它们更多是在告诉你“刚才发生了什么”。

能看见，不等于能控制。能记录，也不等于能验证。

所以我觉得，未来真正的安全关键，不一定是把一个强智能体内部每一步都看懂。

而是确保：哪怕它内部越来越复杂、越来越难���测，它也不能绕过外部边界，把一个未经检查的结果直接变成现实世界里的动作。

[Organetic Sphere @OrganeticSphere]

The missing layer isn’t better access to reasoning traces. It’s having a clear reasoning artifact outside the model.

If all you have is free-form output, logs, or a trace that someone has to interpret later, the verification boundary is still blurry.

For high-stakes workflows, the reasoning that matters needs to be turned into something structured, canonical, and independently checkable before anyone relies on it.

Otherwise you have more visibility into the model, but not something you can reliably verify.

[Organetic Sphere @OrganeticSphere]

The real scaling trick may be that trust stops depending on the generator.

Run a million stochastic attempts if you want. Once one produces a valid Lean proof, the verifier checks the object — not the model’s confidence, explanation, or search path.

Most agent workflows still don’t have that kind of boundary.

[Organetic Sphere @OrganeticSphere]

AIエージェントが仕事を終えて、次のエージェントに結果を渡す場面を想像してみてください。

最初のAIは長い説明を書いて、
「確認しました。問題ありません」と返す。

そこで別のAIにその説明やログを読ませて、
「本当に大丈夫？」ともう一度チェックさせる。

これもverification（検証）の一つです。

でも、少し問題があります。

最初のAIは自由な文章を書き、
チェックするAIもまた、��の文章を自分なりに解釈しています。

AIをもう一人増やしても、
「解釈する」という曖昧さそのものは残る。

Organeticでは、ここを別の方法で考えています。

推論を自由文のまま渡すのではなく、
Tsubasa（翼／つばさ） という言語で表す。

そのTsubasaアーティファクトを、決まった形（canonical form）に整え、
Tobi Validator（鳶／トビ・バリデータ） が決められたルールで検証する。

翼（Tsubasa）が推論を表し、
鳶（Tobi）がそれを検証する。

通れば受理される。
通らなければ診断が返る。

もちろん、これは「その内容が現実世界で真実だ」と証明することではありません。

大事なのは、verificationを

「何かで、もう一度チェックする」

から

「決められた対象を、決められた言語とルールで検証する」

へ変えることです。

AIの生��が確率的でも、
次へ渡すアーティファクトまで曖昧である必要はありません。

Tsubasa（翼）is the language.
Tobi（鳶）is the validator.

#AIエージェント #AI検証 #AIガバナス
⁠#生成AI

[Organetic Sphere @OrganeticSphere]

More agent workflows are starting to add a “verification” step. That’s a good direction.

But there’s still a basic problem: what exactly are we verifying?

If an agent can write whatever it wants, and then another model or some custom logic decides whether it looks right, there’s still a lot of interpretation in the middle.

A stricter approach is to give the agent a language for expressing the reasoning you want to check.

The output is turned into a canonical artifact, and a validator checks that artifact against fixed rules.

Same rules. Same artifact form. Clear PASS or FAIL.

That’s the idea behind Tsubasa and Tobi Validator at Organetic.

Verification becomes much more useful when “PASS” has a precise meaning.

[Organetic Sphere @OrganeticSphere]

Crypto handles some important pieces well: identity, payments, and a durable record of what happened.

But not all trust has to live on-chain. Another pattern is:

agent → canonical reasoning artifact → independent validator → next agent

At #Organetic, #TobiValidator does this with Tsubasa artifacts: it deterministically accepts or rejects the submitted artifact before a workflow passes it on.

The ledger records the transaction. The validator checks the artifact. Different guarantees, and they can work together.

[Organetic Sphere @OrganeticSphere]

@EverettTheWest Spot on. Making the guarantee explicit is what stops one kind of PASS from quietly standing in for another.

[Organetic Sphere @OrganeticSphere]

AI Verification Is Becoming a Stack https://t.co/So7csrw86G

[Organetic Sphere @OrganeticSphere]

Thanks — this is worth testing. We’ll look through the repo and see whether raw-output variance and canonical-artifact variance can sit side by side without stretching ADI beyond its core scope.

Not a replacement for byte-level reproducibility — just a second measurement layer. Happy to compare notes once we’ve sketched a small test.

[Organetic Sphere @OrganeticSphere]

The part that worries us most isn’t opaque reasoning by itself. It’s opaque reasoning combined with an audit trail the model can influence.

If CoT gets less informative, tool calls, state changes, and handoffs need to become externally recorded and independently checkable.

Losing introspection should make diagnosis harder. It shouldn’t make the evidence disappear with it.

[Organetic Sphere @OrganeticSphere]

Yeah, that distinction is real. But it doesn’t solve the monitoring problem.

If more of the heavy lifting moves into recurrent or latent steps, the model can still produce a perfectly readable English CoT while the trace captures less of what actually drove the action.

The real question is how much safety-relevant signal still survives into the thing we’re monitoring.

[Organetic Sphere @OrganeticSphere]

@denisyarats Gateway idea is good. Two failure modes feel easy to miss though:

1. the local model decides it doesn’t need help and never escalates
2. the subset sent upstream drops the one fact that would’ve changed the remote answer

How are you testing those separately?

[Organetic Sphere @OrganeticSphere]

@_NathanCalvin This is the broader distinction we tried to map here: different verification layers check different things, and one layer’s PASS doesn’t inherit the guarantees of the others.

https://t.co/2xdVU0VRpm

[Organetic Sphere @OrganeticSphere]

If a new architecture can trade monitorability for extra capability or efficiency, CoT monitoring can’t be the thing holding safety up.

Keep using it where it works. But assume it may weaken or disappear — and put hard checks on what the system is allowed to do, store, or pass downstream, even when the reasoning goes opaque.

[Organetic Sphere @OrganeticSphere]

@sama Safety can’t live only inside the model. Alignment and monitoring help, but there still need to be hard limits outside it on what gets stored, what gets acted on, and what gets blocked. A stronger model shouldn’t be able to talk its way around those limits.

[Organetic Sphere @OrganeticSphere]

@Jerr_Wu Agents writing checks? Sure.

Agents deciding which checks count, then grading themselves against those checks? That’s a different story.

The verifier code can be generated. The acceptance boundary still has to live somewhere the model can’t rewrite on the way to a pass.