Antony Ghiroz

[Antony Ghiroz @AGhiroz]

AI Agents brauchen nicht mehr Kontext, sondern das richtige Wissen

Was Skills, MCP, RAG und Memory jeweils leisten – und warum ein Context Window allein noch keinen guten Agenten ergibt
#AI #KI #DataScience
https://t.co/Coqia6UtKy

[Antony Ghiroz @AGhiroz]

6/6
Teams brauchen neben Outcome-Scores auch Trajectory-Analyse, Multi-Run-Consistency-Checks und Step-Level-Monitoring.
Sonst sieht alles in der Eval grün aus – und bricht erst unter realem Traffic.

[Antony Ghiroz @AGhiroz]

4/6
Dazu kommt mangelnde Consistency:
Dieselbe Aufgabe liefert bei wiederholten Runs unterschiedliche Pfade und Qualitäten.
Klassische Benchmarks testen meist einmal und unter kontrollierten Bedingungen.

[Antony Ghiroz @AGhiroz]

5/6
Production läuft tausendfach, unter wechselnden Daten, Last und Context.

Praktische Konsequenz:

[Antony Ghiroz @AGhiroz]

3/6
Warum?
Outcome-Metriken (nur das Endergebnis) übersehen Step-Level-Fehler.
Ein kleiner Fehler in Schritt 3 pflanzt sich fort und wird erst am Ende sichtbar – oder gar nicht, wenn das Ergebnis zufällig noch plausibel aussieht.

[Antony Ghiroz @AGhiroz]

2/6
Der Gap ist messbar:
Single-Run-Evals liegen oft bei ~60 % Success.
Über mehrere aufeinanderfolgende Runs sinkt die Rate teilweise auf ~25 %.

[Antony Ghiroz @AGhiroz]

1/6
Agents bestehen Evals – und scheitern trotzdem in Production

AI Agents bestehen Offline-Evals und Benchmarks relativ gut.
In Production fällt die Zuverlässigkeit dann deutlich ab.

[Antony Ghiroz @AGhiroz]

5/5
Praktische Folgen:
Unklare Verantwortlichkeiten, verzögerte Incident-Response und wachsende Compliance-Risiken.
Teams, die das ernst nehmen, definieren jetzt klare Owner, aktualisierte Policies und Runtime-Controls, bevor sie skalieren.

[Antony Ghiroz @AGhiroz]

3/5
- Sichtbarkeit über alle laufenden AI-Tools fehlt häufig
Ergebnis: Agents handeln, aber niemand hat den vollen Überblick über Permissions, Risiken und Verhalten.

[Antony Ghiroz @AGhiroz]

4/5
Warum ist das so hartnäckig?
Agents haben mehr Autonomie als klassische Modelle.
Sie rufen Tools auf, treffen Entscheidungen und interagieren mit Systemen.
Klassische AI-Governance (die oft noch auf Chatbots oder Batch-Models ausgelegt ist) greift hier zu kurz

[Antony Ghiroz @AGhiroz]

2/5
Aber niemand ist klar verantwortlich, sobald sie laufen.

Aktuelle Zahlen und Berichte zeigen:
- Viele Governance-Frameworks wurden nie für agentic Systeme aktualisiert
- Oft gibt es keine einzelne Gruppe, die Agents nach dem Go-Live überwacht

[Antony Ghiroz @AGhiroz]

1/5
Governance-Lücke bei AI Agents nach dem Deployment
Ein sehr praktischer und aktuell stark diskutierter Pain Point:
Die Governance- und Ownership-Lücke bei AI Agents.
Viele Unternehmen haben Agents in Production.

[Antony Ghiroz @AGhiroz]

Wenn DLP die Bedeutung nicht mehr sieht

Warum klassische Data-Loss-Prevention bei RAG und Agenten an ihre Grenzen kommt
#AI_Security #RAG #LLM_Security #Data_Privacy
https://t.co/rqT2jMPrtz

[Antony Ghiroz @AGhiroz]

6/6
Unternehmen können RAG schnell demoen. Es so stabil zu machen, dass es geschäftskritische Prozesse trägt, ist der eigentliche harte Teil.

[Antony Ghiroz @AGhiroz]

1/6
Production RAG scheitert unter Enterprise-Load

RAG lässt sich in Tagen bauen.

Production-RAG, das unter echter Enterprise-Last zuverlässig läuft, ist ein ganz anderes Spiel.

Aktuelle Pain Points, über die gerade viel gesprochen wird:

[Antony Ghiroz @AGhiroz]

5/6
Es ist, dass Retrieval als Infrastruktur behandelt werden muss – mit Freshness, Evaluation, Guardrails und Monitoring auf Groundedness und Context Relevance.

[Antony Ghiroz @AGhiroz]

6/6
Praktische Gegenmaßnahmen, die sich 2026 durchsetzen:

Just-in-time Tool Loading, strukturiertes Compaction, Validierung beim Write (nicht erst beim Read) und Isolation von Sub-Agents.

Context ist nicht mehr „Prompt schreiben“.
Es ist System Design.

[Antony Ghiroz @AGhiroz]

1/6
Context Engineering bei Agents wird zum echten Bottleneck

Einer der aktuell heißesten praktischen Pain Points bei Production Agents: Context Engineering.

[Antony Ghiroz @AGhiroz]

5/6
Dazu kommen Context Poisoning und Confusion:
Falsche Fakten oder irrelevante Tool-Definitionen bleiben im Context und werden als Wahrheit behandelt. Viele Production-Systeme überschreiten längst die empfohlenen <20 Tools und leiden darunter.