Vincent MATILE

Director @ NeoMundi
ControlTower API measures AI in real time, detects drifts and sends signals 🚥
👉 Enables leaders to govern and make decisions on their AI.

[Vincent MATILE @vincentmatile]

THREAD 🧵 4/4
The next frontier of AI governance isn’t just evaluation.

It’s governance metrology: building a reliable memory of how systems actually behave over time.

That’s the operational layer between high-level frameworks and daily reality.
→ Full article (highly recommended):
https://t.co/QCl2M5SljV

What’s your biggest challenge with AI drift or post-deployment monitoring?

#AIGovernance #NeoMundi

[Vincent MATILE @vincentmatile]

THREAD 🧵 1/4
The AI measurement framework already exists.
What’s missing? Making it truly operational.

@NIST laid the foundations years ago. The EU AI Act and ISO 42001 demand ongoing oversight. But most organizations are still stuck with one-time tests while their generative AI systems evolve silently in production.

This is exactly where the real governance challenge begins.
#AImetrology

[Vincent MATILE @vincentmatile]

THREAD 🧵 3/4
This is where NeoMundi operates.

🤜We don’t produce yet another flashy score.

🤜 We run repeatable, longitudinal measurements on production systems. We establish behavioral baselines.

🤜 We turn raw outputs into structured, actionable signals.

🤜We measure to give clear signals, so product, risk, compliance, and executive teams can actually decide where to focus attention and resources.

#ControlTower

[Vincent MATILE @vincentmatile]

THREAD 🧵 4/4
For leaders scaling AI: these signals help focus human oversight where it counts most — stability, risk, cost, and business impact.

Full analysis + cartography 👇 https://t.co/S8bC9MVAwn

Subscribe for weekly drops (link at the top of the article)

What subtle drifts are you seeing in your models?
📷#AIGovernance #ResponsibleAI #EnterpriseAI

[Vincent MATILE @vincentmatile]

THREAD 🧵 1/4
🚨 AI Stability Isn’t What You Think.

Same question → multiple plausible, well-written answers… that subtly shift nuance, conclusion, and confidence.

No obvious errors. Yet the message isn’t the same.

Welcome to NeoMundi AI Barometer #4 (July 6-12).

[Vincent MATILE @vincentmatile]

THREAD 🧵 3/4
Longitudinal watch on profile DEA9C5: signal persists and is stabilizing at a new higher factual risk level (~14%).

One spike = noise.
Repeated across campaigns = regime shift worth monitoring.

This is why continuous metrology beats one-off testing.

[Vincent MATILE @vincentmatile]

Merci à Florence Boulenger pour cet article très intéressant qu'elle nous consacre!

🎯Vous avez bien mis le doigt sur les « dérives silencieuses » des IA : ces petites modifications invisibles qui altèrent le sens sans qu’on s’en rende compte.

Dans un monde où on déploie l’IA partout, des outils comme NeoMundi pour mesurer ça deviennent vraiment précieux. Belle contribution 👏

#gouvernanceIA #barometreIA #metrologieIA

https://t.co/ms4qSKoqLP

[Vincent MATILE @vincentmatile]

Observe AI. Measure it. Govern it.
What you can’t measure, you can’t govern.
AI is powerful. Metrology makes it governable.

NeoMundi is the metrology layer for AI.
We go beyond observability: we turn AI behavior into measurable, auditable truth.

From AI observability to operational metrology.
👇 Discover NeoMundi

#AIMetrology #ResponsibleAI #AIGovernance

https://t.co/O8GfodzyPN

[Vincent MATILE @vincentmatile]

🚨 Restez à jour sur l’Observatoire des IA de NeoMundi !

Nous mesurons en continu, détectons les signaux et vous donnons les clés pour gouverner vos systèmes d’IA.

De l’Observabilité à la Métrologie de Gouvernance IA avec nos publications régulières.

📊 Baromètre
Suivi hebdomadaire des comportements observés sur des modèles dé-identifiés : stabilité, validité factuelle, variation sémantique et signaux de risque.
Exemple : des réponses qui paraissent solides mais contiennent des erreurs factuelles précises.

🗺️ Cartographie
Photographies comparatives mensuelles de 12 LLM majeurs sur stabilité observable, exactitude et efficience coût.
Prix, stabilité et précision ne vont pas toujours ensemble.

🔬 Contributions & Analyses
Revues méthodologiques publiques, signaux runtime en temps réel et expertises indépendantes sur la gouvernance (risques, décisions critiques, etc.).

De plus en plus d’entreprises ont besoin (et souhaitent) une métrologie en runtime pour prendre des décisions rapides et gouverner leurs IA de manière responsable et transparente.

📩 Abonnez-vous à la Newsletter NeoMundi pour recevoir les Baromètres, Cartographies et analyses exclusives :

👉 https://t.co/WyD2Vxqraf

#ObservatoireIA #GouvernanceIA #MetrologieIA

[Vincent MATILE @vincentmatile]

🧵8/8
C’est un domaine passionnant où chaque jour apporte de nouvelles informations et affine notre compréhension.

Nos instruments sont opérationnels et déjà déployés en production.

Si vous voulez suivre les cartographies mensuelles, les baromètres et les analyses en avant-première :

Abonnez-vous à la newsletter NeoMundi Recherche 👇
https://t.co/WyD2VxqYZN

[Vincent MATILE @vincentmatile]

🧵1/8 👇
Le débat sur la sémantique des LLM est passionnant : les modèles manipulent-ils vraiment du sens ou seulement des tokens ?

Certains y voient une limite fondamentale. D’autres rappellent qu’une bonne prédiction du token suivant suppose un modèle interne robuste de ce dont on parle.

C’est une discussion importante. Mais pour les organisations qui déploient des IA en production, la vraie question est : comment mesurer concrètement ces comportements et savoir quand ils changent ?

https://t.co/5m4BEpWbGM

[Fabien @Fabien_Mikol]

Les LLM sont-ils capables d'appréhender la sémantique ?
Alexeï Grinbaum (CEA) : non, car les LLM manipulent des tokens, qui sont des entités dénuées de sens !
Intrigant de voir Grinbaum rejoindre Laurence Devillers dans dans l'usage de la "reductio ad tokenum" ⤵️
🧵

[Vincent MATILE @vincentmatile]

🧵7/8
Le résultat concret : des signaux temps réel actionnables en production.

Grâce à ControlTower, les organisations (banque, santé, legal, etc.) peuvent détecter les écarts de comportement avant qu’ils ne deviennent des incidents.

☀️Passer de la question « que s’est-il passé ? » à la question « l’IA se comporte-t-elle encore comme avant ? ».

C’est cela qui rend les IA gouvernables de façon souveraine et mesurable.

#GouvernanceIA

[Vincent MATILE @vincentmatile]

Interesting to see hiring ramping up on Gemini post-training. From the outside, the June observations already showed some behavioral patterns worth watching closely in real time. Hiring more people makes a lot of sense, especially if the goal is to iterate faster on what actually happens during training and post-training. Real-time observability at that scale could be quite powerful.