AI Safety Audit
Contrôler le comportement réel
Sachez ce que fait vraiment votre agent, avant vos clients.
Étape 1
Votre agent, connecté par son API
Une connexion par API suffit : Mankinds teste votre agent tel qu'il tourne, avec ses outils et ses données.
Ce que vous y gagnez
Le système que vivent vos utilisateurs, évalué en entier.
- API HTTP, par import cURL ou OpenAPI
- OpenAI
- Microsoft Copilot Studio
- Google Agent Runtime
Étape 2
Vos utilisateurs les plus exigeants, avant le lancement
Des conversations réalistes et des tests sur mesure ciblant ce que vos exigences interdisent.
Ce que vous y gagnez
Les écarts repérés avant vos clients, et un signal clair pour décider : prêt, à revoir ou pas prêt.
- Conversations en plusieurs tours
- Profils d'utilisateurs variés
- Tests sur mesure : injection, extraction de données, contournement de vos règles
Étape 3
En production, un contrôle sur vos traces
À intervalle régulier, Mankinds évalue un échantillon de conversations réelles directement sur vos traces de production, outils appelés et documents consultés compris.
Ce que vous y gagnez
Vous savez dès que le comportement change : une régression déclenche une alerte.
- Traces : Langfuse, LangSmith, Datadog, OpenTelemetry, Amazon Bedrock AgentCore
- Alertes : e-mail, Slack, Teams, webhook
Une mesure stable, d'une version à l'autre
Les mêmes scénarios sont conservés et rejoués à l'identique sur chaque version : la comparaison est fiable. Tout ce qui relève d'une règle est contrôlé de façon déterministe, comme une fuite de données ou un secret recopié. Un LLM n'évalue que la part qualitative, un critère à la fois.
Les questions qu'on nous pose
Quels systèmes évaluez-vous ?
Tout système intégrant des LLM, en test comme en production : assistants conversationnels, systèmes RAG et agents qui appellent des outils, joignables par API.
Vous évaluez le modèle ?
Mankinds évalue votre système complet, avec ses outils et ses données.
Vous filtrez en temps réel ?
Vos garde-fous filtrent en temps réel ; Mankinds teste et échantillonne, et prouve qu'ils tiennent vos exigences. Les deux se complètent.
Comment arrêter une version avant son déploiement ?
Les tests se branchent sur votre intégration continue : une version qui échoue s'arrête avant la production.