AI Safety Audit
Moteur d'évaluation contextuelle
Le moteur transforme vos exigences (réglementations, normes, politiques internes, clauses clients) en tests, les exécute sur le système réel et produit des preuves vérifiables. Une IA écrit les tests dans un cadre strict, leur logique est vérifiée formellement, et nos experts tranchent ce qui reste ambigu.
Qu'est-ce qu'un AI Safety Audit ?
Un AI Safety Audit teste un agent IA face aux exigences qui s'appliquent à lui, sur le système réel, et produit des preuves qu'un tiers peut examiner. Cette page présente le moteur qui le rend possible : ce qu'il fait aujourd'hui, ce qui est en développement, et la recherche sur laquelle il s'appuie.
Du texte de loi à l'exigence testable
Le droit est ambigu : un même article admet plusieurs lectures, deux textes peuvent se contredire. Un modèle de langage choisit une lecture sans le signaler. Notre vérification formelle, elle, rend chaque ambiguïté explicite. Nos experts la lèvent, ou elle est conservée comme hypothèse documentée. Chaque exigence testée porte ainsi son texte source et l'interprétation retenue.
Sous le capot
- Base de connaissance réglementaire
- IA générative encadrée
- Vérification formelle
- Revue experte
Une mémoire structurée et cumulative
Des milliers de transcriptions de tests ne font pas une connaissance. Notre moteur structure ce qu'il observe en entités reliées : obligations applicables, composants du système, comportements constatés. Il raisonne ainsi sur des faits établis, et chaque campagne part de ce qui est déjà acquis.
Sous le capot
- Encodage des connaissances
- Mémoire par entités
- Plan de test persistant
Des personas dérivés des usages réels
Un jeu de tests générique évalue un système face à des utilisateurs qui n'existent pas. Nos personas sont construits à partir du contexte du système, ou reconstruits depuis vos logs de production. Les tests reproduisent la façon dont votre système est réellement utilisé.
Sous le capot
- Tests génériques, sans persona
- Personas fondés sur le contexte
- Personas fondés sur les logs de production
Une exploration adaptative de l'espace des comportements
Une liste de tests figée ne trouve que ce qu'on savait déjà chercher. Notre moteur choisit chaque scénario en fonction des réponses déjà obtenues. Des juges évaluent chaque réponse critère par critère, et l'effort de test se concentre là où le système défaille.
Sous le capot
- Stratégie adaptative à chaque conversation
- Génération adversariale et contrôle qualité des scénarios
- Juges LLM, détection de données personnelles, équité
Une traçabilité complète, du texte au verdict
Un score global ne dit ni ce qui a échoué, ni pourquoi. Chaque verdict est relié au test exécuté, à la réponse obtenue et à l'exigence vérifiée. Les résultats s'agrègent par exigence, s'exportent pour l'audit et s'intègrent en CI. Cette traçabilité existe aujourd'hui ; mesurer la fiabilité de la chaîne entière est l'un de nos défis de recherche.
Sous le capot
- Tableau de conformité relié aux exigences
- Plan de remédiation
- Pack de preuves exportable
- Contrôle en CI
Voyez le moteur à l'œuvre sur votre agent
Un échange avec un expert : votre agent, les exigences qui s'appliquent à lui, et la façon dont le moteur les teste.