La réponse courte
AI Red Teaming peut inclure deux commandes : Utilisez des agents d'IA dans les enquêtes de sécurité autorisées, et enquêtez sur la sécurité de vos propres applications d'IA. Précisez au préalable laquelle de ces deux approches vous visez.
Agents d'IA dans le cadre de l'enquête de sécurité
Les agents peuvent appuyer la recherche en rassemblant des informations et en étudiant des scénarios convenus. L'enquêteur détermine les limites, évalue les résultats et demeure responsable du test. Les résultats générés automatiquement doivent être validés avant de fonder les décisions sur eux.
Défiez votre propre application AI
Un assistant peut avoir accès à des documents ou à des logiciels métier. Alors, la question n'est pas seulement de savoir si l’assistant fournit une bonne réponse, mais aussi si elle divulgue des informations ou effectue des actions qui ne sont pas prévues. Testez à la fois les questions normales de l'utilisateur et les instructions trompeuses et le contenu source inattendu.
Distinguez une réponse erronée d’un incident
Une formulation maladroite est autre chose qu'une action non autorisée. Examiner les constatations sur les données en cause, les autorisations et les répercussions possibles sur l'entreprise. Gardez une trace de la version de l'application et des paramètres testés afin que les résultats restent comparables plus tard.
De la recherche au dispositif sûr
Les améliorations peuvent inclure les droits d'accès, la séparation des données, les mesures de contrôle ou l'approbation humaine. Testez à nouveau l'application personnalisée. JViT combine cette recherche avec des conseils pour des applications d'IA sûres.
Parlez-en avec votre équipe
- On teste avec l'IA ou on teste notre AI ?
- Quelles données et actions l'agent peut-il réaliser?
- Qui valide les résultats?
- Comment vérifier les améliorations?
