Het korte antwoord
AI Red Teaming kan twee opdrachten omvatten: AI-agents gebruiken bij geautoriseerd securityonderzoek, en de veiligheid van uw eigen AI-toepassingen onderzoeken. Benoem vooraf welke van die twee u bedoelt.
AI-agents als onderdeel van securityonderzoek
Agents kunnen onderzoek ondersteunen door informatie samen te brengen en afgesproken scenario’s te onderzoeken. De onderzoeker bepaalt de grenzen, beoordeelt de bevindingen en blijft verantwoordelijk voor de test. Automatisch gegenereerde resultaten moeten worden gevalideerd voordat u er beslissingen op baseert.
Uw eigen AI-toepassing uitdagen
Een assistent kan toegang hebben tot documenten of bedrijfssoftware. Dan is de vraag niet alleen of hij een goed antwoord geeft, maar ook of hij informatie prijsgeeft of handelingen uitvoert die niet bedoeld zijn. Test zowel normale gebruikersvragen als misleidende opdrachten en onverwachte broninhoud.
Maak onderscheid tussen een fout antwoord en een incident
Een onhandige formulering is iets anders dan een ongeoorloofde actie. Beoordeel bevindingen op de betrokken gegevens, bevoegdheden en mogelijke bedrijfsimpact. Houd bij welke versie van de toepassing en welke instellingen zijn getest, zodat resultaten later vergelijkbaar blijven.
Van bevinding naar veilige inrichting
Verbeteringen kunnen liggen in toegangsrechten, de scheiding van gegevens, controles op acties of menselijke goedkeuring. Test de aangepaste toepassing opnieuw. JViT combineert dit onderzoek met begeleiding bij veilige AI-implementaties.
Bespreek dit met uw team
- Testen we met AI of testen we onze AI?
- Welke gegevens en acties kan de agent bereiken?
- Wie valideert de bevindingen?
- Hoe controleren we de verbeteringen?
