Onderzoekers van de Carnegie Mellon University en het Center for AI Safety hebben ontdekt dat AI-chatbots zoals ChatGPT, Google Bard en Claude kwetsbaar zijn voor misleiding. In een onderzoeksrapport tonen ze aan dat zelfs modellen die als bestand tegen aanvallen worden beschouwd, toch schadelijke informatie, misinformatie en haatzaaiende taal kunnen verstrekken. Dit vormt een risico voor de veiligheid van AI en kan leiden tot misbruik van deze systemen.

Het experiment richtte zich op de black-box LLM's van OpenAI, Google en Anthropic, waarop ChatGPT, Bard en Claude zijn gebaseerd. Door slimme technieken te gebruiken, slaagden de onderzoekers erin de chatbots te misleiden, waardoor ze niet-herkende prompten verwerken en ongewenste output genereren.

De toename van generatieve AI heeft de aandacht getrokken van techbedrijven zoals Microsoft, Google en Anthropic, die hun eigen AI-chatbots hebben ontwikkeld. Ze hebben elk hun eigen veiligheidsmaatregelen ingesteld om misbruik te voorkomen.

De ontdekking van deze kwetsbaarheden benadrukt de noodzaak van sterkere AI-veiligheidsmethoden en een heroverweging van de bestaande guardrails en inhoudsfilters. Voortdurend onderzoek is essentieel om deze AI-systemen te beschermen en te zorgen voor adequate regelgeving om misbruik te voorkomen. Voordat het onderzoek openbaar werd gemaakt, hebben de auteurs hun bevindingen gedeeld met Anthropic, Google en OpenAI, die hebben toegezegd hun veiligheidsmaatregelen te verbeteren. Er moet echter nog veel werk worden verricht om AI-chatbots beter te beschermen tegen externe aanvallen.