De nieuwste ki-modellen zijn niet zomaar zelfstandige kletsbots die tekst genereren. Ze kunnen eenvoudig worden gekoppeld aan jouw gegevens om gepersonaliseerde antwoorden op je vragen te geven. OpenAI’s ChatGPT kan worden gekoppeld aan je in-bak van je postprogramma of je agenda. Deze verbindingen kunnen echter ook worden misbruikt. Onderzoekers hebben aangetoond dat hiervoor slechts één ‘vergiftigd’ document voor nodig is. Het lek zou inmiddels gedicht zijn.
Nieuwe bevindingen van beveiligingsonderzoekers Michael Bargury en Tamir Ishay Sharbat, vandaag onthuld op de Black Hat-krakersconferentie in Las Vegas, laten zien hoe een zwakte in OpenAI’s Connectors het mogelijk maakte om gevoelige informatie uit een Google Drive-profiel te halen met behulp van een indirecte promptinjectieaanval.
In een demonstratie van de aanval, AgentFlayer genaamd, laat Bargury zien hoe het mogelijk was om ontwikkelaarsgeheimen te extraheren, in de vorm van API-sleutels, die waren opgeslagen in een demonstratie-Drive-profiel.

De kwetsbaarheid laat zien hoe het verbinden van ki-modellen met externe systemen en het delen van meer gegevens tussen deze systemen het potentiële aanvalsoppervlak voor kwaadwillende e-krakers vergroot en mogelijk de manieren vergroot waarop kwetsbaarheden kunnen worden geïntroduceerd. “De gebruiker hoeft niets te doen om slachtoffer te worden en de gebruiker hoeft niets te doen om de gegevens te verspreiden”, zegt Bargury van beveiligingsbedrijf Zenity. “We hebben aangetoond dat dit volledig klikloos is. We hebben alleen je e-mailadres nodig, we delen het document (het vergiftigde; as) met je, en dat is het. Dus ja, dit is heel erg.”
Volgens Bargury zijn de bevindingen eerder dit jaar aan OpenAI gerapporteerd en het bedrijf zou snel maatregelen hebben genomen om de techniek, die hij gebruikte om informatie via Connectors te stelen, te blokkeren.

Bron: Wired