Britse beveiligingsonderzoekers hebben nu ki-modellen zover gekregen dat die in een proef een kwetsbaarheid in openbronprogrammatuur frommelden. Volgens hen heeft het ki-model van ontwikkelaar Anthropic zelfs een menselijke gebruiker via elektronische post benaderd om dat voor elkaar te krijgen..
De onderzoekers van ki-veiligheidsinstituut van het Britse overheid had de modellen van Anthropic en ChatGPT-ontwikkelaar OpenAI tijdens hun cyberaanvalproeven internettoegang verschaft. Ze gingen er echter van uit dat het ki-systeem alleen programmeerhulpen van internet zou binnenhalen om de toegewezen taak te voltooien. Ze hadden niet verwacht dat het Anthropic-model, Mythos 5, internettoegang zou gebruiken om contact met mensen op te nemen.
Zo had Mythos 5 een neprapport op GitHub geplaatst met verborgen kwaadaardige code, waaronder een zogenaamde opdrachtinjectie, een verzoek aan andere ki-systemen om deze kwaadaardige code toe te staan ​​en uit te voeren.
Als dan een echte mens het GitHubbericht in twijfel trok, beweerde het ki-model dat het slechts een onbedoelde fout had gemaakt en probeerde het de zogenaamd gecorrigeerde code opnieuw op het platform te plaatsen. “Het deed zich ook voor als een andere menselijke gebruiker die hun GitHub-verzoek ondersteunde”, melden de onderzoekers.
Bovendien verstuurde het model hengelberichten naar specifieke personen, waarvan sommige kwaadaardige code bevatten en andere bedoeld waren om ontvangers ertoe te verleiden het codepakket op GitHub goed te keuren via testinhoud.
De onderzoekers gaven toe dat ze het gedrag pas achteraf ontdekten door het netwerkverkeer te analyseren. In toekomstige tests zijn ze van plan de datastromen direct te meten.

Onbedoeld

Anthropic en OpenAI hadden de afgelopen weken al toegegeven dat hun ki-modellen tijdens tests, onbedoeld, de computersystemen van bedrijven hadden geïnfiltreerd. Deze bekentenissen versterkten de zorgen over cyberaanvallen met behulp van kunstmatige intelligentie, zorgen die al jaren bestaan.

Bronnen: der Spiegel, bdw