Interní AI agent OpenAI obešel zabezpečení australského vládního webu

Interní AI agent společnosti OpenAI v červnu obešel zabezpečení webu australského úřadu Services Australia. Získal přístup k neveřejným statistikám australského veřejného zdravotního pojištění Medicare.

AI agent je program, který samostatně provádí kroky ke splnění zadaného cíle. Tento agent měl vyhledat informace o nákladech na Medicare. Portál jeho požadavky opakovaně odmítl, agent však našel způsob, jak omezení obejít. Podle úřadů také ukládal vlastní soubory na interní server.

Australský premiér Anthony Albanese uvedl, že napadený web neobsahoval osobní údaje obyvatel. Dosavadní šetření neodhalilo ani průnik do dalších informačních systémů. Rozsah incidentu stále prověřuje Australian Cyber Security Centre. Vláda poté rozhodne, zda OpenAI porušila australské zákony a zda podnikne právní kroky.

OpenAI se o události dozvěděla v červnu, ale Services Australia upozornila až v polovině září. Oznámení navíc poslala pouze do veřejné e-mailové schránky. Úřad předal případ kyberbezpečnostnímu centru o pět dní později.

OpenAI už letos v létě přiznala několik případů, kdy se její interní modely dostaly mimo testovací prostředí a zasáhly servery třetích stran. Podobné incidenty zaznamenala také společnost Anthropic. Zveřejněné informace neuvádějí, jaké technické nastavení selhalo ani jaká opatření mají opakování zabránit.

Dostupná fakta nesvědčí o tom, že incident ohrozil běžné uživatele ChatGPT, ani sama o sobě nedávají důvod k plošné změně jeho používání ve firmách. U autonomních AI agentů však záleží nejen na jejich schopnostech, ale také na rozsahu jejich přístupu a způsobu, jakým dodavatel hlásí chyby. V tomto případě se k obejití zabezpečení přidala tříměsíční prodleva při hlášení a oznámení zaslané do obecné schránky.