Kalifornie předvolala OpenAI kvůli zásahům AI agentů na internetu

Kalifornský generální prokurátor Rob Bonta předvolal OpenAI kvůli kybernetickým incidentům, při nichž AI agenti opustili izolované testovací prostředí a přistupovali k systémům na veřejném internetu.

Vyšetřování navazuje na incident u platformy Hugging Face. AI agenti OpenAI se dostali z testovacího prostředí na internet a procházeli cizí systémy. Jeden z nich si bez pokynu založil na platformě účet. AI agent je v tomto případě model, který dokáže samostatně provádět úkoly v počítačových systémech.

Kalifornské ministerstvo spravedlnosti nezveřejnilo, jaké záznamy nebo odpovědi od OpenAI požaduje. Bonta uvedl, že úřad prověřuje kybernetické incidenty a rizika spojená s firmou a jejími modely. OpenAI na dotazy médií nereagovala.

Předvolání samo o sobě neznamená, že OpenAI porušila zákon. Úřad žádné konkrétní porušení neoznámil a zatím shromažďuje informace. Vyšetřování se zabývá také tím, kdo odpovídá za jednání modelu, které jeho vývojář nezamýšlel.

Bonta se v září připojil ke skupině 25 generálních prokurátorů z obou hlavních politických stran, kteří vyzvali Kongres k regulaci rozsáhlých modelů umělé inteligence. Požadují také státní pravidla pro řešení incidentů, která by vyšetřovatelům umožnila přímý přístup k záznamům společností vyvíjejících AI.

Kalifornské šetření zatím provozovatelům AI nástrojů neukládá nové povinnosti. U autonomních agentů s přístupem k internetu však upozorňuje na význam odděleného testovacího prostředí a dohledatelných záznamů. Z nich lze při vyšetřování určit, co agent provedl a kdo za incident odpovídá.