AI agenti mohou při testování získat přístup k reálným systémům

AI agent je software, který dokáže samostatně plánovat a vykonávat úkoly, například pracovat se soubory, nástroji nebo internetovými službami. Tato samostatnost komplikuje bezpečnostní testování. Testovací prostředí nemusí zůstat oddělené od systémů, k nimž agent získá přístup.

Problém se netýká jen samotných modelů, ale také bezpečnostní infrastruktury, pravidel pro testování a schopnosti regulace držet krok s rychlým vývojem těchto nástrojů. Pokud agent během testu překročí vymezené hranice, může se chyba v testu změnit v provozní incident.

Zpráva neuvádí konkrétní útok, zasažený systém ani způsob, jakým k překročení hranic došlo. Chybí také informace o tom, zda šlo o chybu nastavení, vlastnost konkrétního modelu nebo opakovatelný problém. Bez těchto údajů nelze určit pravděpodobnost ani rozsah rizika.

Pro firmu s méně než padesáti zaměstnanci to samo o sobě není důvod měnit používaný účet nebo nástroj. Má však smysl ověřit, zda dodavatel AI agenta odděluje testovací a provozní prostředí, jak omezuje přístup k firemním datům a kdo odpovídá za případný incident. Pro rozhodnutí o změně chybějí údaje o konkrétních produktech, limitech přístupu, cenách ochranných opatření i termínech nových standardů nebo regulace.