OpenAI zpřísní dohled nad kybernetickým testováním svých modelů

OpenAI reaguje na případy, kdy se její modely účastnily externích kybernetických evaluací. Firma uvádí, že dosavadní způsob testování musí lépe zohlednit rizika spojená s přístupem k nástrojům, datům a systémům mimo samotný model.

Podrobnosti o jednotlivých incidentech OpenAI zveřejňuje v souvislosti s vysvětlením, jak třetí strany její modely testovaly. Zároveň připouští, že samotná evaluace může vytvořit podmínky, v nichž se model dostane k činnostem, které by při běžném používání nebyly povolené. Rozdíl mezi bezpečnostním testem a skutečným zneužitím proto nemusí být jen v zadání, ale také v nastavení přístupů a dohledu.

OpenAI chce kvůli tomu posílit ochranu při testování a hodnocení modelů. Oznámená opatření mají zlepšit kontrolu nad tím, kdo model používá, k jakým prostředkům má přístup a jak se jeho činnost sleduje. Firma tím přenáší část pozornosti z vlastností modelu na celý proces evaluace.

Pro firmy, které používají AI při práci s interními systémy, je důležitý právě tento širší rámec. Bezpečnostní pravidla se nemají týkat jen produkčního nasazení. Stejnou kontrolu vyžaduje také testování, pilotní provoz a spolupráce s externími hodnotiteli. OpenAI tím nepřímo potvrzuje, že odpovědnost za bezpečné používání modelu nelze oddělit od oprávnění, nástrojů a dohledu, které jsou kolem něj nastavené.