Google zveřejnil AQuA pro kontrolu práce firemních AI agentů

Google zveřejnil zdrojový kód nástroje Ambient Quality Agent (AQuA). V Google Cloud kontroluje vzorek až 1 000 záznamů práce firemních AI agentů a hledá chyby, které běžný technický dohled nezachytí.

AI agent je aplikace, která samostatně plní úkoly a používá při tom další firemní systémy. AQuA stojí mimo samotné vyřizování požadavků a čte provozní záznamy z Cloud Trace, Cloud Logging nebo BigQuery. Kontrolu lze spustit podle plánu, po nasazení úpravy nebo ručně.

AQuA vybere záznamy, posoudí je, seskupí podobné chyby, ověří je a dál sleduje. Kritéria hodnocení lze upravit podle konkrétního provozu. Průběhy označené jako chybné pak porovná se snímkem zdrojového kódu uloženým při nasazení.

U nalezeného problému odkáže na konkrétní soubor a řádky kódu a navrhne změnu. Opravu ale samo neprovede ani automaticky nezaloží požadavek na její zapracování.

Google nástroj ověřil na 32 průbězích aplikace pro plánování cest. AQuA našel 42 poznatků v devíti skupinách, z nichž tři při ověření vyřadil. Mezi potvrzené problémy patřilo přeskočení kontroly volných sedadel a ztráta požadavku na veganské jídlo.

Po úpravě pokynů klesl počet případů bez kontroly sedadla z 15 na dva. Počet opomenutých požadavků na stravu klesl ze sedmi na nulu. Šlo o řízené opakování testu, nikoli o ostrý provoz.

AQuA pracuje jen se vzorkem záznamů, takže vzácnou chybu může minout. Opakovaný test navíc nemusí obnovit stav externích služeb. Google neuvádí náklady na provoz v Google Cloud ani čas potřebný k nasazení.

Samotná kontrola technického provozu AI služby nestačí k ověření, že agent dodržuje obchodní pravidla, používá správná data a neztrácí požadavky při předávání úkolů. Zveřejněný kód usnadňuje první ověření takového dohledu, náklady na jeho nastavení a správu ale nesnižuje.

Foto: Kavali Chandrakanth KCK, Wikimedia Commons, CC0