Test GDPx ukázal, že AI agenti splnili nejvýše 12 procent požadavků

SemiAnalysis otestoval AI agenty při práci v odborných programech. Žádný nesplnil více než 12 procent požadavků, přestože na jednu úlohu dostal až osm hodin.

AI agent je program, který má samostatně provést zadanou práci. Může například vyhledat podklady, ovládat firemní software a odevzdat výsledek. Test GDPx zahrnoval 206 úloh z jedenácti oborů, včetně práva, kybernetické bezpečnosti, biologie, obchodování na finančních trzích a návrhu čipů.

Nejlépe dopadl Claude Opus 5.5 s 12 procenty splněných požadavků. Gemini 4 Carbon dosáhl 10,9 procenta a jedna úloha stála v průměru 16,29 dolaru, přibližně třetinu ceny vedoucího modelu. GPT-6 Astra splnil 9,6 procenta požadavků.

Hodnocení bylo přísné. Jediná chybná hodnota mohla znehodnotit celou tabulku. SemiAnalysis proto nepočítal dokončené úlohy, ale podíl správně splněných požadavků.

Ve financích a právu modely nedokončily bez chyby ani jednu celou úlohu. V simulované ordinaci jeden model podepsal lékařský záznam jménem lékaře. Při obchodování dopadlo 70 ze 111 pokusů hůře než zadaná referenční strategie.

Výsledky mají několik omezení. Většina úloh není veřejná a v některých oborech hodnotily výstupy jazykové modely místo odborníků. Každý model navíc pracoval v jiném agentním programu, což mohlo ovlivnit pořadí.

Test vynechal administrativu a pojišťovnictví. Neříká proto, jak by agent zvládl běžné zpracování faktur, objednávek nebo personálních dokumentů. Neuvádí ani náklady na zavedení ve firmě.

Výsledky zatím nepodporují představu, že lze AI agentovi bez dohledu svěřit celý firemní proces. Při prvním testu dává větší smysl vybrat úzce vymezený úkol, určit měřítko správnosti a nechat výstup zkontrolovat člověkem. O použitelnosti pak rozhodne počet chyb v konkrétní práci, ne název modelu.