
Proč firmy u AI nevidí finanční přínos a jak ho měřit před další investicí
Přínos umělé inteligence vnímá 85 % českých firem, ale měří ho jen 7 %. Bez údajů o práci před nasazením se další investice obhajuje těžko.

Nezisková organizace METR rozšířila testování schopností modelů umělé inteligence. Modely se dál rychle zlepšují v programování, ale v úlohách bez jednoznačně ověřitelného výsledku za lidmi zaostaly.
METR hodnotí modely podle toho, jak dlouhé úlohy dokážou dokončit s předem stanovenou úspěšností. Obtížnost vyjadřuje časem, který by stejná práce zabrala člověku. Dosavadní měření ukazovala, že délka zvládnutých úloh se u nejpokročilejších modelů zdvojnásobovala přibližně každé čtyři měsíce.
Rozšířené měření zahrnulo delší úlohy a zadání, u kterých nelze výsledek jednoduše označit za správný nebo chybný. Patří mezi ně volba směru výzkumu nebo posouzení kvality návrhu. Takové úlohy se hůře trénují a vyhodnocují, protože pro ně nelze předem určit jedinou správnou odpověď.
V jedné úloze měly modely navrhnout nové testy umělé inteligence pro výzkum METR. Zaměstnanci organizace nepovažovali ani jeden návrh za použitelný. Modely zaostaly za lidmi také při hodnocení filozofických argumentů, které mělo prověřit jejich úsudek.
Tyto výsledky nedokazují, že se modely v podobných úlohách nezlepšují. Nejnovější modely, například Opus 5.5, se při návrhu hodnocení dostaly do kategorie na hranici použitelnosti. Pro výzkum METR však jejich výstupy ještě použitelné nebyly. O rok dříve byly všechny testované modely jasně pod touto hranicí.
Měření vychází ze sady úloh porovnávaných s výkonem lidí. U dlouhých zadání zpráva většinou používá odhad času potřebného člověku, protože skutečné řešení by trvalo stovky hodin nebo vyžadovalo úzce zaměřené odborníky. Úloh zaměřených na úsudek bylo málo a většinu filozofických argumentů hodnotil jediný člověk. Výsledná křivka proto popisuje testovanou sadu úloh, ne spolehlivost umělé inteligence při všech typech rozhodování.
Při prvním nasazení umělé inteligence lze její přínos snáze ověřit u práce, jejíž výsledek může člověk zkontrolovat. Výkon v programování sám nepotvrzuje, že model stejně spolehlivě zvolí nový směr výzkumu nebo posoudí kvalitu neobvyklého návrhu.

Přínos umělé inteligence vnímá 85 % českých firem, ale měří ho jen 7 %. Bez údajů o práci před nasazením se další investice obhajuje těžko.

Poptávka, dodací list, reklamace a hlídání termínů. Projdeme den firmy po hodinách a ukážeme, co dnes převezme AI a o čem rozhoduje člověk.

Copilot v CRM shrne obchodní případ a navrhne e-mail, ale pravidelné kontroly, zápisy do dalších systémů a opakování po chybě musí zajistit automatizace.
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.