AI pilot nezačíná výběrem modelu, ale přípravou prvního úkolu, který má smysl měřit

Když se mě někdo zeptá, jaký model má firma vybrat pro první AI pilot, obvykle se nejdřív ptám: Co má po pilotu fungovat lépe než dnes?

Není to úhybný manévr. Výběr modelu patří až mezi poslední kroky. Nejdřív je potřeba znát úkol, současný výkon a podmínky, za kterých firma výsledek přijme. Jinak jen porovnáváme, která umělá inteligence působí při ukázce chytřeji. Takové srovnání ale neříká, zda řešení pomůže v běžném provozu.

Pilot nemá dokázat, že AI umí napsat text, shrnout dokument nebo roztřídit požadavky. Má zjistit, zda konkrétní firemní úkol zvládne v požadované kvalitě, za přijatelnou cenu a bez rozsáhlých oprav ze strany člověka.

Kdy je tento návod na místě a kdy ne

Postup se hodí pro opakovaný úkol, který dnes dělá člověk a jehož vstupy i výstupy lze uložit. Typickým kandidátem je třídění e-mailů, vytěžování údajů z dokumentů, návrh odpovědi, kontrola textu podle pravidel nebo shrnutí požadavku do interního systému.

Úkol se obvykle opakuje tak často, aby bylo možné připravit a vyhodnotit srovnatelné případy. U vzácného, ale nákladného úkolu může mít pilot smysl také. Zároveň musí existovat někdo, kdo pozná správný výsledek. Pokud se dva zkušení pracovníci neshodnou ani na tom, jak má dobrý výstup vypadat, je nejdřív potřeba sjednotit pravidla hodnocení. Model sám neurčí, který z protichůdných výstupů je správný.

Návod naopak není vhodný pro jednorázovou strategickou úlohu, zásadní rozhodnutí bez možnosti kontroly nebo proces, který zatím nikdo neumí popsat. Tam je nejdřív potřeba vyřešit samotný proces. Pomůže postup pro první tři kroky před nákupem automatizačního nástroje, protože AI neopraví nejasná pravidla ani chybějící odpovědnost.

Co musí být připravené před prvním testem

Je potřeba určit vlastníka úkolu, připravit vzorek skutečných případů a změřit dnešní stav. Vlastníkem není člověk s nejvyšší funkcí. Je to někdo, kdo práci zná, rozhodne o správnosti výstupu a má čas pilot průběžně hodnotit.

Dále je nutný přístup ke vstupům, ideálně v podobě, v jaké opravdu přicházejí. Ukázkových pět dokonale napsaných e-mailů nestačí, pokud běžná schránka obsahuje překlepy, přílohy, přeposlané konverzace a větu „viz níže“, pod kterou je sedmnáct předchozích zpráv.

Citlivá nebo osobní data je nutné před testem posoudit podle firemních pravidel a podmínek použité služby. Když to nejde bezpečně zajistit, použiji anonymizovaný vzorek. Pilot není důvod k nahrání celé firemní historie do nové služby bez předchozího posouzení.

Kroky v pořadí, které dávají měřitelný výsledek

1. Vymezím jeden úkol a jeden výstup.

Nepíšu „AI bude pomáhat zákaznické podpoře“. To není úkol. Použitelné zadání zní například: „Zařaď zprávu zákazníka do 1 z 8 kategorií.“ Na první pilot nepropojuji třídění, odpovídání, objednávky a fakturaci. Čím širší záběr, tím hůř zjistím, co způsobilo chybu. Ověřitelným výsledkem tohoto kroku je popis na jednu až tři věty, který obsahuje vstup, požadovaný výstup a okamžik dokončení.

2. Změřím dnešní způsob práce.

Vezmu soubor běžných případů, který zachytí rozmanitost vstupů a závažnost možných chyb. U každého zaznamenám čas zpracování, počet nutných oprav a konečný výsledek. Pokud úkol dělá více lidí, měřím je odděleně. Průměr může skrýt velké rozdíly mezi pracovníky. U malého týmu často stačí jednoduchá tabulka. Délku zapisování volím podle počtu a rozmanitosti případů tak, aby měření zachytilo i méně časté situace a sezónní výkyvy. Výchozí měření musí vycházet ze zaznamenaných údajů, ne z odhadu podle paměti. Ověřitelným výsledkem je výchozí hodnota, například medián 7 minut na případ, 12 procent vrácených výstupů a 80 případů měsíčně.

3. Předem určím hranici úspěchu.

Cíl „ušetřit čas“ je příliš neurčitý. Zapíšu konkrétní podmínku, například: AI správně zařadí alespoň 90 procent zpráv, žádnou zprávu sama neodešle a kontrola člověka zabere nejvýše 2 minuty. U kritických chyb stanovím samostatný limit. Celková úspěšnost 95 procent nestačí, pokud zbývajících 5 procent tvoří drahé nebo nevratné omyly. Ověřitelným výsledkem je krátká hodnoticí stupnice a hranice, podle které lze pilot přijmout, upravit nebo zastavit.

4. Připravím pevnou testovací sadu.

Ze skutečných vstupů vyberu testovací sadu, která zahrne běžnou práci i hraniční situace: neúplný vstup, neobvyklý formát, rozpor v údajích nebo požadavek mimo pravidla. Její rozsah a poměr běžných a hraničních případů volím podle rozmanitosti vstupů, závažnosti chyb a významu hraničních situací pro proces. Ke každému případu doplní člověk referenční výsledek a pravidla hodnocení. U třídění to může být správná kategorie. U návrhu odpovědi nebo shrnutí, kde může být přijatelných výsledků více, předem stanoví kritéria, například věcnou správnost, úplnost, dodržení podkladů a nepřítomnost nepovolených tvrzení. Každé kritérium se hodnotí předem určenou stupnicí a pravidla stanoví, které chyby znamenají zamítnutí výstupu. Sadu během porovnávání neměním, jinak nelze jednotlivé modely a varianty férově srovnat. Příklady použité k ladění držím odděleně od finálního testu. Ověřitelným výsledkem je uzamčený soubor vstupů, referenčních výsledků a pravidel hodnocení, který lze použít opakovaně.

5. Nastavím roli člověka a náhradní cestu.

Rozhodnu, co AI pouze navrhne, co smí uložit a co nesmí provést bez potvrzení. U prvního pilotu obvykle nechávám člověka schválit každý výstup. Současně určím, co se stane při chybě, nedostupnosti služby nebo příliš dlouhé odezvě. Může následovat ruční zpracování nebo odložení do fronty. Podobný princip popisuji u přípravy procesu na výpadek AI služby. Ověřitelným výsledkem je postup, podle kterého pracovník pozná, kdy výstup přijmout, opravit nebo poslat běžnou cestou.

6. Teprve teď porovnám modely a celé řešení.

Vyberu dvě nebo tři varianty. Nemusí jít jen o různé modely. Porovnám také zadání, použité podklady a způsob napojení. Všechny varianty dostanou stejnou testovací sadu a stejné hodnocení. Zapíšu přesnost, čas kontroly, cenu jednoho přijatého výstupu a počet kritických chyb. Cena samotného dotazu mě zajímá méně než cena výsledku, který lze skutečně použít. Pro sledování nákladů se hodí stejná disciplína jako při řízení firemního účtu za AI. Ověřitelným výsledkem je srovnání, podle kterého lze rozhodnout: nasadit, upravit zadání, vyzkoušet jinou variantu, nebo pilot ukončit.

Kde se první pilot nejčastěji zadrhne

Změna zadání během testu může pilot znehodnotit i tehdy, když model sám o sobě funguje dobře. Po prvních výsledcích někdo přidá další typ dokumentu, nové pravidlo a napojení na třetí systém. Pilot pak nelze vyhodnotit, protože na konci testujeme něco jiného než na začátku.

Druhým problémem je skrytá lidská práce. AI vytvoří návrh za deset sekund, ale pracovník ho pět minut kontroluje a přepisuje. Do vyhodnocení se proto musí započítat celý průchod od přijetí vstupu po schválený výsledek.

Třetí zádrhel je výběr modelu podle jedné povedené ukázky. Model může skvěle zvládnout osm případů a selhat na devátém, který obsahuje tabulku nebo chybějící údaj. Rozhoduji podle celé testovací sady, ne podle jednotlivé odpovědi.

Dobře připravený pilot může skončit i větou „teď se to nevyplatí“. Je to platný výsledek, pokud firma získala údaje o kvalitě, času, nákladech a chybách. Malý test tak může zabránit většímu projektu, jehož přínos by stál jen na dojmu z ukázky.