AdoptimalAdoptimal
Pojďme se poznat
Všechny články
Digitalizace firem3. srpna 20265 min čtení

Kde automatizace končí: rozhodování, které má zůstat na člověku

Automatizace firemních procesů se posouvá od přepisování dat a odesílání notifikací k rozhodování. Systémy dnes třídí uchazeče, určují pořadí zákaznických požadavků, doporučují úvěrové limity nebo vyhodnocují podezřelé objednávky. Právě u těchto úloh se mění odpovědnost firmy.

Evropské nařízení o umělé inteligenci, známé jako AI Act, vstoupilo v platnost 1. srpna 2024. Od 2. února 2025 se uplatňují zákazy vybraných postupů a povinnost zajistit dostatečnou znalost práce s AI u lidí, kteří ji ve firmě používají. Další důležitý termín přijde 2. srpna 2026, kdy se začne uplatňovat většina pravidel pro vysoce rizikové systémy podle přílohy III. Jde například o některá použití AI při náboru, hodnocení pracovníků, posuzování úvěruschopnosti nebo přístupu k základním službám.

Nařízení nezakazuje automatizaci rozhodování jako takovou. Vyžaduje ale, aby u vysoce rizikových systémů existoval lidský dohled, který není jen formální. Člověk musí rozumět omezením systému, umět jeho výstup zpochybnit a mít pravomoc rozhodnutí změnit nebo proces zastavit.

Vedle AI Actu dál platí článek 22 GDPR. Ten omezuje rozhodnutí založená výhradně na automatizovaném zpracování, pokud mají právní nebo podobně významný dopad na konkrétního člověka. Výklad této hranice zpřesnil také rozsudek Soudního dvora Evropské unie ze 7. prosince 2023 ve věci SCHUFA. Pokud automaticky vytvořené skóre v praxi zásadně určuje konečné rozhodnutí, nelze odpovědnost obejít tím, že jej formálně potvrzuje jiná organizace nebo zaměstnanec.

Problém není v algoritmu, ale v dopadu rozhodnutí

Firmy často rozdělují procesy podle toho, zda je lze technicky automatizovat. To je nedostatečné kritérium. Důležitější je, co se stane, když se systém splete.

Chybně přiřazený štítek v interní databázi lze opravit během několika minut. Automatické zamítnutí uchazeče, zablokování účtu nebo odebrání zákaznického limitu může člověka poškodit a firmě přinést reklamaci, spor nebo ztrátu zákazníka.

Rozhodnutí by proto mělo zůstat na člověku zejména tehdy, když se současně objevují některé z těchto vlastností:

  1. Rozhodnutí má významný finanční, pracovní nebo právní dopad.
  2. Následek lze jen obtížně vrátit.
  3. Vstupní data jsou neúplná nebo mohou obsahovat historické zkreslení.
  4. Případ se výrazně liší od situací, na kterých byl systém nastaven.
  5. Firma musí rozhodnutí srozumitelně vysvětlit konkrétnímu člověku.
  6. Hodnocení závisí na kontextu, který není zachycený v datech.

To neznamená, že systém v takovém procesu nemá místo. Může shromáždit podklady, ověřit jejich úplnost, upozornit na nesrovnalosti, vypočítat skóre a navrhnout další krok. Konečné rozhodnutí však nemusí být další automatická akce.

Kolik stojí různé úrovně lidského dohledu

Rozdíl je vidět na modelovém procesu s 5 000 případy měsíčně. Může jít o schvalování objednávek, kontrolu zákaznických účtů nebo předvýběr žádostí. Předpokládejme cenu práce 450 Kč za hodinu a provoz automatizace včetně zpracování dat za 8 Kč na případ.

Čísla nejsou ceníkem. Ukazují způsob, jak si varianty propočítat na vlastním objemu práce.

1. Automatické rozhodnutí a následný namátkový audit

Systém rozhodne ve všech 5 000 případech. Člověk zpětně zkontroluje 2 procenta z nich, tedy 100 případů. Jedna kontrola trvá osm minut.

Provoz automatizace stojí přibližně 40 000 Kč měsíčně. Kontrola zabere asi 13 hodin a vyjde na 6 000 Kč. Celkové přímé náklady jsou kolem 46 000 Kč měsíčně.

Tato varianta je rychlá a levná. Hodí se pro vratné kroky s malým dopadem, například kategorizaci dokumentů, doplňování interních polí nebo směrování požadavků na správný tým.

Slabina je zřejmá. Audit odhalí chybu až poté, co rozhodnutí proběhlo. U zamítnutí uchazeče, omezení služby nebo změny obchodních podmínek může být pozdě. Tato varianta také nemusí splnit požadavek na účinný lidský dohled, pokud pracovník nemá možnost zasáhnout před vznikem následku.

2. Člověk potvrzuje každý případ

Systém připraví doporučení, ale každé rozhodnutí musí potvrdit zaměstnanec. Při čtyřech minutách na případ jde o více než 333 hodin práce měsíčně. Při uvedené ceně práce stojí kontrola zhruba 150 000 Kč. Spolu s provozem automatizace dosáhnou náklady 190 000 Kč měsíčně.

Firma získá lidský zásah u každého případu, ale ne automaticky kvalitní kontrolu. Pokud zaměstnanec potvrzuje stovky podobných doporučení, začne systém následovat bez ověřování. Tento jev se označuje jako automatizační zkreslení. Formální kliknutí na tlačítko není skutečný dohled.

Varianta dává smysl u menšího počtu případů s vysokým dopadem. Při velkém objemu bývá drahá, pomalá a náchylná k mechanickému schvalování.

3. Rozhodování podle rizikových úrovní

Třetí možnost rozděluje případy podle dopadu, nejistoty a odchylky od běžného průběhu.

Například 70 procent standardních a vratných případů systém zpracuje automaticky. Dalších 20 procent předá jednomu pracovníkovi. Zbývajících 10 procent, tedy případy s vysokou hodnotou, nízkou jistotou nebo neobvyklými vstupy, projde důkladnější kontrolou, případně schválením dvou lidí.

Při modelových časech může měsíční provoz vyjít přibližně na 125 000 až 135 000 Kč. Proti potvrzování každého případu firma ušetří kolem 55 000 až 65 000 Kč měsíčně. Současně zachová lidské rozhodnutí tam, kde chyba způsobí největší škodu.

Tato varianta má vyšší počáteční náklady. Firma musí definovat riziková pravidla, nastavit předávání případů, ukládat důvody rozhodnutí a průběžně měřit chybovost. U středně velkého procesu může první implementace stát přibližně 150 000 až 350 000 Kč podle stavu dat a používaných systémů.

Lidský dohled musí mít pravomoc, čas a informace

Nestačí přidat do procesu schvalovací obrazovku. Kontrolující pracovník musí vidět vstupní data, doporučení systému, míru jistoty a důvod, proč byl případ označen jako rizikový. Musí také vědět, ve kterých situacích systém obvykle chybuje.

Důležité je zaznamenávat rozdíly mezi doporučením a konečným rozhodnutím. Pokud lidé nikdy výstup nemění, mohou mu bezmyšlenkovitě důvěřovat. Pokud jej mění často, systém nebo pravidla předávání nefungují správně.

Užitečné provozní ukazatele jsou podíl automaticky dokončených případů, počet zásahů člověka, chybovost podle typu případu, čas na rozhodnutí a počet oprávněných námitek. Samotná míra automatizace nic neříká o kvalitě procesu.

Volil bych řízení podle rizika, ne plošný zákaz automatizace

Pro firmu s tisíci rozhodnutí měsíčně bych zvolil třetí variantu. Automatizoval bych přípravu podkladů a rozhodnutí s malým, vratným dopadem. Člověku bych ponechal případy s významným následkem, nízkou jistotou nebo neobvyklými okolnostmi.

Není to řešení pro každou firmu. U několika desítek vysoce citlivých rozhodnutí měsíčně může být levnější kontrolovat každý případ. U interního třídění dat naopak často postačí automatizace s pravidelným auditem.

Hranice automatizace proto neleží tam, kde systém přestává být technicky schopný rozhodnout. Leží tam, kde firma už nemůže přijatelně nést následky jeho omylu bez skutečného lidského posouzení.

Sdílet
Pojďme to zapnout

Chcete to probrat?

Napište nám, co u vás řešíte. Ozveme se do jednoho pracovního dne.

S čím vám můžeme pomoct?