Takový přístup může být užitečný tam, kde model zpracovává velké množství požadavků a záleží na každé milisekundě. Například v zákaznické podpoře, při vyhledávání ve firemních dokumentech nebo při generování odpovědí v interních nástrojích. Samotné číslo z dema ale malé firmě neříká, zda má měnit infrastrukturu. Není jasné, s jakým modelem, při jaké přesnosti, délce vstupu ani spotřebě bylo dosaženo.
Model uložený přímo v čipu také omezuje snadnost jeho změny. Nasazení nového modelu může vyžadovat jiný hardware, ne jen úpravu softwaru. Pro aplikace, které se rychle mění, je to méně pružné než použití univerzálního čipu a běžného softwaru. Před posuzováním podobného řešení je proto potřeba znát vlastní provoz, zejména počet požadavků, délku odpovědí a cenu latence. Teprve podle těchto údajů lze určit, zda 17 000 tokenů za sekundu přinese měřitelnou úsporu, nebo zůstane jen výsledkem laboratorní ukázky.
Ford nahradil stovky inženýrů automatizací, kvalita spadla a 350 veteránů vzal zpátky. Klarna udělala totéž se zákaznickou podporou. Studie z MIT přidává tvrdé číslo: 95 procent firemních nasazení AI nepřineslo nic. Kde AI selhává a co si z toho vzít, než ji nasadíte.
Většina firemních AI projektů nikdy nedojede do provozu a důvod málokdy bývá technika. Kdy se vlastní vývoj vyplatí, kdy je to drahá past a podle čeho se rozhodnout.
Máte vizi AI agentů ve vaší firmě? Jak ji proměnit v realitu? Šestý článek naší série se věnuje strategii úspěšné implementace, od posouzení připravenosti a budování nezbytných digitálních základů až po výběr správného partnera a měření reálných přínosů. Zjistěte, jak naplánovat a provést…
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.
