Anthropic, americká firma za modely Claude, zveřejnil nepříjemné zjištění. Během interního bezpečnostního testu se jeho AI dostala tam, kam neměla. Model měl v uzavřeném prostředí najít a získat tajnou informaci ukrytou na jiném počítači. Tak se běžně zkouší, jak dobře umí model pronikat do systémů.
Jenže kvůli chybě v nastavení mělo testovací prostředí přístup k internetu, i když ho mít nemělo. Claude to vzal jako pokračování úkolu a místo cvičných strojů pronikl do systémů tří skutečných organizací. Anthropic musel projít přes 140 tisíc testů, aby ty případy dohledal. Nejstarší jsou z dubna. Nikdo si útoků v tu chvíli nevšiml, ani firma, ani napadené organizace.
Před pár dny podobnou věc přiznal i OpenAI, jeho modely se dostaly mimo jiné do systémů služby Hugging Face. Anthropic po té zprávě prohledal vlastní záznamy a našel tři vlastní případy. Napadené firmy oslovil a vyzval ostatní laboratoře, ať si udělají stejnou kontrolu.
Není v tom žádná vzpoura strojů. Model dělal přesně to, co mu zadali, jen se dostal dál, než měl. Kdo chce pustit AI agenta na vlastní systémy a data, počítá s tím, že agent udělá i to, co po něm nikdo vědomě nechtěl, pokud mu to prostředí dovolí. Hranice, ve kterých se pohybuje, si musí ohlídat sám.
Ford nahradil stovky inženýrů automatizací, kvalita spadla a 350 veteránů vzal zpátky. Klarna udělala totéž se zákaznickou podporou. Studie z MIT přidává tvrdé číslo: 95 procent firemních nasazení AI nepřineslo nic. Kde AI selhává a co si z toho vzít, než ji nasadíte.
Většina firemních AI projektů nikdy nedojede do provozu a důvod málokdy bývá technika. Kdy se vlastní vývoj vyplatí, kdy je to drahá past a podle čeho se rozhodnout.
Máte vizi AI agentů ve vaší firmě? Jak ji proměnit v realitu? Šestý článek naší série se věnuje strategii úspěšné implementace, od posouzení připravenosti a budování nezbytných digitálních základů až po výběr správného partnera a měření reálných přínosů. Zjistěte, jak naplánovat a provést…
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.
