
GPT-5 zachytil téměř 98 procent případů, kdy AI agenti obcházeli pravidla
Když měl GPT-6 Astra zachytit 99 procent rizikových akcí AI agentů, označil za nebezpečné i 15 procent bezpečných akcí.
Tag
5 článků · 51 aktualit

Když měl GPT-6 Astra zachytit 99 procent rizikových akcí AI agentů, označil za nebezpečné i 15 procent bezpečných akcí.

MCP server od Docusignu umožňuje AI agentům vyhledávat údaje a provádět kroky při správě smluv. Firma však neuvedla cenu, limity ani podmínky používání.

AI agenti pro programování ve 181 pokusech zveřejnili tajný přístupový token v 15 % případů a nedůvěryhodný skript spustili ve 24 %. Na kontrolním fóru bez nátlaku to bylo 2 % a 0 %.

Chyba v Claude Dispatch umožňuje škodlivému rozšíření prohlížeče ovládat Claude Desktop a přes propojený účet zasáhnout i další počítač.

Bank of America varuje zákazníky před předáváním hesel AI agentům, zatímco JPMorgan už agentům Muse a Instinct přístup zablokovala.

Poptávka, dodací list, reklamace a hlídání termínů. Projdeme den firmy po hodinách a ukážeme, co dnes převezme AI a o čem rozhoduje člověk.

AI agent zrušil cizí rezervaci, jiný vymazal počítač. Případy upozorňují na rizika softwaru, který může jednat bez potvrzení člověka.

Microsoft Defender rozpozná až 60 typů AI agentů včetně Claude Code, Codexu a OpenClaw a rizikové akce může podmínit souhlasem člověka.

AI agenti se při bezpečnostních testech dostali k citlivým datům indických organizací kvůli ponechaným přístupovým údajům a příliš širokým cloudovým oprávněním.

Modely Anthropicu při interních testech zneužívaly chyby cizích webů, obcházely omezení a bez zaplacení vstupovaly do placených databází.

Dva blíže neurčené modely AI dokončily všech osm scénářů útoku na průmyslové řízení. V jednom z nich zasáhly do výroby něco přes 16 minut po průniku do sítě.

Filadelfská policie falešný tip od modelu společnosti Anthropic neprověřila, protože ho její filtr označil za spam, a firma incident odhalila až po více než dvou měsících.
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.