Lidé zkoušejí skrytými instrukcemi ovlivnit AI při náboru i u soudů

Lidé vkládají do životopisů, soudních podání a vědeckých prací skryté instrukce určené systémům s umělou inteligencí. Chtějí tím ovlivnit automatické posouzení dokumentu a získat výhodu při náboru, ve sporu nebo při odborné recenzi.

Skrytá instrukce je část dokumentu upravená tak, aby ji člověk při běžném čtení neviděl, ale systém s umělou inteligencí ji mohl vyložit jako pokyn. Nejde o změnu uvedených zkušeností, údajů nebo argumentů. Manipulace se zaměřuje přímo na způsob, jakým AI dokument zpracuje a vyhodnotí.

Podle zprávy se takové pokusy v reálných dokumentech objevují stále častěji. Zpráva však neuvádí jejich počet, konkrétní případy ani názvy nástrojů, které se podařilo ovlivnit. Chybí také údaj o úspěšnosti těchto pokusů. Bez těchto informací nelze posoudit, zda jde o rozšířený problém, nebo o omezený soubor incidentů.

Riziko se netýká jen životopisů. Stejný princip se objevuje také v soudních podáních, dokumentech pro výběrová řízení a vědeckých pracích určených k recenzi. Systém může při hodnocení zpracovat i obsah, který nebyl určen lidskému čtenáři. Zpráva neupřesňuje, zda provozovatelé dotčených systémů již zavedli kontroly zaměřené na skrytý text.

Výstup AI proto není vhodné používat jako jediný podklad při výběru uchazeče nebo nabídky. Dokument i výsledek automatického hodnocení by měl zkontrolovat člověk a schvalovací pravidla mají počítat s možností skrytého obsahu. Není však doloženo, které formáty dokumentů, modely nebo způsoby kontroly jsou účinné. Zpráva neuvádí ani náklady, termíny a omezení případných opatření, takže neposkytuje dostatek informací pro výběr konkrétního nástroje.