Jak firmě nepřeroste účet za AI přes hlavu

Na začátku roku se stalo něco, co by před dvěma lety nikoho nenapadlo. Uber podle zpráv vyčerpal svůj celoroční rozpočet na AI za čtyři měsíce. Není sám. Podle průzkumů vyskočily firemní výdaje na AI meziročně o víc než 100 procent a skoro 80 procent IT manažerů hlásí poplatky, se kterými v rozpočtu vůbec nepočítali. GitHub mezitím oznámil, že Copilot přejde na platbu podle skutečné spotřeby. To je signál, kam se celý trh posouvá: od pevného paušálu k účtu, který kolísá měsíc od měsíce.

Pro majitele firmy to znamená jedno. Účet za AI se chová jako účet za elektřinu, ne jako předplatné Netflixu. A dá se s ním pracovat podobně. Tady je postup, jak ho dostat pod kontrolu, aniž byste se AI vzdali.

1. Zjistěte, kolik vlastně platíte a za co

Nejčastější chyba není drahý model. Je to přehled, který nikdo nemá. Firmy běžně vykazují výdaje na AI mnohonásobně nižší, než kolik reálně utrácejí, protože náklady se schovají v cloudu, v licencích SaaS nástrojů a na firemních kartách jednotlivců. Jedna studie uvádí, že jen zhruba pětina finančních manažerů umí spojit výdaj za AI s konkrétním výsledkem.

Začněte inventurou:

• Projděte firemní karty a faktury za posledních šest měsíců a najděte každou položku, kde je AI. Nejde jen o velké platformy. Jde o desítky drobných nástrojů, které si lidé pořídili sami.
• Zapněte reporting u hlavních poskytovatelů. Většina API dnes umí označit každý požadavek štítkem (tým, projekt, funkce). Bez toho nezjistíte, co je drahé.
• Určete jednoho člověka, který účet za AI sleduje měsíčně. Ne kvůli byrokracii. Kvůli tomu, aby si skokového nárůstu někdo všiml dřív než účetní na konci kvartálu.

Neoznačené a zapomenuté nástroje sedí na firemních kartách klidně přes rok, než si jich někdo všimne. To je první, co se dá seškrtat.

2. Neposílejte každý úkol tomu nejdražšímu modelu

Tohle je nejsilnější jednotlivá páka. Většina firem pustí všechno přes ten nejsilnější a nejdražší model, protože je to pohodlné. Přitom drtivou většinu běžné práce, přepis, třídění mailů, shrnutí schůzky, zvládne levnější model za zlomek ceny.

Rozdělte úlohy do tří košů:

1. Rutina (klasifikace, extrakce, krátké odpovědi): sem patří nejlevnější, rychlé modely.
2. Běžná práce (delší texty, návrhy, souhrny dokumentů): střední třída.
3. Náročné myšlení (složitá analýza, kód, právně citlivé věci): jen sem pouštějte to nejdražší.

I hrubé roztřídění podle klíčových slov, bez chytré automatiky, dokáže srazit náklady o 40 procent a víc. Když to doladíte tak, že drahý model řeší jen těch zhruba deset procent úkolů, které to opravdu potřebují, jde úspora přes 80 procent. Kvalita přitom u té rutiny nijak neklesne, protože na ni silný model nebyl potřeba.

3. Zapněte cache a dávkování

Dvě technické věci, které umí každý dnešní poskytovatel a hodně firem je nechává vypnuté.

• Cache opakovaného vstupu. Pokud posíláte do modelu pořád stejný začátek (firemní instrukce, ceník, dlouhý dokument), platíte za něj znovu a znovu. Se zapnutou cache stojí opakovaně poslaná část jen desetinu ceny. To je 90 procent dolů na tom, co se opakuje.
• Dávkové zpracování. Když nepotřebujete odpověď hned (noční zpracování reportů, hromadné generování popisků), pošlete to jako dávku. Bývá to o polovinu levnější než požadavky v reálném čase.

Tyhle dvě věci se navíc sčítají. U obsahových a podpůrných provozů, kde se hodně opakuje, spadne reálná cena za požadavek klidně na čtvrtinu.

4. Ořežte, co do modelu posíláte

Za každé slovo, které pošlete, platíte. A firmy posílají zbytečně moc. Typicky nacpou do dotazu pět dlouhých dokumentů, když by stačil jeden odstavec.

• Zkracujte kontext. Místo pěti dokumentů pošlete dva nejrelevantnější úseky. Zkrácení dotazu o třetinu sníží cenu o třetinu, jedna ku jedné.
• Hlídejte dlouhé konverzace. Chatovací asistent, který si u každé zprávy táhne celou historii, spálí obrovské množství tokenů na kontextu, který nikdo nečte. Nastavte rozumný strop.
• Nepište modelu romány. Kratší, jasnější zadání je levnější a často i přesnější.

5. Rozhodněte, kdy stačí levnější model a kdy vlastní řešení

Ne každý problém se řeší nejnovějším modelem. Rozhodovací pravidlo pro firmu:

• Levnější model stačí, když jde o objem jednoduchých úloh, kde na chybě sem tam nezáleží a rychlost je důležitější než dokonalost. Většina interního provozu spadá sem.
• Silný model si nechte na věci, kde chyba stojí peníze nebo pověst: komunikace s klientem, právní a finanční podklady, cokoliv, co jde ven pod vaším jménem.
• Vlastní nebo provozované řešení začne dávat smysl, až když máte velký a stálý objem. Nevyplatí se kvůli ceně za token, ale kvůli tomu, že data nikam neodcházejí a máte předvídatelný účet. Pro menší a nárazový provoz je to zbytečná režie, tam vždycky vyjde líp platit za použití.

Když si nejste jistí, kudy se vydat, nechte si ten výběr spočítat na vašich reálných objemech dřív, než se do vlastní infrastruktury pustíte. S návrhem, co má u konkrétní firmy smysl a co ne, umíme pomoct v rámci nasazení AI pro firmy.

6. Nastavte stropy, ať vás nepřekvapí faktura

Poslední krok je pojistka. Dodavatelé lákají na štědré kredity v pilotu a pak se při ostrém provozu ukáže, že skutečná spotřeba je násobně vyšší, než firma čekala.

• Nastavte měsíční limit u každého poskytovatele. Když se překročí, chcete upozornění, ne fakturu.
• Rozúčtujte náklady na týmy a projekty. Jakmile každý vidí, co jeho provoz stojí, spotřeba sama klesne. Firmy tímhle běžně ušetří 20 až 35 procent za první čtvrtletí.
• Ptejte se dodavatelů na model účtování, ještě než podepíšete. Co se počítá, kde je strop, co se stane při překročení. Cena za AI se neschovává, jen se na ni málokdo ptá.

Checklist na tento týden

• [ ] Projít faktury a karty, sepsat všechny AI nástroje na jedno místo
• [ ] Určit jednoho člověka na měsíční kontrolu účtu
• [ ] Roztřídit úlohy na rutinu a na náročné, přesměrovat rutinu na levnější model
• [ ] Zapnout cache opakovaného vstupu a dávkové zpracování tam, kde to jde
• [ ] Zkrátit kontext u nejčastějších dotazů
• [ ] Nastavit měsíční limit a upozornění u každého poskytovatele

Když projdete jen prvních pár bodů, dostanete se u typického provozu na úsporu 60 až 80 procent. AI za to nemůže. Může za to způsob, jakým ji používáme. A ten se dá změnit rychle.