Microsoft žádá méně tokenů pro Microsoft Copilot

Delší kontext může někdy pomoci, ale u jednoduchého úkolu často jen prodlouží cestu k odpovědi. Firma pak platí za text, který nikdo nepotřebuje. U malé firmy se to může rychle projevit v ceně i v odezvě nástroje. Umělá inteligence navíc dokáže napsat stránku vysvětlení k otázce, na niž stačila jedna věta.

Při práci s podobnými nástroji sleduji hlavně tři věci: zda odpověď řeší zadání, kolik oprav vyžaduje a jak dlouho trvá. Počet tokenů je užitečný provozní údaj, jako hlavní měřítko kvality ale nestačí. Model může spotřebovat mnoho tokenů a přesto minout podstatu. Kratší odpověď může být přesnější.

Úspora není univerzální pravidlo. U analýzy smlouvy, rozsáhlého kódu nebo interní dokumentace může příliš krátký kontext výsledek zhoršit. Pro běžnou administrativu, shrnutí nebo první návrh textu ale dává smysl začít menším zadáním a další kontext přidat až ve chvíli, kdy chybí. Spotřeba tokenů pak odpovídá rozsahu úkolu, místo aby se stala známkou výkonu sama o sobě.

Zdroj: The Register