Češi ořezali velký AI model o polovinu tokenů. Odpovídá stejně

Český startup BottleCap, za kterým stojí Tomáš Mikolov a Jaroslav Beck, ukázal jedny z prvních veřejných výsledků své práce. Vzal populární otevřený jazykový model Qwen od čínské Alibaby a upravil ho tak, aby při stejné kvalitě odpovědí spotřeboval podstatně méně výkonu.

Trik je v tom, že model uměle nepřemýšlí déle, než musí. Novější modely si před odpovědí generují dlouhé vnitřní úvahy, což zabere spoustu výpočtu i času. BottleCap tuhle část ořezal na míru. Podle měření firmy pak upravený Qwen spotřebuje na uvažování o 46 procent méně tokenů, odpovídá rychleji a jeho provoz vyjde levněji.

Kvalita přitom prý nijak neklesla. Na dvanácti nezávislých testech dává model skoro stejně přesné odpovědi jako předtím, jen za zhruba polovinu tokenů. Výsledek pod názvem ThinkingCap firma zdarma vystavila na Hugging Face pod otevřenou licencí, takže si ho může kdokoli stáhnout a používat.

Pro firmy je to konkrétnější zpráva, než na první pohled vypadá. Účet za provoz jazykových modelů se počítá právě podle tokenů. Když jich stejná úloha spotřebuje polovinu, spadne o polovinu i faktura za jejich běh, a odpověď navíc přijde dřív. Že za tím stojí tým kolem Tomáše Mikolova, jednoho z průkopníků téhle oblasti, tomu dodává na váze.