Český startup BottleCap, za kterým stojí Tomáš Mikolov a Jaroslav Beck, ukázal jedny z prvních veřejných výsledků své práce. Vzal populární otevřený jazykový model Qwen od čínské Alibaby a upravil ho tak, aby při stejné kvalitě odpovědí spotřeboval podstatně méně výkonu.
Trik je v tom, že model uměle nepřemýšlí déle, než musí. Novější modely si před odpovědí generují dlouhé vnitřní úvahy, což zabere spoustu výpočtu i času. BottleCap tuhle část ořezal na míru. Podle měření firmy pak upravený Qwen spotřebuje na uvažování o 46 procent méně tokenů, odpovídá rychleji a jeho provoz vyjde levněji.
Kvalita přitom prý nijak neklesla. Na dvanácti nezávislých testech dává model skoro stejně přesné odpovědi jako předtím, jen za zhruba polovinu tokenů. Výsledek pod názvem ThinkingCap firma zdarma vystavila na Hugging Face pod otevřenou licencí, takže si ho může kdokoli stáhnout a používat.
Pro firmy je to konkrétnější zpráva, než na první pohled vypadá. Účet za provoz jazykových modelů se počítá právě podle tokenů. Když jich stejná úloha spotřebuje polovinu, spadne o polovinu i faktura za jejich běh, a odpověď navíc přijde dřív. Že za tím stojí tým kolem Tomáše Mikolova, jednoho z průkopníků téhle oblasti, tomu dodává na váze.
Většina firemních AI projektů nikdy nedojede do provozu a důvod málokdy bývá technika. Kdy se vlastní vývoj vyplatí, kdy je to drahá past a podle čeho se rozhodnout.
Máte vizi AI agentů ve vaší firmě? Jak ji proměnit v realitu? Šestý článek naší série se věnuje strategii úspěšné implementace, od posouzení připravenosti a budování nezbytných digitálních základů až po výběr správného partnera a měření reálných přínosů. Zjistěte, jak naplánovat a provést…
AI agenti nejsou jen o firemní efektivitě, ale i o změně vaší každodenní práce. Zjistěte, jak se díky digitálním kopilotům můžete zbavit nudné rutiny a získat více času na kreativitu, strategické myšlení a úkoly s vyšší přidanou hodnotou. Pátý díl naší série nabízí odlehčený pohled na to, jak AI…
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.
