Česká firma BottleCap AI, za kterou stojí Tomáš Mikolov a Jaroslav Beck, vzala otevřený jazykový model Qwen od Alibaby a přestavěla ho tak, aby na stejnou práci potřeboval míň. Výsledek se jmenuje ThinkingCap a na platformě Hugging Face si ho lidé stáhli už přes 300 tisíckrát. Hranici tří set tisíc překonal desátého července.
Hlavní tah je v tom, že model spotřebuje až o 46 procent méně tokenů. Tokeny jsou to, co se u provozu AI platí a co určuje rychlost. Míň tokenů znamená nižší účet za provoz a kratší čekání na odpověď. Autoři přidali i verzi FP8 a zpřístupnili ji přes rozhraní služby Requesty.
Model se dá stáhnout zdarma a rozjet na vlastních serverech, licence Apache 2.0 to dovoluje. BottleCap si nechává placené jen nasazení a další ladění u konkrétních firem.
Většina tuzemských firem dnes AI bere přes cizí cloud a platí za každý dotaz. Model, který zvládne totéž s menší spotřebou a dá se navíc provozovat u sebe, ten účet snižuje a citlivá data drží doma. Že za jedním z nejstahovanějších otevřených modelů stojí Češi, přitom není špatná zpráva ani pro tuzemský trh.
AI Copilot v CRM shrne obchodníkovi historii zákazníka, ale stav faktury, skladovou zásobu nebo požadavek podpory ověří jen přes propojení s příslušnými systémy.
Copilot v CRM shrne obchodní případ a navrhne e-mail, ale pravidelné kontroly, zápisy do dalších systémů a opakování po chybě musí zajistit automatizace.
Jeden AI agent za 4 dny provedl 4 819 volání a jeho provoz stál téměř 4 000 dolarů. V ostrém provozu je vedle technické dostupnosti potřeba hlídat výsledky, spotřebu a možnost automatizaci zastavit.
Napište nám, co u vás řešíte. Společně probereme, jestli vám můžeme pomoci.
