AMD kupuje Taalas kvůli AI čipům s modely zapsanými v křemíku

Taalas nevyvíjí další univerzální akcelerátor. Navrhuje čip pro konkrétní model, jehož parametry nejsou uložené jen v softwaru, ale přímo v křemíku. První technologické ukázky podle dostupných informací dosahují až 17 000 tokenů za sekundu.

Takový přístup může být užitečný tam, kde model zpracovává velké množství požadavků a záleží na každé milisekundě. Například v zákaznické podpoře, při vyhledávání ve firemních dokumentech nebo při generování odpovědí v interních nástrojích. Samotné číslo z dema ale malé firmě neříká, zda má měnit infrastrukturu. Není jasné, s jakým modelem, při jaké přesnosti, délce vstupu ani spotřebě bylo dosaženo.

Model uložený přímo v čipu také omezuje snadnost jeho změny. Nasazení nového modelu může vyžadovat jiný hardware, ne jen úpravu softwaru. Pro aplikace, které se rychle mění, je to méně pružné než použití univerzálního čipu a běžného softwaru. Před posuzováním podobného řešení je proto potřeba znát vlastní provoz, zejména počet požadavků, délku odpovědí a cenu latence. Teprve podle těchto údajů lze určit, zda 17 000 tokenů za sekundu přinese měřitelnou úsporu, nebo zůstane jen výsledkem laboratorní ukázky.