Laya třídí zprávy na vlastním počítači a vrací rozhodnutí s pravděpodobnostmi. Model od Nandakishora M z Convai Innovations dostane text a otázku s předem zadanými možnostmi. E-mail o dvojím účtování může zařadit k fakturaci nebo vyhodnotit, zda zákazník hrozí odchodem. Otázku i možné odpovědi zadává aplikace při každém volání; model je umí vyhodnotit i bez dotrénování na danou úlohu. Projektová stránka, původní repozitář.
Uvnitř běží obousměrný textový enkodér: čte vstup s kontextem z obou stran a posoudí zprávu spolu se zadanou otázkou a možnými odpověďmi. Model negeneruje odpověď slovo po slovu. Vrací výběr z možností, hodnocení na škále nebo pravděpodobnost odpovědi ano. Anglická verze má 421 milionů parametrů, vícejazyčná laya-multilingual má 322 milionů a podle autorů podporuje přes sto jazyků. Kód i váhy vycházejí pod licencí Apache 2.0. Architektura a varianty.
V testu autorů trvalo vyhodnocení jedné otázky vícejazyčným modelem na grafické kartě NVIDIA T4 přibližně 33 milisekund; při zpracování deseti otázek najednou zabrala celá dávka 72,3 milisekundy, tedy přibližně 7,2 milisekundy na otázku. Balíček se instaluje příkazem pip install laya a jeho Router vybírá variantu podle jazyka vstupu. Po stažení vah lze model provozovat offline. Vysoká pravděpodobnost sama nezaručuje správné zařazení zprávy, proto je před nasazením potřeba zkontrolovat výsledky na vlastních datech. Měření a použití, lokální provoz.
Zdroje:
