OpenRouter vydal Ori Eval, nástroj pro výběr modelu podle toho, jak si vede v konkrétním projektu. Místo porovnávání obecných žebříčků nechá vývojářský agent najít prompty, definice nástrojů, chatové záznamy nebo soubory .jsonl a .csv přímo v repozitáři. Z nich vytvoří eval ve formátu *.eval.ts. Ten pak ověří nejen hotovou odpověď, ale třeba i to, zda agent zavolal správný nástroj, nepoužil zakázanou operaci, dokončil úkol v limitu nebo nepřekročil rozpočet. Za Ori Eval stojí OpenRouter.
Nástroj si při přípravě testu vyžádá jen rozhodnutí, která mění zadání: kterou část programu ověřovat, co má fungovat dobře, zda jsou k dispozici reálná data a jaký je cenový strop. Kandidáty vybírá z aktuálního katalogu OpenRouteru pod nastaveným limitem. Výsledkem je doporučení podložené skóre, dobou běhu a náklady, ne odhad podle názvu modelu.
Evaly běží přes Bun a zůstávají v projektu jako běžné soubory TypeScriptu. Vývojář je může spustit znovu po změně agenta, po vydání nového modelu nebo v samostatné úloze CI. Selhaný eval vrací nenulový kód, takže může zastavit příliš riskantní nasazení. Test přitom hodnotí chování agenta, nikoli zdrojový kód aplikace.
Ori řeší praktickou potíž týmů, které mezi modely přepínají podle dojmu nebo obecných benchmarků. Vlastní testy mohou ukázat, že levnější model stačí na úzký úkol, zatímco náročnější část vyžaduje jiný. Každý běh drží stejný harness i model, proto změna výsledku ukazuje na změnu agenta, ne na proměnlivé prostředí. Spuštění ovšem posílá požadavky ke skutečným modelům a stojí peníze.
Zdroje:
