Fable 5.1 v režimu low dosáhl v CursorBench 3.2 skóre 66,2 % při průměrné ceně 2,90 dolaru za úlohu. Opus 5 na high skončil na 66,7 % a 3,91 dolaru. Fable tedy zaostal o pouhého 0,5 procentního bodu, ale vyšel o 26 % levněji. Cursor u malých rozdílů výslovně varuje, že nemusejí být statisticky významné, takže popis „stejně dobrý“ je pro tento test obhajitelný.
Na medium už Fable 5.1 získal 68,0 % za 3,53 dolaru: proti Opusu 5 na high je o 1,3 bodu výš a stále o 10 % levnější. Ještě výraznější je Grok 4.6 na medium se skóre 67,1 % a cenou 1,28 dolaru. V bodovém výsledku překonal Opus o 0,4 bodu a stál zhruba třetinu. Tabulka zároveň uvádí 23 801 tokenů a 36 kroků pro Fable medium. Grok měl 17 942 tokenů a 29 kroků, zatímco Opus spotřeboval 27 932 tokenů ve 48 krocích.
CursorBench testuje programovací agenty v editoru Cursor. Úlohy pocházejí z reálných relací vývojářů a zahrnují nejednoznačné změny napříč více soubory, orientaci v repozitáři, hledání chyb, plánování, code review, úpravy a refaktoring; verze 3.2 přidala dodržování instrukcí a pokročilou práci s nástroji. Skóre zachycuje správnost řešení v konkrétním agentním prostředí Cursoru. Cena není tarif za předplatné, ale průměr vypočtený z tokenů spotřebovaných na úlohu a veřejných sazeb za vstup, práci s mezipamětí a výstup.
Má to háček. Sada je interní, úlohy nejsou veřejné, Cursor nezveřejňuje intervaly spolehlivosti ani počet běhů a sám připouští rozptyl výsledků. Samostatný test Rails na 21 úlohách se třemi běhy přesto ukázal podobný směr: Fable 5.1 i Opus 5 vyřešily 58 z 63 běhů, zatímco celková cena byla 75 versus 120 dolarů. Tvrzení proto sedí pouze v užším znění: v CursorBench 3.2 Fable 5.1 na low drží krok s Opusem 5 na high, Fable medium je v bodovém výsledku lepší a Grok medium srovnatelný, oba levnější; univerzální vítězství v programování z toho zatím neplyne.
Zdroje:
