Projekt Harness Tax porovnává stejný jazykový model při přímém volání API a přes Claude Code. Test stojí na pěti uměle navržených programátorských úlohách, aby výsledky nestály na zapamatovaných řešeních. Harness tady znamená vrstvu kolem modelu: systémové instrukce, definice nástrojů a smyčku pro práci se soubory. Úloha není jediný spotřebitel.
Autoři srovnali přímé API, jednorázový běh Claude Code s nástrojem Write a agentní běh s lokálními nástroji. Mezi přímým API a jednorázovým během, kdy model mohl soubor jen zapsat a nemohl si výsledek ověřit, vyšla kontextová režie 40–125× a náklady na jeden pokus stouply pětkrát až osmkrát. U jednoho modelu se přitom úspěšnost na první pokus zvedla o 28 procentních bodů, kdežto u už silných modelů zůstala bez změny. Čísla platí pro běhy autorů z července 2026, s Claude Code 2.1.201 a nastavením effort=high.
Veřejný repozitář obsahuje úlohy, automatické orákuly, výsledky i přepisy běhů. Záběr experimentu je úzký: agentní větev má jeden běh na kombinaci modelu a úlohy a všechny srovnávané varianty vycházejí z modelů Claude. Soubor proto poskytuje reprodukovatelný podklad k testování vlastního nastavení, nikoli žebříček všech agentních prostředí.
Zdroje:
