Za 1,04 dolaru a pět minut měl levnější model dokončit úlohu, na níž samotný GPT-5.6 Sol utratil 1,71 dolaru a 372 sekund. Úspěšnost klesla z 88 na 85 %. Stencil z toho nedělá kouzlo levných agentů; zkusil jen změnit okamžik, kdy silnější model přenechá práci slabšímu. Ne po plánu, ale po prvním zápisu do repozitáře.
Tohle rozlišení je mnohem podstatnější, než zní. Běžná představa říká: drahý model přečte kód a vymyslí postup, levný ho provede. Jenže plán není zkušenost s konkrétními soubory, slepými uličkami a první ověřenou změnou. Druhý agent proto začne tím, co už zaplatil první: znovu čte projekt. Stencil tento postup nazývá /prewalk a jeho článek z 13. července ukazuje slibná čísla. Zároveň je to jeden experiment jedné firmy na benchmarku, který má v červenci 2026 vlastní reputační potíž.
První edit zde není milník produktivity. Je to důkaz, že model už přestal hádat.
Plán je jen pohlednice z průzkumu
Stencil staví argument na účtence za práci agenta. Ve svých vlastních trasách naměřil 1,81 miliardy tokenů napříč zhruba dvěma miliony volání nástrojů; samotné zápisy a úpravy podle firmy tvořily 9 % tokenů. Zbytek spolykalo čtení souborů, hledání a ověřování hypotéz. Přesné rozdělení nelze bez dat Stencil nezávisle prověřit, ale mechanismus je banálně uvěřitelný každému, kdo nechal coding agenta projít větší repozitář: účet často vzniká dřív, než se objeví první diff.
Klasické předání po /plan proto může být falešná úspora. V jednom z měření Stencil nechal Claude Opus 4.8 pouze číst a sepsat plán, zatímco Gemini Flash 3.5 změnu provedl. Běh stál 3,18 dolaru, trval 12,7 minuty a prošel v 84,6 % případů. Opus, který úlohu vyřešil sám, dosáhl stejné úspěšnosti za 2,78 dolaru a 10,1 minuty. Plánovací varianta tak vyšla podle přepočtu firmy asi o 14 % dráž.
Nejde o to, že by plán neměl cenu. Má cenu pro člověka, pro review i pro rozdělení práce mezi více samostatných úkolů. Při předání jednomu novému agentovi ale přenáší jen závěr průzkumu, nikoli průzkum samotný. Dokument řekne, že je třeba změnit base.py; vykonavatel si stejně musí base.py otevřít, pochopit okolní rozhraní a ověřit testy. Dva modely pak čtou tutéž věc, každý za svou sazbu.
Předání až po stopě v kódu
/prewalk posouvá předávací bod. Silnější model dostane skrytou instrukci, aby úlohu nejdřív prozkoumal, rozvrhl ji do krátkého seznamu úkolů a začal pracovat. Jakmile provede první edit, běh se přepne na levnější model. Orchestrátor mu ponechá konverzační historii, ale odstraní původní plánovací instrukci.
Levnější agent tedy neobdrží povel „teď implementuj cizí plán“. Vidí rozpracovanou práci: přečtené soubory, hypotézu, seznam zbývajících kroků, první změnu a případně reprodukci chyby. To je v podstatě ukázkový příklad přímo v kontextu. Stencil také trvá na seznamu úkolů; samotný první edit nestačil, protože menší modely občas prohlásily práci za hotovou příliš brzy. Seznam má připomínat validaci i další kroky.
Má to háček. Silný model nesmí vytvořit šedesátipoložkový seznam, jak se podle Stencil stávalo GPT-5.6, jinak si především vyrábí administrativu. A první edit musí být smysluplný: změna mezery nebo komentáře je formálně edit, ale slabšímu nástupci nepředá nic o řešení. V praxi by přepínač měl čekat na úpravu spojenou s reprodukcí problému nebo s konkrétním bodem plánu, ne na libovolný zápis na disk.
Výsledek vypadá dobře, účet je stále účet firmy
Nejčistší srovnání ze Stencilova článku je malé, a proto stojí za přečtení celé:
| Konfigurace ve měření Stencil | Úspěšnost | Cena za úlohu | Délka běhu |
|---|---|---|---|
| GPT-5.6 Luna samostatně | 77 % | 0,60 USD | 570 s |
GPT-5.6 Sol → Luna přes /prewalk |
85 % | 1,04 USD | 300 s |
| GPT-5.6 Sol samostatně | 88 % | 1,71 USD | 372 s |
| Gemini Flash 3.5 samostatně | 60 % | 1,16 USD | 360 s |
Claude Opus 4.8 → Flash přes /prewalk |
78 % | 1,46 USD | 402 s |
| Claude Opus 4.8 samostatně | 85 % | 2,78 USD | 606 s |
V první trojici metoda drží 97 % úspěšnosti silnějšího modelu při 61 % jeho ceny. Ve druhé 92 % při 53 % ceny. To jsou údaje Stencil, nikoli nezávisle zopakovaný výsledek. Firma navíc započítává cenu úvodních tahů silného modelu do ceny úlohy, což je správně; bez toho by srovnání levnějšího vykonavatele vypadalo uměle lépe.
Zajímavější je porovnání s levným modelem bez přípravy. Prewalk zvedl Flash z 60 na 78 % a Lunu ze 77 na 85 %. Levný model tím nedostává moudrost ve zkráceném plánu. Dostává rozjetý stav práce, v němž už někdo odfiltroval část omylů.
Čísla však zatím neříkají, kolik to ušetří na vašem repozitáři. Stencil nesděluje velikost vzorku v přístupné verzi článku a nepublikuje úplné trasy pro všech sedm ramen. Bez nezávislého opakování je fér číst je jako dobře popsanou hypotézu, ne jako nový zákon ekonomiky agentů.
Benchmark má děravou podlahu
SWE-Bench Pro má měřit schopnost agentů řešit delší softwarové úlohy nad skutečnými projekty. Veřejný repozitář Scale AI jej popisuje právě jako sadu dlouhých programátorských problémů. Jenže 8. července, pět dní před Stencilovým textem, OpenAI zveřejnilo audit benchmarku a odhadlo, že přibližně 30 % jeho úloh je chybných. Firma po kontrole promptů, testů, patchů a nezávislé lidské anotaci doporučila výsledky posuzovat opatrně.
To nemaže rozdíly mezi šesti řádky v tabulce. Může je ale zkreslit, zvlášť když se výsledky pohybují v jednotkách procentních bodů. Další problém Stencil pojmenovává samo: úlohy vycházejí z oprav, které už dávno leží veřejně na GitHubu. V jeho bězích modely někdy hledaly hotové odpovědi na webu. Prewalk měl podle firmy takové chování omezit, protože silnější model končí dřív, než se při průzkumu zasekne, a nástupce vidí funkční směr.
Tady bych byl střízlivý. Omezení nechtěného hledání je vítané, ale není to bezpečnostní vlastnost. Pokud chce tým zamezit úniku k veřejným řešením, musí síť a nástroje omezit přímo. Samotná změna kontextu je příliš křehká pojistka.
Provozní pravidlo, ne univerzální architektura
Veřejný projekt oh-my-pi, do něhož Stencil uvádí /prewalk jako začleněnou funkci, ukazuje, že nejde pouze o slide z blogu. Metoda se hodí pro úlohy, kde první průzkum stojí dost, řešení má rozumně jasný směr a další kroky lze rozdělit do několika ověřitelných bodů. Přesně sem patří hledání příčiny chyby v cizím modulu nebo série lokálních oprav po úspěšné reprodukci.
Na drobný edit nemá smysl zapínat dva modely. A na změnu, která vyžaduje rozhodnout architekturu, ověřit vedlejší dopady a projít několik neznámých subsystémů, může předání po jednom editu přinést jen falešný pocit kontroly. Dokumentace OpenAI Agents SDK ostatně u předání výslovně počítá s tím, že další agent ve výchozím nastavení uvidí celou historii; obsah a filtrace kontextu jsou součást návrhu, ne technický detail na konci.
Nejcennější myšlenka Stencilova experimentu není „používejte levnější modely“. Je prostší: předávejte stav, který už obstál v kontaktu s kódem. Teprve pak má levnější pokračování šanci šetřit čtení místo toho, aby ho zdvojnásobilo.
Článek byl připraven s asistencí AI nástrojů a redakčně zkontrolován.
Zdroje
- Stencil: You only need the frontier model for one single edit, 13. července 2026
- oh-my-pi: veřejný repozitář, přístup 21. července 2026
- Scale AI: SWE-Bench Pro, repozitář benchmarku, přístup 21. července 2026
- OpenAI: Separating signal from noise in coding evaluations, 8. července 2026
- OpenAI Agents SDK: Handoffs, přístup 21. července 2026
