OpenAI popsala interní model GPT-Red, kterého používá jako sparingpartnera při tréninku obrany svých jazykových modelů. Proti němu prošel i nový GPT-5.6, podle firmy nejodolnější model, jaký zatím vydala.
GPT-Red automatizuje red-teaming. Tuhle práci, tedy hledání všech způsobů, jak systém rozbít nebo unést, dosud dělaly týmy lidí, jenže s nástupem agentů, kteří čtou e-maily, sahají do souborů a volají cizí API, roste počet možných útoků rychleji, než ho manuální testování stíhá pokrýt. „Roste plocha rizika a roste i poloměr dopadu,“ říká Nikhil Kandpal z OpenAI, spoluautor modelu.
Firma cílila hlavně na prompt injection. Útočník schová instrukci do obsahu, který si agent sám načte, a přiměje ho odeslat data ven nebo změnit cizí záznam. Od jailbreaku se to liší v cíli: nejde o ukecání chatbota k zakázané odpovědi, ale o převzetí agenta, který má přístupové údaje a často i firemní platební kartu.
Trénink probíhal formou self-play. GPT-Red útočil, několik obranných modelů se bránilo, obě strany se v mnoha kolech zlepšovaly, a jakmile obrana zesílila, musel útočník vymyslet něco nového. Prostředí napodobovala reálné nasazení: prohlížení webu, čtení pošty, editaci kódu.
Nejzajímavějším nálezem má být útok Fake Chain-of-Thought. GPT-Red vloží do nedůvěryhodného obsahu text, který napodobuje interní poznámky cílového modelu, a ten pak podvržený závěr bere jako něco, co si sám před chvílí ověřil. „Je to, jako když vám řeknu, že 1+1=3 a že jste si to už ověřil,“ popisuje to výzkumník Chris Choquette-Choo.
Čísla vypadají dobře. Na interní replice jednoho benchmarku našel GPT-Red funkční útok v 84 procentech scénářů, lidští testeři ve 13 procentech. Fake Chain-of-Thought útoky měly proti GPT-5.1 úspěšnost přes 95 procent, proti GPT-5.6 Sol pod 10 procent.
Zkoušelo se to i mimo laboratoř. Proti prodejnímu agentovi Vendy od Andon Labs, který spravuje skutečný automat, dokázal GPT-Red srazit cenu zboží na padesát centů a zrušit objednávku cizího zákazníka.
Háček je v ověřitelnosti.
Většina čísel pochází přímo od OpenAI, část benchmarků je interní a slíbený preprint zatím nevyšel. Firma sama přiznává, že GPT-Red slabě pracuje s obrázky a neumí útoky, které vyžadují delší konverzaci. Pokud se navíc GPT-5.6 učil bránit hlavně proti útokům z dílny GPT-Red, zůstává otevřené, jak si povede proti útočníkovi vycvičenému někde jinde. Útok i obranu tu staví jedna firma, často z příbuzných modelů, takže slepá místa můžou být na obou stranách stejná.
GPT-Red OpenAI nezveřejní. Podle Choquette-Chooa za modelem stojí víc než rok práce a výpočetní kapacita, kterou jen tak někdo nezopakuje. Tím pádem se nedá nezávisle přeměřit ani to, jak velký náskok firma má.
Zdroje
OpenAI: GPT-Red: Unlocking Self-Improvement for Robustness. 15. 7. 2026. https://openai.com/index/unlocking-self-improvement-gpt-red/ Will Douglas Heaven: Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer. MIT Technology Review, 15. 7. 2026. https://www.technologyreview.com/2026/07/15/1140514/meet-gpt-red-an-llm-super-hacker-openai-built-to-make-its-models-safer/ OpenAI: GPT-5.6 System Card. Deployment Safety Hub. https://deploymentsafety.openai.com/gpt-5-6/ Dziemian et al.: Indirect prompt injection arena. 2025, arXiv:2603.15714 (benchmark, na jehož interní replice se GPT-Red srovnával s lidmi) Andon Labs: agent Vendy (prodejní automat v kanceláři OpenAI, obdoba projektu Project Vend)
Čísla o úspěšnosti útoků (84 % / 13 %, přes 95 % / pod 10 %, 0,05 %) a útoky na Vendy i Codex CLI pocházejí z materiálů OpenAI. Nezávislý audit ani reprodukce v době psaní nebyly dostupné – OpenAI je zde útočník, obránce i hodnotitel v jednom.
