„Ústava Spojených států je text, který se do trénovacích dat velkých jazykových modelů sype pořád dokola,“ vysvětloval Edward Tian pro Ars Technicu poté, co jeho GPTZero označil pasáže americké ústavy za pravděpodobně strojové. Tian tím hájil svůj produkt. Přitom docela přesně popsal, kde je vada.
Detektor nepozná stroj. Pozná text, který se podobá tomu, na čem se stroje učily.
Takhle jednoduché to je.
Od dneška, 2. srpna 2026, platí v celé Evropské unii povinnosti transparentnosti podle článku 50 nařízení o umělé inteligenci. Vedle nich už roky funguje druhý režim, který nikdo neschvaloval: školy i redakce pouštějí cizí texty do detektorů a podle výsledku rozhodují o lidech. Ty dva systémy se ptají na dvě různé věci. Odpověď existuje jenom na jednu z nich.
Původ v textu není
Nařízení se ptá na proces. Kdo obsah vytvořil, jakou nad ním měl autor kontorlu, kdo za něj ručí. To jsou vlastnosti okolností, za kterých text vznikl, ne vlastnosti výsledku.
Detektor má k dispozici jenom výsledek. Umí měřit perplexitu, tedy jak předvídatelné je následující slovo, a burstiness, tedy jak kolísá délka a stavba vět. Model volí statistciky nejpravděpodobnější variantu, klasifikátor měří přesně tuhle předvídatelnost. Obě jsou vlastnosti textu a ani jedna z nich nenese informaci o tom, kdo seděl u klávesnice.
Dělám v kontrole kvality na osazovací lince a tenhle typ omylu tam má vlastní jméno. Automatická optická inspekce srovná pájený spoj s referenčním vzorkem, a když se od něj odchýlí, shodí ho jako vadu. Jenže odchylka od reference není vada. Spoj bývá naprosto v pořádku a stroj ho vyhodí stejně. Říká se tomu false call a na každé slušné lince kvůli tomu sedí operátor, který nálezy přetřiďuje ručně, protože bez něj by linka vyhazovala dobré kusy. U textů takový operátor většinou nesedí nikde. Verdikt detektoru se bere rovnou jako nález.
Šedesát jedna procent
Nejcitovanější důkaz publikoval v červenci 2023 Weixin Liang se svým týmem ze Stanfordu, v časopise Patterns. Vzali 91 esejí z testu TOEFL, tedy prací psaných nerodilými mluvčími pod dozorem u zkoušky, a 88 esejí amerických osmáků. Pustili je přes sedm komerčních detektorů.
U osmáků nástroje šlapaly skoro bezchybně. U esejí, které psali nerodilí mluvčí a u nichž tedy nebylo vůbec o čem pochybovat, označily nástroje za strojové v průměru 61,3 % prací, a aspoň jeden ze sedmi shodil 97,8 % z nich. Vysvětlení autoři našli v perplexitě. Kdo píše cizím jazykem, sahá po opatrnějším slovníku a jednodušší stavbě věty, takže je předvídatelnější.
Pak přišla ta část, kterou by si měl přečíst každý, kdo podle detektoru rozhoduje. Výzkumníci nechali tytéž eseje přepsat s bohatším a ozdobnějším slovníkem. Chybovost spadla z 61,3 % na 11,6 %.
Ty práce nebyly o nic poctivější ani lidštější.
Jenom zněly komplikovaněji.
Sám OpenAI si ten problém odbyl rychle. Klasifikátor spustil 31. ledna 2023 a 20. července téhož roku ho bez velkého povyku stáhl s vysvětlením, které se vešlo do jedné věty přilepené pod původní oznámení: nástroj má nízkou přesnost. Při spuštění zachytil 26 % strojových textů, zatímco 9 % lidských označil za strojové. Firma, která ty modely staví a zná je zevnitř, nedokázala postavit detektor na vlastní výstup a po půl roce toho nechala.
Goodhartův zákon v redakci
Představ si tři autory, kteří odevzdají prakticky stejný text.
- První ho psal s AI, dodal vlastní téma i ověřená data a poctivě to označí. Nese cejch.
- Druhý ho napsal sám, ale píše střízlivě a bez ozdob. Detektor ho shodí taky, akorát neprávem.
- Třetí ho vygeneroval, pak do něj nasypal hovorové vsuvky, pár překlepů a rozbil rytmus vět. Projde čistý.
Poctivost i stylistická kázeň v tomhle uspořádání prohrávají.
Vyhrává kamufláž. Učebnicová ukázka Goodhartova zákona: jakmile se z měřítka stane cíl, přestává být dobrým měřítkem.
Druhý náklad je plíživější a vidím ho na sobě.
Když víš, že text poleze do detektoru, začneš se vyhýbat věcem, které detektor dráždí. Paralelním konstrukcím. Čistým přechodům mezi odstavci. Pomlčce. Vyrovnané stavbě odstavce. Tedy věcem, které psaní obvykle dělají srozumitelným. Píšeme hůř, abychom působili lidsky, a to kvůli nástroji, který se ten uhlazený styl naučil od nás. Kruh se uzavírá tím, že se autor distancuje od svého vlastního průměru, protože ho stroj zvládl napodobit.
Můj argument má díru
Čísla ze Stanfordu jsou z roku 2023 a mířila na tehdejší generaci nástrojů. Od té doby se detekce posunula. Pangram, který vznikl později, hlásí na téže sadě TOEFL esejí nulovou chybovost. U aktualizovaného modelu konkurenčního GPTZero naměřil 7,7 %.
Obě čísla pocházejí z technické zprávy jednoho dodavatele. O sobě nula, o konkurenci 7,7 a měřeno na sadě, která předtím usvědčila celou kategorii. Žádná sláva jako důkaz.
Beru to tak, že technicky se detekce zlepšila a tvrdit dneska „detektory nefungují“ by byla lenost.
Na jádru to ale nemění nic. I detektor se stoprocentní úspěšností by odpovídal na otázku, jestli text vypadá strojově. Redakci ani soud přitom zajímá něco úplně jiného: jestli za tím obsahem někdo stojí a nese následky.
Co po tobě AI Act doopravdy chce
Kolem článku 50 se usadil mýtus, že od dneška musí dostat nálepku každý výstup z chatbota. Pokyny Evropské komise i výklad České asociace umělé inteligence říkají opak. Článek 50 obsahuje pět různých povinností a každá dopadá na jiného aktéra.
Označování chatbotů leží na poskytovateli systému, ne na autorovi. Strojově čitelné značkování výstupů podle odstavce 2 je technická vrstva, opět pro poskytovatele, a u systémů uvedených na trh před dneškem se odkládá na 2. prosince 2026. Viditelné označení pro čtenáře podle odstavce 4 se týká deepfaků a některých textů publikovaných ve veřejném zájmu. Sankce, kterou nařízení za porušení těchto povinností připouští, jde až na 15 milionů eur nebo 3 % celosvětového ročního obratu, podle toho, které z těch dvou čísel u konkrétní firmy vyjde výš.
A pak je tam věta, kvůli které jsem si tohle všechno potřeboval srovnat v hlavě. Redakce nemusí označovat každý článek, na kterém se podílel chatbot, pokud text prošel kontrolou zdrojů, ověřením faktů a skutečným redakčním schválením a vydavatel za něj přebírá odpovědnost.
Evropský zákonodárce se tedy nakonec neptá, jestli to psala AI. Ptá se, kdo za to ručí.
Ghostwriteři a tlumočníci existují staletí a nikoho nenapadlo trvat na tom, aby autor vyznačil každou větu, kterou nenapsal vlastní rukou. Zajímalo nás jméno na obálce a to, co se s ním stane, až se ukáže, že uvnitř je nesmysl. Tian měl pravdu ve všem kromě závěru. Jeho nástroj opravdu pozná text, který se podobá trénovacím datům. Jenom to není totéž co původ a nikdy to totéž nebude.
