Subscribe Now
Trending News
Shorts

__usage_ai-training: robots.txt odmítne AI trénink u čtyř firem

et, 4 dny ago
__usage_ai-training: robots.txt odmítne AI trénink u čtyř firem

OpenAI, Google, Microsoft a Anthropic oznámily 30. října 2026, že budou respektovat společný signál v souboru robots.txt, kterým provozovatel webu dá najevo, že nechce, aby se na jeho obsahu trénovaly generativní modely. Signál má podobu takzvaného policy tokenu __usage_ai-training. Dosud musel správce webu psát pravidlo pro každou firmu zvlášť: GPTBot pro OpenAI, Google-Extended pro Google, ClaudeBot pro Anthropic a u Microsoftu značky NoArchive a NoCache. Teď stačí jedna skupina pravidel. Platit ale nezačne všude najednou. Anthropic podporu už zavádí, OpenAI ji podle The Verge a Engadgetu slíbilo „v následujících měsících“, Microsoft začne 1. února 2027 a Google zatím uvádí jen rok 2027.

Návrh napsal Kevin Kelley z Anthropicu, podle The Verge technický vedoucí firmy pro standardy. Do IETF ho podal 30. října jako Internet-Draft s názvem Machine-Readable Training Preference Signal. Je to individuální draft: IETF ho neschválila a ve standardizačním procesu zatím nemá formální postavení. Standard to tedy není. Pokud nevyjde nová verze, jeho platnost vyprší 3. května 2027. Kelley ho v e-mailu pracovní skupině AI Preferences (AIPREF) nabídl jako podklad pro její další práci. Význam slova trénink si draft půjčuje z rozpracovaného slovníku téže skupiny: jde o použití obsahu ke změně naučených parametrů generativního modelu. Trénink modelů, které výhradně třídí, řadí nebo hodnotí, pod signál nespadá. V poděkování draft jmenuje mimo jiné lidi z Googlu, Microsoftu, OpenAI, Mety, Cloudflaru, Common Crawlu, BBC a Financial Times.

This is a preference about use, not a traffic-management signal; the two are intentionally separate.

Syntaxe nepřidává žádnou novou direktivu. Token se píše na řádek User-Agent, kam jinak patří jméno crawleru, a pod něj přijdou obyčejná pravidla Disallow a Allow. Příklad z draftu vyjadřuje nesouhlas s tréninkem na celém webu kromě složky /press-kit/:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Cesty se vyhodnocují stejně jako dosud podle RFC 9309, rozhoduje tedy nejdelší shoda. Skupina User-Agent: * se na token nevztahuje, takže dnešní soubory robots.txt žádnou preferenci nevyjadřují, dokud do nich správce token nenapíše. Parser, který token nezná, skupinu s ním přeskočí stejně jako skupinu kteréhokoli neznámého robota. Dvě podtržítka na začátku mají podle draftu snížit riziko, že by se token omylem shodoval se jménem skutečného crawleru.

Stahování dál řídí pravidla pro konkrétní roboty a token na nich nic nemění. Kdo nechce crawlera na webu vůbec, musí ho blokovat jeho vlastním jménem. Draft jen dovoluje, aby crawler, který stahuje výhradně pro trénink, zakázané stránky rovnou vynechal. Firmy si přitom nechávají vlastní přepínače. Google napsal, že token bez výslovného pravidla pro Google-Extended vyloží, jako by web Google-Extended zakázal, a weby, které Google-Extended výslovně povolí, se dál můžou objevovat v odpovědích aplikace Gemini. Anthropic podle Kelleyho token přidává ke stávajícím pravidlům pro své crawlery, nenahrazuje je.

Nejdál jde Microsoft. Token začne číst 1. února 2027 při procházení webu a stejnou preferenci půjde nastavit i pro jednotlivou stránku, buď meta značkou <meta name="Bingbot" content="ai-training:disallow">, nebo hlavičkou X-Robots-Tag, přičemž nastavení stránky přebije robots.txt. Vedle toho zavádí samostatnou preferenci pro grounding, tedy pro použití obsahu jako podkladu odpovědí v Copilotu nebo Microsoftu 365. Ta se nastavuje jen po stránkách a varianta DisallowExtended pustí obsah do služeb, které Microsoft sám provozuje, ale ne do groundingu, který poskytuje dalším firmám přes Web IQ nebo API ve Foundry. Obě preference nahradí starší značky NoArchive a NoCache. Kdo je dnes používá, má nové nastavení zveřejnit do 1. března 2027, potom je Microsoft přestane brát jako vyjádření k tréninku i groundingu. Na zařazení do běžných výsledků Bingu nemá žádná z těchto voleb vliv.

Token vyjadřuje jen přání a technicky nic nevynucuje. Microsoft píše, že se preference týkají budoucího tréninku, a podle Engadgetu signál nevrátí nic z toho, co firmy stáhly dřív. Draft navíc připouští, že soukromá dohoda mezi webem a AI firmou má před signálem přednost. Google návrh spojuje s evropským kodexem zásad pro poskytovatele obecných modelů podle AI Actu, který robots.txt uznává jako jeden z hlavních strojově čitelných způsobů, jak vydavatel vyjádří své preference. Meta podle The Verge novinku přivítala ústy šéfa komunikace Andyho Stonea, neřekla ale, jestli bude token respektovat.

Zdroje:

Tags #Anthropic #google #OpenAI #web scraping

Related posts