Egyetlen robots.txt-szabállyal lehet majd jelezni, hogy egy weboldal tartalmát ne használják AI-modellek tanítására: a Google, a Microsoft, az OpenAI és az Anthropic is támogatja az új, közös jelzést. A javaslatot az Anthropic munkatársa, Kevin Kelley nyújtotta be IETF-tervezetként október 30-án, a Google és a Microsoft pedig ugyanakkor jelentette be, hogy beépíti.
Hogyan működik?
Eddig minden cég saját robotot (crawlert) és saját tiltási szabályt használt: a GPTBot, a Google-Extended és társaik külön-külön kellettek a robots.txt-be. Az új megoldás egy közös, kitalált „felhasználói ügynököt” vezet be __usage_ai-training néven. Ez nem egy valódi robot, hanem egy jelzés arról, mire használhatók a tartalmak. A Microsoft példája szerint a teljes oldal így zárható ki az AI-tanításból:
User-Agent: __usage_ai-training
Disallow: /Az IETF-tervezet példájában a teljes oldal tiltva van, kivéve a sajtóanyagokat tartalmazó mappát, amelyhez kifejezetten engedélyt ad (Allow: /press-kit/). A jelzés csak a tanításra vonatkozik, a keresőbe kerülést nem befolyásolja: a Microsoft szerint a Bing keresési találatai között ugyanúgy megjelenik az oldal.
Mikortól érvényes?
| Cég | Bevezetés |
|---|---|
| Microsoft (Bing) | 2027. február 1. |
| 2027 eleje | |
| OpenAI | „az elkövetkező hónapokban” |
| Anthropic | a munka elkezdődött, dátum nélkül |
A Microsoft a régi NoArchive és NoCache jelölőket váltja ki vele. Aki eddig ezekkel tiltotta az AI-felhasználást, annak 2027. március 1-jéig át kell állnia, utána a régi jelölőket a Bing már nem veszi figyelembe tanítási vagy grounding-beállításként. A grounding azt jelenti, hogy egy AI-asszisztens válasz közben forrásként idéz egy oldalt. A Microsoft ezt oldalanként, meta tagben külön is szabályozhatóvá teszi. A DisallowExtended beállítás például csak a saját termékekben (Copilot, Microsoft 365) engedi a felhasználást, a harmadik feleknek árult szolgáltatásokban nem. A cég arra is figyelmeztet, hogy aki letiltja a groundingot vagy a tanítást, az jóval kevésbé lesz látható az AI-válaszokban.
A The Next Web szerint a Google úgy kezeli majd, hogy aki az új jelölővel tilt, de a Google-Extended-et nem említi, az a Google-Extended-et is tiltja.
A korlátok
A tervezet egyéni beadvány, az IETF nem hagyta jóvá, és nincs hivatalos szabványstátusza. A jelzés kérés, nem technikai tiltás: a jóhiszemű cégek betartják, de az adatkaparókat nem állítja meg. A Microsoft azt is kiemeli, hogy a beállítás nem jelent licencelési vagy fizetési megállapodást. A Meta nem jelezte, hogy csatlakozik. A kiadók és a nagy platformok közti vitáról nemrég a Meta új üzleti feltételei kapcsán írtunk, az AI-adatkaparás elleni védekezésről pedig a Reddit API-lezárásánál.
