Jorge Turbica / blog · Blog ← Todos los artículos EN · Read in English
IA

Un solo token de robots.txt vetará el entrenamiento de IA, y Bing jubila NoArchive para la IA

Google, Microsoft y OpenAI respetarán __usage_ai-training. Si usas NoArchive en Bing, tienes hasta el 1 de marzo de 2027 para migrar.

Dos líneas en robots.txt bastarán para decir "no entrenéis con mi web" a varios proveedores de IA a la vez. El 30 de octubre de 2026 Google, Microsoft y OpenAI anunciaron que respetarán el mismo token, __usage_ai-training, y Microsoft puso además fecha de caducidad a sus controles actuales: desde el 1 de marzo de 2027, NoArchive y NoCache dejarán de contar como preferencia para entrenamiento y grounding.

Qué cambia: un token por propósito, no por bot

Hasta ahora, vetar el entrenamiento obligaba a mantener una lista de nombres: Google-Extended, GPTBot, ClaudeBot… y en Bing ni siquiera había un token de robots.txt, sino las etiquetas NoArchive y NoCache. El nuevo mecanismo lo define el Internet-Draft Machine-Readable Training Preference Signal, publicado el 30 de octubre de 2026 por Kevin Kelley, de Anthropic. La idea es reutilizar la gramática de RFC 9309 tal cual: un grupo con un policy token en la línea User-Agent que no corresponde a ningún crawler, sino a un uso del contenido.

text
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Esto expresa una preferencia en contra del entrenamiento en todo el sitio, salvo en /press-kit/. El borrador toma la definición del grupo de trabajo AIPREF del IETF: entrenar es usar el contenido para modificar los parámetros de un modelo de IA generativo; los modelos que solo clasifican o puntúan quedan fuera.

Cada proveedor lo adopta a su ritmo:

ProveedorCuándoCómo lo interpreta
Microsoft (Bing, Copilot, Microsoft 365)Desde el 1 de febrero de 2027Entrenamiento en robots.txt o por página; grounding aparte, solo por página
GoogleA principios de 2027Un Disallow equivale a bloquear Google-Extended, si no lo nombras
OpenAISin fecha publicadaRespetará la señal compartida

Impacto: lo que se rompe si no haces nada

La señal es opcional, pero el cambio de Microsoft no. Si tu web usa NoArchive o NoCache para que Bing no entrene ni use tu contenido en respuestas generadas, esa protección tiene plazo: a partir del 1 de marzo de 2027 Microsoft ya no las leerá como preferencia de entrenamiento ni de grounding. Y si detecta las preferencias nuevas en un sitio, ignorará las antiguas desde ese momento.

Además, Microsoft separa dos usos que hasta ahora iban juntos:

  • AI Training: modificar los pesos de modelos futuros. Se declara en robots.txt (sitio o ruta) o por página.
  • AI Grounding: usar la página como contexto para generar una respuesta en Bing, Copilot o Microsoft 365. Solo por página, con tres valores: Allow (por defecto), DisallowExtended (solo productos operados por Microsoft, no Web IQ ni el grounding por API de Foundry) y Disallow.

Ninguna de las dos afecta a la elegibilidad en los resultados de Bing, y las dos valen Allow si no publicas nada.

Cómo configurarlo

Para el sitio o una ruta, el grupo compartido de robots.txt; para páginas concretas, la etiqueta o la cabecera de Bingbot que documenta Microsoft:

html
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
text
X-Robots-Tag: Bingbot: ai-training:disallow
X-Robots-Tag: Bingbot: ai-grounding:disallow

La preferencia de entrenamiento a nivel de página prevalece sobre la de robots.txt. Si vienes de NoArchive o NoCache y quieres seguir fuera del grounding, Microsoft pide dos pasos antes del 1 de marzo de 2027: publicar ai-grounding en tus páginas y registrar una preferencia temporal en Bing Webmaster Tools, que abre esa opción el 15 de diciembre de 2026 solo para sitios que ya usan esas etiquetas. Esa preferencia temporal dura hasta que Bing vuelva a rastrear la página o hasta el 30 de septiembre de 2027, lo que ocurra antes.

En una web servida por CDN o con cabeceras gestionadas como código (Nginx, Cloudflare, Firebase Hosting…), la vía de la cabecera es la más cómoda para aplicar la preferencia a rutas enteras sin tocar plantillas.

Trampas y casos límite

  • El comodín no cuenta. Un User-Agent: * con Disallow: / no expresa ninguna preferencia de entrenamiento: el borrador prohíbe expresamente que se interprete así. Si no hay un grupo __usage_ai-training, no has dicho nada.
  • No bloquea el rastreo. Es una preferencia sobre el uso, no una directiva de crawling. Para limitar tráfico siguen haciendo falta los grupos de cada bot.
  • Lo específico gana. Google solo trata tu Disallow compartido como un bloqueo de Google-Extended si no nombras Google-Extended; si lo permites explícitamente, manda esa regla. El alcance importa: según la documentación de crawlers de Google, Google-Extended también controla el grounding en Gemini Apps y en Vertex AI. Vetar el entrenamiento con el token compartido te saca también de esas respuestas, y permitir Google-Extended para seguir en ellas es permitir a la vez que Google entrene.
  • Publicar no es activar. Microsoft tiene que volver a rastrear cada página para leer la preferencia; IndexNow ayuda a que pase antes, pero no garantiza fecha.
  • Es un borrador individual. Caduca el 3 de mayo de 2027 si no se renueva, y no tiene aún respaldo formal del grupo de trabajo. Lo que lo hace útil es que los grandes proveedores ya se han comprometido a leerlo.

La acción concreta para cualquier web con contenido propio: decidir por separado entrenamiento y grounding, añadir el grupo __usage_ai-training si quieres vetar lo primero y, si dependías de NoArchive en Bing, apuntar el 1 de marzo de 2027 en el calendario.

Fuentes

Jorge Turbica

Software Engineer y SRE. Escribo sobre los retos reales que me encuentro en producción.

Ver portfolio ↗