OpenAI, Google, Microsoft y Anthropic afirman que restringirán el acceso de sus rastreadores de IA a los sitios que incluyan una señal común de los editores, según informó primero The Verge. Esto daría a los editores un único lugar donde indicar si las empresas de IA pueden usar sus sitios para entrenar modelos, en vez de tener que gestionar por separado los ajustes de cada proveedor.
El «token de política» propuesto se incluiría en el archivo robots.txt de un sitio web, que desde hace tiempo indica a los rastreadores web si pueden extraer contenido de un sitio para indexarlo en buscadores, archivarlo o entrenar modelos de IA. Kevin Kelley, responsable técnico de estándares de Anthropic, propuso la señal como parte del Internet Engineering Task Force (IETF).
Actualmente, los editores tienen que comunicar por separado a cada empresa sus preferencias sobre el uso de su contenido para entrenar modelos de IA. Las cuatro compañías afirman que restringirán el acceso de sus rastreadores de IA a los sitios si detectan el token común, lo que permitirá reunir todos esos ajustes en una sola señal.
La propuesta llega mientras los editores siguen afrontando una avalancha de rastreadores de IA que extraen contenido de sus sitios y lo incorporan a modelos. Otras iniciativas incluyen el estándar Really Simple Licensing (RSL), que permite a los editores cobrar a los rastreadores que visitan sus sitios, y el bloqueo predeterminado de rastreadores de IA de Cloudflare.
Microsoft afirma que ofrecerá controles detallados para excluirse del entrenamiento de IA o del anclaje de IA, el proceso de dirigir un modelo de IA a una fuente verificada para reducir las alucinaciones. Según Microsoft, los sitios web seguirán apareciendo en los resultados de búsqueda de Bing independientemente de esas preferencias; Google ofrece controles similares para las funciones de búsqueda con IA y el entrenamiento, que no afectan a la visibilidad en las búsquedas. Estos ejemplos separan las preferencias de un sitio sobre el uso de IA de su presencia en los resultados de búsqueda.
Andy Stone, responsable de comunicación de Meta, también expresó su apoyo a una configuración común, pero no dijo si Meta la respetaría. Anthropic ya ha adoptado la señal; Google y Microsoft tienen previsto admitirla el próximo año, mientras que OpenAI afirma que la implementará en los próximos meses.