Cloudfare ha anunciado nuevas herramientas para que los clientes puedan gestionar el acceso de los rastreadores de IA a sus páginas web, que buscan restringir su paso o monetizar dicho acceso a través de un pago.
Las páginas web pueden usar el archivo robots.txt para limitar el acceso de los rastreadores de los buscadores a todo o parte del contenido, para que no lo indexen, pero se trata de un recurso "infrautilizado", según apuntan desde Cloudfare, ya que solo el 37 por ciento de los 10.000 dominios principales lo tienen.
Los rastreadores de búsqueda generan tráfico y ayudan a los creadores a monetizar su contenido, si así lo quieren, ya que hacen que sus webs sean más fáciles de encontrar. Sin embargo, recientemente ha aparecido un tipo de rastreador que recopila datos para entrenar modelos de IA que apenas genera tráfico.
Según Cloudfare, de ese 37%, "pocos incluyen directivas de deshabilitación para los principales 'bots' de IA" más populares, entre los que se encuentran los de OpenAI, Anthropic, Google y Perplexity, como explica en su blog oficial.
"Los propietarios de sitios web deberían tener control sobre la actividad de los bots de IA en sus sitios web", afirma Cloudfare, en referencia a una situación que afrontan los creadores que se han preocupado por crear contenido original y facilitar su indexación, pero no quieren que se use para entrenar modelos de IA.
Cloudfare ha facilitado a sus clientes un nuevo botón que activa el archivo robots.txt para gestionar el tráfico de los 'bots' de IA, que pueden configurar para que restrinjan el acceso o para que los rastreadores puedan acceder a determinadas partes y bloquear, por ejemplo, solo donde se muestran anuncios.
Por otra parte, los clientes de Cloudfare también podrán cobrar a los rastreadores de IA por el acceso a su contenido. "En lugar de un bloqueo general o un acceso abierto sin compensación, queremos empoderar a los propietarios de contenido para que moneticen su contenido a escala de internet", explican desde la compañía tecnológica.
El pago por rastreo se integra en la infraestructura web para crear un marco para el acceso a contenido pago. Está actualmente en una fase de desarrollo beta privada.
Últimas Noticias
Iniesta: "Independientemente de las cosas que puedan salir, el socio decidirá lo que es mejor para el Barça"
Andrés Iniesta remarca que cada miembro de la institución ejercerá su derecho democrático en las próximas elecciones del Barcelona, subrayando la importancia de que la comunidad culé defina el futuro del club pese a las recientes polémicas
Mar Fábregas, reelegida para un tercer mandato consecutivo al frente de AESEG
Wikipedia elimina los enlaces al servicio web archive.today y lo vuelve a añadir a su lista negra tras un ataque DdoS
Tras detectar la utilización de un popular servicio de archivado digital en ciberataques recientes, la principal enciclopedia digital limita la incorporación de nuevos vínculos y advierte riesgos significativos para la seguridad y la fiabilidad de los usuarios
Smotrich apunta un "ultimátum" a Hamás para su desarme y avisa de que Israel "conquistará" Gaza si no lo hace
El responsable de Finanzas israelí asegura que, de no ceder el grupo islamista, las fuerzas armadas avanzarán con una ocupación total y nuevos asentamientos, mientras se intensifican las dudas sobre la aceptación de cualquier desarmamento por parte de Hamás
Telefónica Brasil gana un 11,2% más en 2025, hasta los 1.015 millones de euros
Vivo reporta “uno de los mejores resultados” de su historia tras obtener un marcado progreso operativo, mayores dividendos a sus accionistas e incremento del flujo de caja, impulsados por el avance en digitalización, eficiencia y expansión de redes avanzadas
