Cloudflare atualiza robots.txt para permitir que sites bloqueiem a raspagem de IA, permitindo a indexação de pesquisa e cobrança de rastreamentos. Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

A Cloudflare atualizou o protocolo robots.txt com novos controles de IA, permitindo que os proprietários de sites bloqueiem a raspagem de IA para treinamento, enquanto ainda permitem a indexação de pesquisa e a habilitação de taxas de pagamento por rastreamento. Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. A Política de Sinais de Conteúdo introduz diretivas como “noai” e opções de monetização, com o objetivo de dar aos editores mais controle sobre como seu conteúdo é usado. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. Embora as ferramentas sejam gratuitas para os clientes da Cloudflare e incluam monitoramento aprimorado, o ceticismo permanece sobre a conformidade voluntária, já que muitos bots de IA ignoram robots.txt. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. Os críticos enfatizam a necessidade de padrões legais exequíveis, alertando que a autorregulação por si só não protegerá os criadores do uso não autorizado de dados. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.