Meta lança Meta External Agent, um web crawler que ignora Robots.txt para coleta de dados.

A Meta lançou um novo web crawler chamado Meta External Agent para coletar dados da internet, em particular de conteúdo exibido publicamente, como artigos de notícias e discussões on-line. O rastreador coleta dados para o modelo de IA da Meta, ignorando as medidas padrão de proteção do site que dependem de arquivos Robots.txt. Este movimento demonstra o compromisso da Meta em treinar e melhorar seus modelos de IA.

August 21, 2024
6 Artigos