Corrida para Bloquear Bots de Scraping da OpenAI Diminui – Parcerias Estão Fazendo a Diferença?

A Corrida para Bloquear os Bots de Scraping da OpenAI Está Diminuindo

Quando a OpenAI lançou seu bot de scraping, GPTBot, em agosto de 2023, muitos sites de mídia rapidamente se moveram para bloquear seu acesso. Usando o robots.txt, um arquivo que permite que os administradores da web controlem o comportamento de bots em seus sites, mais de um terço dos 1.000 principais sites de notícias bloquearam o bot. No entanto, essa tendência começou a diminuir à medida que a OpenAI começou a fechar acordos de licenciamento com grandes editores.

O Papel das Parcerias

Nos últimos meses, empresas como Dotdash Meredith, Vox e Condé Nast (dona da WIRED) fecharam acordos com a OpenAI. Como resultado, esses sites atualizaram seus arquivos robots.txt, permitindo que os bots da OpenAI acessem seus conteúdos. Isso significa que, ao contrário do aumento inicial de bloqueios, o número de sites bloqueando GPTBot está caindo – hoje, menos de um quarto dos sites de notícias bloqueiam o bot.

Por Que os Editores Estão Mudando de Estratégia?

A mudança nas atitudes dos editores pode ser atribuída ao fato de que os acordos de licenciamento dão permissão explícita para o uso de seus dados. Esses acordos, em vez de ‘barrar’ o acesso dos bots, permitem que a OpenAI use ‘feeds diretos’, ou seja, dados fornecidos pelos próprios editores, eliminando a necessidade de scraping tradicional.

Robots.txt e o Futuro do Scraping

Embora o robots.txt não seja legalmente vinculativo, ele tem sido amplamente respeitado por empresas de tecnologia ao longo dos anos. No entanto, à medida que a OpenAI e outras empresas de IA fecham mais acordos, a importância do robots.txt pode diminuir. Algumas empresas, como a Time, ainda mantêm seus bloqueios ao GPTBot, mas com o aumento das parcerias, essas exceções podem se tornar mais raras.

Conclusão

A diminuição no bloqueio dos bots de scraping da OpenAI é um reflexo de uma mudança na estratégia dos editores de mídia. Com mais parcerias sendo firmadas, o uso de bots para scraping pode se tornar menos relevante, à medida que as empresas fornecem dados diretamente. A questão agora é: até que ponto esses acordos mudarão o cenário da proteção de dados na era da IA?

Quer saber mais sobre IA e proteção de dados? Confira o Curso de Design Gráfico Online | Transformação Criativa.

• Desenvolver uma ferramenta de monitoramento para editores controlarem e personalizarem como seus dados são acessados por bots de IA.
• Criar uma plataforma que facilite a negociação de acordos de licenciamento entre empresas de mídia e desenvolvedores de IA.
• Lançar um serviço de consultoria para ajudar sites a otimizar suas estratégias de bloqueio e liberação de bots de scraping, protegendo seus dados enquanto maximizam suas parcerias.

Alguns críticos especulam que a OpenAI pode estar utilizando suas negociações de parcerias como uma forma de minar a proteção de dados, criando uma situação onde os editores se sentem pressionados a liberar o acesso para não ficarem para trás. Outros sugerem que os acordos são apenas o primeiro passo para um controle ainda maior sobre os dados da web, transformando o scraping em algo tão comum que será impossível controlar. Será que estamos vendo o início de uma nova era de coleta de dados sem limites?

• Por que o bot da OpenAI não gosta de sites com robots.txt? Porque eles são como portas trancadas para ele!
• O que um bot disse para o outro? ‘Vamos tentar de novo amanhã, talvez eles nos desbloqueiem!’
• Por que o GPTBot entrou em depressão? Porque não conseguiu acessar o site da Time!

Analise como o uso de acordos de licenciamento pela OpenAI está transformando a forma como os dados são acessados e como isso pode impactar a proteção de dados na era da IA.