A Cloudflare, um provedor de infraestrutura em nuvem que atende 20% da Web, anunciou na terça -feira o lançamento de um novo mercado que propõe novamente o relacionamento entre os proprietários de sites e empresas de IA -idealmente, os editores mais controle sobre seu conteúdo.
No ano passado, o CloudFlare lançou ferramentas para os editores enfrentarem o aumento desenfreado de Ai-Crawlers, incluindo uma solução com um clique para bloquear todos os bots AI, além de um painel para ver como os A-Crawlers visitam o site. Em uma entrevista da 2024, o CEO da Cloudflare, Matthew Prince, disse ao TechCrunch que esses produtos estabeleceram uma base para um novo tipo de mercado no qual os editores poderiam espalhar seu conteúdo sob as empresas de IA e poder ser compensados por isso.
Agora, o CloudFlare dá vida a esse mercado.
É chamado Pay by Crawl e Cloudflare lança o “experimento” em Privé -bèta na terça -feira. O site -proprietários do experimento podem optar por fazer com que a AI -Rawlers raspe seu site a uma velocidade fixa individualmente -um requisito micro para cada “rastreamento”. Como alternativa, os proprietários de sites podem optar por fazer com que a AI -Rawlers raspe seu site gratuitamente ou para bloqueá -lo completamente. A Cloudflare afirma que o site de suas ferramentas -os proprietários mostrarão se os rastreadores rasparam seu site para obter dados de treinamento de IA, para aparecer em ações de pesquisa de IA ou para outros fins.
É isso que os proprietários de sites veem no Pay by Crawl (Crédito: Cloudflare)
Em uma escala, o Marketplace da Cloudflare é uma grande idéia de que os editores possam oferecer um potencial modelo de negócios para a era da IA - e também coloca o CloudFlare no meio de tudo isso. O lançamento do Marketplace chega em um momento em que os editores de notícias experimentam perguntas existenciais sobre como eles podem alcançar os leitores, enquanto o tráfego de pesquisa do Google desaparece e os chatbots da AI estão aumentando em popularidade.
Não há uma resposta clara para como os editores de notícias sobreviverão na era da IA. Alguns, como o New York Times, entraram com ações contra empresas de tecnologia para treinar seus modelos de IA em artigos de notícias sem permissão. Enquanto isso, outros editores concluíram acordos de vários anos para licenciar seu conteúdo para o treinamento de IA Modelt e fazer com que seu conteúdo apareça nas reações da IA Chatbot.
No entanto, apenas grandes editores concluíram acordos de licença de IA, e ainda não está claro se oferecem fontes de renda significativas. O CloudFlare deseja criar um sistema mais sustentável, onde os editores possam definir preços em suas próprias condições.
A empresa também anunciou na terça -feira que novos sites com o Cloudflare agora bloquearão todos os rastreadores da AI como padrão. Os proprietários do site terão que dar a certos rastreadores de IA permissão para acessar seu site – uma alteração CloudFlare diz que cada novo domínio dará ‘o padrão de controle’.
Vários grandes editores, incluindo Conde Nast, Time, The Associated Press, Oceano Atlântico, Adweek e Fortune, registraram-se no Cloudflare como padrão para bloquear a AI-Crawlers como padrão para apoiar o objetivo mais amplo da empresa de uma “abordagem baseada em permissão para rastrear”.
O modelo de negócios em que muitos desses editores confiam em décadas está lentamente se tornando não confiável. Historicamente, os editores on -line permitiram ao Google raspar seus sites em troca de referências na pesquisa do Google, que se traduziram em tráfego para seus sites e, finalmente, anúncios.
No entanto, novos dados da CloudFlare sugerem que os editores podem obter um acordo mais pobre na era da IA do que na era do Google. Embora alguns sites chamem o ChatGPT como uma grande fonte de tráfego, isso não parece ser o caso.
Em junho, o Cloudflare diz que descobriu que o rastreador do Google raspou seus sites 14 vezes para cada referência que lhes deu. Enquanto isso, os sites de rastreadores da OpenAI rasparam 17.000 vezes para cada referência, enquanto sites antropais raspados 73.000 vezes para cada referência.
Enquanto isso, os agentes do OpenAI e do Google, projetados para visitar sites em nome dos usuários, estão construindo, coletam informações e entregam diretamente aos usuários. Um futuro em que essas ferramentas são mainstream tem enormes implicações para os editores que dependem de leitores que visitam seus sites.
O CloudFlare observa que o ‘verdadeiro potencial’ dos salários por rastreamento pode surgir em um futuro ‘agente’.
“E se um Paywall Agentic pudesse funcionar totalmente programaticamente na rede Edge? Imagine que você peça ao seu programa de pesquisa profundo favorito para ajudá -lo a sintetizar a pesquisa mais recente de câncer ou uma tarefa legal ou apenas ajudá -lo a encontrar o melhor restaurante do Soho – e depois dar a esse agente um orçamento em um blog para o conteúdo melhor e mais relevante.
Para participar do mercado experimental da Cloudflare, as empresas e editores de IA devem ser configurados com contas Cloudflare. Em suas contas, ambas as partes podem definir taxas contra as quais desejam comprar e vender um “rastreamento” do conteúdo do editor. O CloudFlare atua como intermediário nessas transações, cobra a empresa de IA e distribui a receita do editor.
O porta -voz Ripley Park, da Cloudflare, diz que o TechCrunch que não há establecoins ou criptomoedas está atualmente envolvido no pagamento por rastreamento, embora muitos tenham sugerido que a moeda digital seria perfeita para algo assim.
O mercado de Cloudflare parece uma visão ousada para o futuro que muitos editores e empresas de IA precisam embarcar. No entanto, não há garantia de que os editores obtenham um bom negócio, e convencer as empresas de IA a participar pode ser difícil, pois estão atualmente raspando o conteúdo gratuito.
No entanto, o CloudFlare parece ser uma das poucas empresas em posição de fazer um mercado como esse acontecer.
