Quando o mecanismo de busca da CloudFlare AI proibia de sites secretamente raspando na segunda-feira, enquanto ignora os métodos específicos de um site para bloqueá-lo, esse não era um caso claro de um AI-Webcrawler que se tornou selvagem.
Muitas pessoas vieram em defesa da pertlexidade. Eles argumentaram que o acesso da perplexidade a sites violando os desejos do proprietário do site, embora controverso, é aceitável. E isso é uma controvérsia que certamente crescerá à medida que os agentes da IA inundam a Internet: um agente que tem acesso a um site em nome de seu usuário deve ser tratado como um bot? Ou como uma pessoa que envia o mesmo pedido?
O Cloudflare é conhecido por oferecer serviços de rastreamento anti-BOT e outros serviços de segurança na web a milhões de sites. Em essência, o caso de teste do Cloudflare incluiu a criação de um novo site com um novo domínio que nunca havia se arrastado através de um osso, configurando um robô. O arquivo TXT que bloqueou especificamente os robôs de pertlexidade de pertlexidade e, em seguida, pediu perplexidade ao conteúdo do site. E a confusão respondeu à pergunta.
Os pesquisadores da CloudFlare descobriram que o mecanismo de busca da IA usava “um navegador genérico que pretendia estimular o Google Chrome no macOS” quando o próprio Webcrawler foi bloqueado. Cloudflare -Ceo Matthew Prince colocou o estudo em X e escreveu: “Algumas empresas de IA de renome ‘chamadas’ se comportam mais como hackers norte -coreanos. Hora de nomeá -los, envergonhar e bloquear com força”.
Mas muitas pessoas não concordaram com a avaliação de Prince de que isso foi um comportamento muito ruim. Aqueles que defendem a perplexidade em sites como X e Hacker News apontaram que o que o Cloudflare parecia documentar a IA que estava no acesso a um site público específico quando o usuário perguntou sobre esse site específico.
“Se eu solicitar um site como um pedido humano, devo receber o conteúdo”, escreveu uma pessoa no Hacker News e acrescentou: “Por que o LLM em meu nome obteria acesso ao site em outra categoria legal como meu Firefox -Webbrowser?”
Um porta -voz da Pertlexity negou anteriormente o TechCrunch de que a De Bots era a empresa e chamou o blog do Cloudflare de um discurso de vendas para o Cloudflare. Posteriormente, a Pertlexity publicou um blog na terça -feira em sua defesa (e geralmente para os ataques do Cloudflare) e afirmou que o comportamento era ocasionalmente de um serviço de terceiros que ocasionalmente o usa.
Evento do TechCrunch
São Francisco
|
27-29 de outubro de 2025
Mas o núcleo do post da Pertlexity fez uma profissão semelhante aos de seus defensores on -line.
“A diferença entre rastreamentos automatizados e o usuário controlado não é apenas técnico-é sobre quem obtém acesso a informações na web aberta”, disse o correio. “Essa controvérsia revela que os sistemas de Cloudflare são fundamentalmente insuficientes para distinguir entre assistentes legítimos de IA e ameaças reais”.
As alegações de peplexidade também não são exatamente justas. Um argumento que Prince e Cloudflare costumavam chamar os métodos de pertlexidade era que o OpenAI não se comporta da mesma maneira.
“O OpenAI é um exemplo de uma empresa líder de IA que segue essas práticas recomendadas. Eles respeitam os robôs.TXT e tentam não evitar um robôs. TXT Diretriz ou um bloco de nível de rede. E chatgpt -Agent Sinais HTTP Solicitações usando o recém -proposto Web Bot -Auth, recém -proposto,” escreveu Prince.
O Web Bot Auth é um padrão suportado por nuvem-flora que está sendo desenvolvido pela Força-Tarefa de Engenharia da Internet que espera criar um método criptográfico para identificar solicitações da Web do agente de IA.
O debate ocorre quando a atividade óssea reforma a Internet. Como o TechCrunch relatou anteriormente, os bots que desejam raspar enormes quantidades de conteúdo para treinar modelos de IA se tornaram uma ameaça, especialmente para sites menores.
Pela primeira vez na história da Internet, a atividade de bot é atualmente a atividade humana on -line, com o tráfego de IA responsável por mais de 50%, de acordo com o relatório do Bot Bot da Imperva, lançado no mês passado. A maioria dessa atividade vem do LLMS. Mas o relatório também descobriu que os bots malignos agora representam 37% de todo o tráfego da Internet. Essa é a atividade que inclui tudo, desde raspagem persistente até tentativas de login não autorizadas.
Até o LLMS, a Internet geralmente aceitava que os sites poderiam e deveriam bloquear a maior atividade óssea, dada a frequência com que era maligno usando o Captchas e outros serviços (como Cloudflare). Os sites também tiveram um incentivo claro para trabalhar com bons atores específicos, como o GoogleBot, para supervisionar o que não indexar via robots.txt. O Google indexou a Internet, que enviou tráfego para sites.
Agora, o LLMS está comendo uma quantidade crescente desse tráfego. O Gartner prevê que o volume do mecanismo de pesquisa cairá 25% até 2026. No momento, as pessoas tendem a clicar no acoplamento do site da LLMS que são mais valiosas para o site, ou seja, quando estão prontos para realizar uma transação.
Mas se as pessoas aceitarem agentes como a indústria técnica prevê que eles – organizarão nossa jornada, reservar nossas reservas de jantar e comprar para nós – os sites prejudicariam seus interesses comerciais, bloqueando -os? O debate sobre X registrou perfeitamente o dilema:
“Quero estar confuso para visitar o conteúdo público em meu nome quando eu for um pedido/tarefa!” escreveu uma pessoa em resposta ao Cloudflare que chamou a pertlexidade.
“E se os proprietários do site não quiserem? Eles só querem que você visite a casa diretamente, veja as coisas deles” fez uma briga, apontando que o proprietário do site que fez o conteúdo deseja o tráfego e a potencial renda de publicidade, não para deixar a pertlexidade a levar.
“É por isso que eu realmente não consigo ver o ‘agente navegando’ funcionando – um problema muito mais difícil do que as pessoas pensam. A maioria dos proprietários de sites simplesmente bloqueará”, previu um terceiro.
