A Cloudflare, um provedor de infraestrutura em nuvem que atende 20% da Web, anunciou na terça -feira o lançamento de um novo mercado que reimagina o relacionamento entre proprietários de sites e empresas de IA – idealmente, dando aos editores um maior controle sobre seu conteúdo.
No ano passado, o CloudFlare lançou ferramentas para os editores abordarem o aumento desenfreado dos rastreadores de IA, incluindo uma solução com um clique para bloquear todos os bots da AI, bem como um painel para ver como os rastreadores de IA estão visitando seu site. Em uma entrevista de 2024, o CEO da CloudFlare, Matthew Prince, disse ao TechCrunch que esses produtos estavam estabelecendo uma base para um novo tipo de mercado no qual os editores poderiam distribuir seu conteúdo às empresas de IA e ser compensados por isso.
Agora, o CloudFlare está dando vida a esse mercado.
Chama -se Pay Per Crawl, e Cloudflare está lançando o “experimento” em beta privada na terça -feira. Os proprietários de sites do experimento podem optar por deixar os rastreadores de AI, em uma base individual, raspar seu site a uma taxa definida – um micropagamento para cada “rastreamento”. Como alternativa, os proprietários de sites podem optar por permitir que a AI rastejassem seu site gratuitamente ou bloqueá -los completamente. Cloudflare afirma que suas ferramentas permitirão que os proprietários do site vejam se os rastreadores estão raspando seu site para obter dados de treinamento de IA, aparecer nas respostas de pesquisa de IA ou para outros fins.
Em escala, o Marketplace da Cloudflare é uma grande idéia que poderia oferecer aos editores um potencial modelo de negócios para a era da IA - e também coloca o CloudFlare no centro de tudo. O lançamento do Marketplace chega em um momento em que os editores de notícias estão enfrentando perguntas existenciais sobre como alcançar os leitores, à medida que o tráfego de pesquisa do Google desaparece e a AI Chatbots aumenta na popularidade.
Não há uma resposta clara de como os editores de notícias sobreviverão na era da IA. Alguns, como o New York Times, entraram com ações contra empresas de tecnologia para treinar seus modelos de IA em artigos de notícias sem permissão. Enquanto isso, outros editores fizeram acordos de vários anos para licenciar seu conteúdo para o treinamento de modelos de IA e fazer com que seu conteúdo apareça nas respostas da AI Chatbot.
Mesmo assim, apenas os grandes editores fizeram acordos de licenciamento de IA, e ainda não está claro se eles fornecem fontes significativas de receita. O CloudFlare visa criar um sistema mais durável, onde os editores podem definir preços em seus próprios termos.
A empresa também anunciou na terça -feira que novos sites criados com o CloudFlare agora, por padrão, bloqueiam todos os rastreadores da AI. Os proprietários do site terão que conceder certas permissão de rastreadores de IA para acessar seu site – uma alteração Cloudflare diz que dará a todos os novos domínios “o padrão de controle”.
Vários grandes editores, incluindo Conde Nast, Time, The Associated Press, Atlantic, Adweek e Fortune, assinaram o CloudFlare para bloquear os rastreadores da AI por padrão em apoio ao objetivo mais amplo da empresa de uma “abordagem baseada em permissão para rastrear”.
O modelo de negócios em que muitos desses editores confiaram por décadas está lentamente se tornando não confiável. Historicamente, os editores on -line permitiram ao Google raspar seus sites em troca de referências na pesquisa do Google, que se traduziram em tráfego para seus sites e, finalmente, receita de anúncios.
No entanto, novos dados da Cloudflare sugerem que os editores podem estar obtendo um acordo pior na era da IA do que na era da pesquisa do Google. Enquanto alguns sites citam o ChatGPT como uma importante fonte de tráfego, isso não parece ser o caso.
Em junho, o Cloudflare diz que descobriu que o rastreador do Google raspou seus sites 14 vezes para cada indicação que lhes deu. Enquanto isso, os rastreadores do Openai rasparam sites 17.000 vezes para cada referência, enquanto sites antropias raspados 73.000 vezes para cada indicação.
Enquanto isso, o OpenAI e o Google estão construindo agentes de IA projetados para visitar sites em nome dos usuários, coletar informações e entregá -las diretamente aos usuários. Um futuro em que essas ferramentas são o mainstream tem enormes implicações para os editores que dependem de leitores que visitam seus sites.
O CloudFlare observa que o “verdadeiro potencial” do pagamento por rastreamento pode emergir em um futuro “agêntico”.
“E se um Paywall Agentic pudesse operar na borda da rede, totalmente programaticamente? Imagine pedir ao seu programa de pesquisa profundo favorito para ajudá -lo a sintetizar a mais recente pesquisa do câncer ou um resumo legal ou apenas ajudá -lo a encontrar o melhor restaurante do Soho – e depois dar a esse agente um orçamento para gastar para adquirir o melhor e mais relevante conteúdo”, disse Cloudflare em um posto de blog.
Para participar do mercado experimental da CloudFlare, as empresas e editores de IA devem ser configurados com contas Cloudflare. Em suas contas, ambas as partes podem definir taxas nas quais gostariam de comprar e vender um “rastreamento” do conteúdo do editor. O CloudFlare atua como intermediário nessas transações, cobrando a empresa de IA e distribuindo os ganhos ao editor.
O porta -voz do Cloudflare, Ripley Park, disse ao TechCrunch que não há geclos ou criptomoedas envolvidas no pagamento por rastreamento neste momento, mesmo que muitos tenham sugerido que a moeda digital seria perfeita para algo assim.
O Marketplace da Cloudflare parece uma visão ousada para o futuro que exige que muitos editores e empresas de IA embarcem. Ainda assim, não há garantias de que os editores terão um bom negócio, e convencer as empresas de IA a participar pode ser difícil, já que estão atualmente raspando o conteúdo gratuitamente.
No entanto, o CloudFlare parece uma das poucas empresas em posição de fazer um mercado como esse acontecer.