Cloudflare kommer nu att blockera AI-webbskrapare som inte betalar för data

Cloudflares VD Matthew Prince utropade "Content Independence Day" och tillkännagav massiva förändringar i företagets infrastruktur för webbtjänster, som nu kommer att blockera alla AI-webbcrawler-botar som standard.

I ett blogginlägg på https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/utvecklade Prince att det moderna webbsökningslandskapet nu i allt högre grad definieras av AI-chatbots som Googles Gemini eller OpenAI:s ChatGPT. Även om dessa är användbara skrapar de också fritt tillgängliga data online utan några återverkningar och kompenserar inte de ursprungliga skaparna.

Prince hävdade att det på grund av de senaste förändringarna i Google Search nu var tio gånger "svårare för en innehållsskapare att få samma trafikvolym" som för tio år sedan.

"Istället för att vara en rättvis handel", säger Prince. "Webben skrotas av AI-crawlers med innehållsskapare som nästan inte ser någon trafik och därför nästan inget värde."

Prince sa att det skrapade innehållet "är bränslet som driver AI-motorer", och det var bara rättvist att de ursprungliga skaparna kompenseras för det.

Cloudflare tillkännagav också planer för en marknadsplats som kommer att föra samman skapare och AI-företag på ett ställe. Marknadsplatsen kommer att poängsätta tillgängligt innehåll inte bara utifrån den trafik det genererar utan "utifrån hur mycket det främjar kunskap" Prince tror att detta kommer att hjälpa AI-motorer att bli snabbare och "potentiellt underlätta en ny guldålder för skapande av innehåll med högt värde."

Prince medger att han inte har alla svaren än, men företaget arbetar med "ledande datavetare och ekonomer för att ta reda på dem"

Nyligen sa SourceHut, en open-source git-hosting-tjänstatt de upplevde störningar på grund av "aggressiva LLM-crawlers" och blockerade flera molnleverantörer, inklusive Google Cloud och Microsoft Azure, på grund av höga volymer inkommande trafik från deras nätverk.

I januari rapporterade DoubleVerify, en plattform för webbanalys, en 86% ökning i General Invalid Traffic (GIVT) från AI scrappers och andra automatiserade verktyg online jämfört med 2024.

Trots tidigare löften har OpenAI:s GPTbot också hittat sätt att ignorera eller kringgå en webbplats robot.txt helt och hållet, vilket orsakar en massiv ökning av trafiken för domänägare och dyra räkningar.