AI-crawlers har ibland högre täckning än Google Search

Google har i årtionden varit den obestridda ledaren när det gäller att samla in information från internet och är utan tvekan det mest framträdande exemplet på en webbplatscrawler. Dessa automatiserade program genomsöker internet och registrerar det innehåll de hittar, vilket gör det möjligt för sökmotorer att göra webbplatser sökbara. Google Search har dock fått konkurrens eftersom AI-system också kräver data från internet, vilket är anledningen till att AI-företag som OpenAI använder sina egna robotar för att söka efter information på internet.

I slutet av augusti 2025 genomförde webbhotellet Hostinger en studie av 5 miljoner webbplatsers tillgänglighet för crawlers. Särskilt slående är att till exempel OpenAI:s GPT-bot nådde 4,4 av de 5 miljoner webbplatserna och därmed uppnådde större täckning än Google-boten, som "bara" nådde 3,9 miljoner webbplatser. Mindre kända botar som Ahrefs SEO-crawler, Anthropics Claude-bot och crawlers från Meta, TikTok, Bing och Apple var också mycket aktiva och genererade sammanlagt cirka 1,4 miljarder dagliga förfrågningar om de 5 miljoner webbplatserna.

Det faktum att vissa robotar uppnår en lägre täckningsgrad än andra betyder inte att de ignorerar vissa delar av internet. Snarare roterar programmen sina mål och skapar på så sätt en nästan komplett karta över internet över en längre tidsperiod (men fortfarande inom några veckor).

Studien visar också att cirka 80% av förfrågningarna kommer från amerikanska teknikföretag, cirka 10% från Kina, medan övriga länder står för en försumbar andel. Detta innebär att indexeringen av internet i första hand domineras av leverantörer från USA, och inom det landet av ett fåtal stora teknikföretag. Följden blir att ett litet antal plattformar har stort inflytande över vilket innehåll som syns och vilka svar AI-systemen genererar.