Pilotprojektet European Open Web Index ger tillgång till nästan 1 petabyte genomsökt data

Konsortiet OpenWebSearch.eu kommer att öppna det första federerade, paneuropeiska Open Web Index (OWI) för externa testare nästa månad. Pilotprojektet ger tillgång till nästan en petabyte genomsökt webbdata och markerar det första steget mot ett långsiktigt index som är utformat för att nå 5 PB och i slutändan 10 PB innehåll.

Till skillnad från en konventionell sökmotor fungerar OWI som ett delat digitalt bibliotek som tredjepartstjänster - sökportaler, leverantörer av stora språkmodeller eller forskargrupper - kan söka i för att hämta dokument. Ett partnerskap med 14 medlemmar bestående av universitet, superdatorcentra, teknikföretag och CERN finansierar infrastrukturen i ett försök att minska Europas beroende av proprietära index som upprätthålls av Google, Microsoft och andra USA-baserade operatörer.

Stödjarna hävdar att centraliseringen kring annonsdrivna plattformar har försämrat sökkvaliteten och begränsat den språkliga täckningen. Genom att driva ett icke-vinstdrivande, standarddrivet index inom det europeiska regleringsområdet hoppas konsortiet kunna uppmuntra tjänster som respekterar lokala dataskyddsregler, visar resultat på flera språk och undviker aggressiv reklam eller självreferenser. Tillsynsmyndigheter i Bryssel och London har upprepade gånger ifrågasatt de amerikanska teknikföretagens dominans av just dessa skäl.

Under pilotprojektet kan akademiska grupper, nystartade företag och enskilda utvecklare få tillgång till datasetet under en allmän forskningslicens eller ansöka om en kommersiell licens. Community manager Ursula Gmelch beskriver lanseringen som "ett första steg mot verklig europeisk digital suveränitet" och tillägger att tidig feedback kommer att avgöra hur indexet utvecklas för att matcha efterfrågan i verkligheten. Teamet är särskilt intresserat av vertikal och argumentativ sökning, hämtningsförstärkt generering och relaterade AI-applikationer.

Tidtabellen är i linje med InvestAI, Europeiska kommissionens program som syftar till att mobilisera 200 miljarder euro (cirka 224,7 miljarder dollar) för projekt för artificiell intelligens. En öppen Zoom-session som är planerad till kl. 10.00-12.00 CEST den 6 juni kommer att introducera deltagarna till plattformen och distribuera inloggningsuppgifter. Om försöket lyckas kan det ge små och medelstora europeiska företag det råmaterial som behövs för att bygga konkurrenskraftiga sök- och AI-verktyg oberoende av de rådande amerikanska ekosystemen.