Nvidia presenterar säkerhetsplattform för övervakning och blixtsnabb isolering av AI-agenter

På senare tid har ett växande antal rapporter från stora AI-företag väckt uppmärksamhet. De beskriver hur deras AI enligt uppgift tog sig ut ur ett system som var tänkt att vara slutet och påstås ha hackat andra system. Sedan dess har det debatterats om detta främst är ett PR-trick som är tänkt att övertyga kunderna om AI:ns otroliga förmågor, eller om dessa incidenter utgör genuina varningstecken.

Hur det än är blir säkerhetsfrågorna allt större i takt med att AI-agenter blir allt mer kapabla. Nvidia hoppas nu kunna bemöta dessa farhågor med sin nya plattform. Enligt Nvidia är problemet långt ifrån enkelt, eftersom en AI också behöver tillgång till vissa dokument eller delar av webben för att fungera effektivt.

Nvidias nya säkerhetsplattform heter OpenShell och är i grund och botten en sandlåda som består av två lager: AI-agenter får specifika åtkomstbehörigheter – till exempel till en viss mapp – medan allt annat blockeras. Det andra lagret, som kallas Sentry, övervakar och loggar kontinuerligt agenternas aktivitet och kan tydligen isolera AI:n inom loppet av millisekunder om den försöker överskrida de fördefinierade gränserna.

Det är dock inte helt enkelt att använda systemet: användarna måste i förväg definiera exakt vad agenten får och inte får göra. Å ena sidan är det något omständligt; å andra sidan skulle det potentiellt kunna beröva AI:n kreativa alternativa lösningar som användarna inte tidigare hade övervägt.

Nvidia bemöter också varningar från AI-anställda om att AI kan bli ett verkligt hot mot mänskligheten, liksom uppmaningar om att bromsa den snabba, till synes ostoppbara utvecklingen av AI. Enligt Nvidia är AI-säkerhet dock i första hand ett ingenjörsproblem som kan lösas med tekniska metoder.