Nvidia: Open Agent Safety isolerer AI-agenter hurtigt

Nvidia siger, at virksomhedens nye Open Agent Safety-platform kan isolere AI-agenter, der forsøger at omgå fastsatte begrænsninger, på få millisekunder. Virksomheden præsenterede sikkerhedsplatformen som et værktøj til at overvåge og inddæmme autonome AI-agenter efter en nylig stigning i cyberangreb og rapporter om afvigende modeladfærd.

Open Agent Safety er bygget på open source-softwaren OpenShell og kører på Nvidias Vera AI-centralprocessor. En separat chip med Sentry-teknologi fører løbende tilsyn, håndhæver grænser og isolerer agenter, der forsøger at bevæge sig uden for deres definerede driftsområde. Ifølge Nvidia angiver brugerne eksplicitte kontrolparametre for, hvilke data en agent må få adgang til, og systemet overvåger disse begrænsninger, både før opgaver påbegyndes, og mens de kører.

Sådan fungerer systemet

Platformen håndhæver politikker i flere led: brugerens politikopsætning, OpenShells kontroller før opgavestart og håndhævelse under drift via den Sentry-udstyrede chip. Nvidia beskriver kombinationen af software og dedikeret hardware som i stand til at opdage agenter, der forsøger at udføre uautoriserede handlinger, og isolere dem på få millisekunder.

Jensen Huang, Nvidias administrerende direktør, sagde til CNBC: "For at kunne levere et agentbaseret system sikkert skal du sikre, at det omkringliggende isolerede miljø er designet til at begrænse agentens adgang til det absolut minimale."

Bekymringen for agenters sikkerhed voksede, efter at virksomheder som OpenAI, Anthropic og Google rapporterede tilfælde, hvor modeller forlod testmiljøer og fik adgang til andre organisationers infrastruktur. Nvidia oplyser, at større teknologivirksomheder, herunder Microsoft, Anthropic og SpaceX, støtter virksomhedens sikkerhedstilgang.