Nadella: AI skal designes med kontrol og indkapsling

Microsofts topchef Satya Nadella skrev i et langt opslag på X, at udviklere og myndigheder bør gå ud fra, at avancerede modeller for kunstig intelligens fra starten udgør en potentiel risiko og derfor skal designes med kontrolforanstaltninger, der kan indkapsle dem. Han argumenterede for, at "tillidsarkitekturen" omkring AI skal gentænkes, og at den nuværende praksis med at behandle kraftfulde modeller som en samling indlejrede sorte bokse ikke er tilstrækkelig.

Modeller skal adskilles fra kontrol og tilsyn

Nadella sagde, at vi skal holde op med ukritisk at acceptere en models anbefalinger, svar eller handlinger uden strukturelle sikkerhedsforanstaltninger. Han foreslog arkitekturer, hvor modellerne er adskilt fra de systemer, der styrer og udfører opgaverne, så indkapsling og sikkerhedskontroller kan placeres uden for selve modellen. Denne adskillelse vil, skrev han, muliggøre mere uafhængigt tilsyn og overvågning af modellernes adfærd.

Med hensyn til kompromittering anbefalede Nadella, at man går ud fra, at en model kan være ude af kontrol fra starten, og bygger indkapslingen derefter. Han beskrev det som et operationelt sikkerhedskrav: "Vi bør antage, at modellen er ude af kontrol fra starten, og vi må indkapsle den. Tænk på det som et nødstop. En autoriseret person bør altid kunne stoppe eller lukke modellen ned, mens den udfører en opgave." Han tilføjede, at mere kapable modeller vil kræve mere avancerede indkapslingsteknologier, og at der bør udvikles fælles standarder for dem.

Ud over stopkontroller efterlyste Nadella omfattende logning af modellernes væsentlige handlinger. Han ønskede registreringer, der både er læsbare for mennesker og modstandsdygtige over for manipulation, så ydeevne og beslutninger kan undersøges og revideres. Sådanne registreringer vil, sagde han, understøtte gennemgang og vurdering af, hvordan modeller fungerer i praksis.

Mange elementer i Nadellas forslag stemmer overens med anbefalinger, der allerede er blevet fremført andre steder i AI-miljøet. Han bemærkede, at emner som rettidig indberetning af hændelser, uafhængig revision, verificerbar dataoprindelse og mekanismer til at indkapsle modeller, når de opfører sig uventet, allerede bliver drøftet.

Nadella fremlagde hverken tekniske køreplaner eller tidslinjer i sit opslag, og hans bemærkninger var formuleret som forslag og principper frem for konkrete politiske tiltag. Han understregede behovet for fælles standarder og stærkere eksterne kontroller for at sikre et mere robust og uafhængigt tilsyn med avancerede AI-systemer.