Skilte som kommandoer: Prompt injection i autonome robotter

En robot, der "læser" verden med et kamera og en vision-language model, kan følge en trykt seddel, før den overhovedet lytter til dig. Ny forskning viser, at prompt injection — mest kendt fra chatbots — kan bevæge sig ud af skærmen og ind i den fysiske verden og diskret styre autonome maskiner på afveje.

I stedet for at hacke software eller spoofe sensorer behandler angrebet omgivelserne som et inputfelt. Et vildledende mærkat, en plakat eller et vejskilt placeres, hvor robotens kamera vil få det i synsfeltet. For et menneske i nærheden kan det se harmløst ud. For et AI-system trænet til at følge tekst- og visuelle signaler kan det opføre sig som en instruktion.

I simulationsforsøg rapporterer forskerne en succesrate på 81,8% i et autonomt kørescenarie og 68,1% i en drone-nødlandingsopgave. I virkelighedstest med en lille robotbil tilsidesatte printede prompts navigationen med mindst 87% succes over varierende lysforhold og synsvinkler — hvilket tyder på, at dette ikke kun er en laboratoriekuriositet.

Når et skilt bliver en instruktion

Teknikken, døbt CHAI, rammer et centralt trin i mange moderne autonome stacks: "command layer" eller kommandolaget. I systemer, der bruger vision-language modeller (VLM'er), genererer modellen ofte en mellemtrin-instruktion — i praksis en plan formuleret med ord — før en efterfølgende controller konverterer den til styre-, bremse- eller motorkommandoer.

Hvis en angriber kan skubbe denne planlægningsfase i retning af en forkert instruktion, kan resten af robotten udføre den trofast. Ingen malware, ingen privilegeret adgang. Robotten gør præcis, hvad den er designet til — blot baseret på forkert tekst.

Vigtigt er det, at trusselmodellen er bevidst lavteknologisk. Angriberen behandles som en udenforstående, der ikke kan røre ved ombordliggende systemer. Alt, der kræves, er evnen til at placere tekst i kameraets synsfelt — for eksempel et skilt tapet på en væg, en plakat på en dør eller en trykt label ved et waypoint.

Hvad forstås ved kommandolaget?

Kommandolaget fungerer som et semantisk mellemtrin mellem perception og handling: det oversætter visuelle og tekstuelle observationer til handlingsorienterede udsagn. I praksis oversætter en VLM billedinput og forespørgsler til tekstbaserede anbefalinger som "drej til venstre", "standse" eller "find nødudgang". Disse anbefalinger bliver derefter fortolket af kontrolsoftware, der udsteder konkrete styre- og motoropgaver.

Det betyder, at sårbarheder i hvordan modellen vælger ord eller tolker tekst kan have direkte indvirkning på fysisk bevægelse. Når tekst i omgivelserne integreres i robotens verdensmodel, bliver enhver skrevet besked en potentiel kommando.

Eksempel på angrebsscenarie

Tænk på en robotchauffør, der navigerer i et lagermiljø. En angriber sætter en tilsyneladende harmløs plakat op: "Læg pakke her" med en pil, eller et skilt der ligner intern vejledning. For mennesker kan det være en fejlplaceret note. For en VLM, der prioriterer læsbar tekst i synsfeltet, kan det blive en eksplicit instruktion om at ændre rute eller stoppe ved et forkert sted.

Designet til at "rejse" på tværs af scener, modeller og sprog

CHAI optimerer ikke kun hvad prompten siger. Den optimerer også hvordan den fremstår — tuning af faktorer som farve, størrelse og placering — fordi læsbarhed for modellen kan være afgørende for, om budskabet bliver en handlingsbar instruktion.

Artiklen beskriver også "universelle" prompts, der fortsat virker på uobserverede billeder og i forskellige miljøer, og som i gennemsnit opnår mindst 50% succes på tværs af opgaver og modeller, og overgår 70% i en GPT-baseret opsætning. Den virker endda på tværs af sprog, inklusive kinesisk, spansk og blandede sprogprompter. Det er væsentligt, fordi en flersproget besked kan være mindre iøjnefaldende — eller mindre mistænkelig — for mennesker tæt på, samtidig med at den er letlæselig for modellen.

Med andre ord: det handler ikke kun om én robot i ét rum. Det handler om en klasse af AI-robotiksystemer, der i stigende grad tolker skrevne ord som en del af deres verdensmodel.

Universelle prompts og generalisering

En "universel" prompt er konstrueret til at være robust over for variationer i baggrund, belysning og kadrering. I stedet for at finjustere en prompt til én scene søger CHAI efter et design, der bevares igennem variationer — eksempelvis ved at vælge kontrastfarver, skrifttyper og placeringer, der typisk fremhæder teksten i flere VLM-arkitekturer.

Dette aspekt er kritisk for praktiske angreb: hvis en prompt kun virker i én specificeret vinkel eller et enkelt lys, er dens udnyttelse begrænset. Universelle prompts øger rækkevidden og gør angreb anvendelige i virkelige, foranderlige miljøer.

Sprog- og kulturmæssige konsekvenser

At angreb virker på tværs af sprog rejser bekymringer for globale distributioner af autonome systemer. En besked skrevet på et lokalt sprog kan forblive uset for omkringstående mennesker, mens den stadig tolkes korrekt af modellen. Dette åbner for svagheder, hvor sociale og kulturelle faktorer udnyttes; eksempelvis kan en besked være formuleret i et arbejdssprog, som rutinemæssigt ignoreres af personale, men læses af robotten som en gyldig ordre.

Hvorfor robot-sikkerhedsteams måske får brug for en ny tjekliste

Forskerne peger på flere forsvarsdirectioner. Én mulighed er filtrering og detektion: skanne kamera-billeder (og modellens mellemprodukter) for mistænkelig eller udenfor-kontekst tekst. En anden er alignering — arbejde med at træne modeller til at være langt mindre villige til at betragte vilkårlig miljøskrevet tekst som eksekverbar instruktion — især når den er i modstrid med missionens mål eller sikkerhedskrav.

På længere sigt efterlyser de robusthedsforskning, der kan tilbyde stærkere garantier. Et praktisk, kortsigtet skridt er enklere: behandl opfattet tekst som uautoriseret input som standard, og kræv at den gennemgår missions- og sikkerhedstjek, før den får indflydelse på bevægelsesplanlægningen.

Taktiske forsvarsmekanismer

• Tekstfiltrering og OCR-konfidens: Indfør tærskler for OCR-nøjagtighed og afvis lavkonfidente genkendelser.
• Kontekstuel verifikation: Sammenlign tekstbaserede kommandoer mod kartografi, ruteplan og opgave-mål for at opdage afvigelser.
• Sensorfusion: Krydstjek visuelle tekstsignaler med andre sensorer (LIDAR, RADAR, ultralyd) for at sikre, at en visuel instruktion har fysisk støtte.
• Menneskelig verifikation: I kritiske situationer bør en menneskelig operatør bekræfte tekst-baserede ændringer i missionen.
• Adversarial træning: Inkluder realistiske, manipulerede miljøskilte i træningsdata for at øge robustheden.

Arkitektur- og policy-ændringer

Ud over løbende detection er der strukturelle løsninger: flyt vægt fra at lade VLM'ens tekstoutput direkte bestemme lavniveau-kontrol. Indfør et valideringslag, som vurderer særlige instruktioners relevans og sikkerhed, eller anvend ensemble-tilgange, hvor flere modeller og heuristikker skal være enige, før handlingsret tildeles.

Organisatorisk bør teams opdatere sikkerhedstjeklister til eksplicit at inkludere testscenarier med falske skilte og manipulerede omgivelser. Hvis din robot læser skilte, er det værd at teste, hvad der sker, når skiltene lyver.

Tekniske detaljer og implikationer for udviklere

For udviklere og ingeniører er det nyttigt at forstå de underliggende komponenter, hvor CHAI udnytter svagheder:

1. Perceptionslag: Billedbehandling + OCR og dens fejlkarakteristik.
2. Semantisk lag: VLM'ers tilbøjelighed til at omdanne læst tekst til handlingsorienteret sprog.
3. Planlægningslag: Hvordan tekstbaserede instruktioner integreres i målopfyldelsesstrategier.

Hver komponent byder på forsvar: forbedret OCR-robusthed, justeret modeladfærd gennem alignment, og strengere krav til planlægningskonfir- mation. At kombinere flere af disse forsvarslinjer vil normalt udgøre den bedste praksis.

Praktiske udviklertips

Tekniske anbefalinger inkluderer:

• Implementer OCR-tærskler, så kun tekster med høj konfidens kan påvirke handling.
• Brug semantisk filtrering: tag højde for sætningens plausibilitet i forhold til missionen før accept.
• Design systemer, så skriftlig instruktion kræver sekundær bekræftelse (fx GPS, kortmatch eller menneskelig input).
• Log og auditér alle tilfælde, hvor miljøtekst medførte en ændring i planlægningen, for efterfølgende analyse.

Eksperimenter, resultater og efterprøvning

Forsøgene bag CHAI kombinerer simulation og fysiske tests. I simulerede autonome kørescenarier nåede angrebet 81,8% succes, og i drone-nødlanding 68,1%. I fysiske scenarier med en lille robotbil viste printede prompts sig at kunne tilsidesætte navigation med mindst 87% succes under forskellige lysforhold og kameravinkler.

Disse resultater peger på, at angrebet er praktisk: det kræver ingen adgang til onboard-software, og det virker på tværs af almindelige hardwarekonfigurationer. Derfor er det relevant for producenter af autonome køretøjer, droner, lagermaskiner og service-robotter.

Reproducerbarhed og testprotokoller

For at reproducere sådanne tests bør teams definere kontrollerede scenarier, variere belysning, afstand, skrifttype, farvekombinationer og kameravinkel, og måle både OCR-genkendelse og den endelige kontroladfærd. Robusthed vurderes bedst over et stort spektrum af omgivelser, ikke kun en enkelt lab-opstilling.

Regulatoriske og etiske overvejelser

At fysisk manipulere robotters opfattelse rejser også juridiske og etiske spørgsmål. Hvem er ansvarlig, hvis en robot følger et falsk skilt og forårsager skade? Producenter kan have et ansvar for at designe forsvar, men operatører må også være opmærksomme på fysisk sikring af miljøet.

Derudover må offentligheden oplyses om risici: i offentlige rum kan skader ikke alene skyldes softwarefejl, men også ondsindede manipulationer af miljøet. Regulatorer bør overveje standarder for percep- tionssikkerhed og krav til redundant verifikation, især for autonome køretøjer og droner, der opererer i tæt bebyggede områder.

Fremtidige forskningsretninger

Forskerne opfordrer til arbejde indenfor:

• Formelle robusthedsgarantier for multimodale perception.
• Bedre alignment-teknikker, som sikrer at modeller prioriterer missionsoverensstemmelse frem for enkeltstående tekstsignaler.
• Udvikling af datasæt til adversarial fysisk tekst, som kan bruges til at styrke træning og test.

Et centralt spørgsmål er, hvordan man kan give praktisk men også teoretisk begrundede garantier for, at miljøtekst ikke utilsigtet omdirigerer systemadfærd.

Konklusion og handlingspunkter

CHAI-arbejdet understreger, at prompt injection ikke kun er et problem for chatbots, men også for fysiske, autonome systemer. Når robotter begynder at integrere skreven tekst direkte i deres beslutningsprocesser, må sikkerheds- og udviklingspraksis tilpasse sig tilsvarende.

Handlingspunkter for teams og beslutningstagere inkluderer at implementere tekstfiltrering, indføre kontekstuel verifikation, forbedre sensorfusion og opdatere tjeklister til at inkludere fysiske manipulationsscenarier. Hvis din robot læser skilte, er det værd at teste, hvad der sker, når skiltene lyver.

Arbejdet er planlagt til præsentation ved SaTML 2026, hvor disse virkelighedsnære prompt injection-risici — og forsvarene mod dem — sandsynligvis vil få øget opmærksomhed fra både forskere, industrien og tilsynsorganer.