PEPS: Positionskodning for mere udtryksfulde teksturer

Forestil dig en tekstur som en melodi. Enkle koordinater nynner en melodi. Forestil dig nu at genorkestrere den melodi langs en loopende Lissajous-kurve, så melodien indeholder langt flere harmoniske overtoner. Det er i det væsentlige, hvad AMD’s Positional Encoding Projected Sampling, eller PEPS, foreslår.

En ny vinkel på positionskodning

Traditionel neural teksturkompression bygger på implicitte neurale repræsentationer, eller INR. Du indtaster lavdimensionelle teksturkoordinater i et multilag-perceptron, og netværket lærer at genskabe billeddetaljer med meget små hukommelsesaftryk. Positionskodning er den hemmelige ingrediens: den løfter koordinater ind i et højere-dimensionelt sinusoidalt rum, så MLP'en kan modellere fine detaljer.

PEPS omdefinerer den løft. I stedet for at behandle hver sinusoidale indlejring som en isoleret vektor kortlægger AMDs tilgang disse indlejringer til punkter langs Lissajous-kurver og sampler derefter enkoderen eller netværket ved de projicerede punkter. Resultatet er en udvidet informationsmanifold, som INR'en kan arbejde med. I praksis kan modellen repræsentere rigere teksturindhold uden at ændre netværksarkitekturen.

Haken er prisen. Mere sampling betyder mere beregning og mere hukommelsestrafik. AMDs eksperimenter på et 9070 XT GPU viser kompromiset i klare tal: at producere en trekanals 1024 x 1024 tekstur tog 4,32 millisekunder i deres basisscenarie. Grid-PEPS hævede det til 5,47 millisekunder. En optimeret variant kaldet Grid-PinkPEPS reducerede straffen til 4,86 millisekunder, men den overgik ikke basisscenariet. De ekstra cykler kommer fra de yderligere projektioner og de tungere hukommelsesadgange, som PEPS kræver.

Den beregningsmæssige overhead er ikke et afgørende problem. Det er et designvalg. Hvis din prioritet er rå kompressionseffektivitet og reduceret lagring, giver PEPS et nyt håndtag. Hvis din prioritet er latenstidsfølsom realtidsrendering, foretrækker du muligvis lettere encoder-løsninger, i hvert fald for nu.

En anden interessant vinkel: dette trick er ikke begrænset til farveteksturer. PEPS kan anvendes på signed distance fields, eller SDF'er, som ligger til grund for meget moderne geometri- og volumenrendering. SDF'er kræver typisk højopløsningsnet, der sluger VRAM. En kompakt, udtryksfuld INR, der bevarer kvaliteten, kan mærkbart reducere hukommelsespres i scener, som ellers ville kræve kilometer af tekstur- og geometritabeller.

Så vil du se PEPS i din næste Radeon-driver? Ikke med det samme. Forskningsartiklen blev præsenteret på I3D og demonstrerer lovende tekniske idéer, men industriens adoption halter efter forskningen. Nvidia har allerede frigivet nogle offentlige værktøjer og demoer omkring neurale tekstur-workflows, men ingen mainstream-titel leveres med en fuld pipeline til neural teksturkompression. AMDs offentlige materiale forbliver eksperimentelt og uden brandnavn; virksomheden bruger stadig generisk terminologi i sine publikationer i stedet for et forbrugervenligt navn.

Der er en bredere kontekst at huske på. Branchen slæber stadig gennem det, nogle kalder RAMpokalypse. Grafikkort midt i årtiet med 8 gigabyte hukommelse er stadig almindelige, så enhver teknik, der presser hukommelsesforbruget uden dramatiske hardwarekrav, har praktisk appel. PEPS placerer sig tydeligt i det rum: mere udtryksfuld kompression på bekostning af beregning, hvilket kan være et værdifuldt bytte for studier og engines, der kan fordele CPU/GPU-byrden.

I sidste ende føles PEPS som et elegant eksperiment med praktiske implikationer. Det skubber grænserne for, hvordan positionskodning kan bruges, låner lidt geometri og lidt signalbehandling for at give INR'er mere spillerum. Forvent flere artikler, flere optimeringer og en langsom, forsigtig overførsel fra laboratoriedemoer til værktøjer og engines. For nu er PEPS et interessant waypoint på vejen mod mere effektive indholdspipelines, ikke en færdig forbrugerfunktion.