PEPS: uzlabota pozicionālās kodēšanas tekstūru saspiestība

Iedomājieties tekstūru kā melodiju. Vienkāršas koordinātas noskandina motīvu. Tagad iedomājieties, ka šo motīvu pārkārtojat pa cilpojošu Lissajous līkni, tādējādi melodijā parādās daudz vairāk harmoniku. Tieši to būtībā piedāvā AMD Positional Encoding Projected Sampling jeb PEPS.

Jauns pavērsiens pozicionālajā kodēšanā

Tradicionālā neironu tekstūru kompresija balstās uz implicitām neironu reprezentācijām (INR). Jūs ievadāt zemas dimensijas tekstūras koordinātas daudzslāņu perceptronā (MLP), un tīkls iemācās atjaunot attēla detaļas ar nelielu atmiņas nospiedumu. Pozicionālā kodēšana ir slepens sastāvdaļa: tā paceļ koordinātas uz augstākas dimensijas sinusoīdo telpu, lai MLP varētu modelēt smalkas detaļas.

PEPS pārdefinē šo pacelšanu. Tā vietā, lai katru sinusoīdo iegulšanu traktētu kā izolētu vektoru, AMD pieeja kartē šīs iegulsmes uz punktiem Lissajous līknēs un pēc tam parauga enkodera vai tīkla vērtības šajos projicētajos punktos. Rezultātā INR saņem paplašinātu informācijas manifoldu, ar kuru strādāt. Praktiski tas nozīmē, ka modelis var reprezentēt bagātīgāku tekstūru saturu, nemainot tīkla pamatstruktūru.

Tomēr trūkums ir izmaksas. Vairāk paraugapjomu nozīmē vairāk skaitļošanas un lielāku atmiņas trafiku. AMD eksperimenti uz 9070 XT GPU parāda kompromisa skaitļus: trīs kanālu 1024 by 1024 tekstūras ģenerēšana viņu pamatversijā prasīja 4.32 milisekundes. Grid-PEPS to palielināja līdz 5.47 milisekundēm. Optimizēta varianta Grid-PinkPEPS sodu samazināja līdz 4.86 milisekundēm, taču tas nepārspēja pamatversiju. Papildu cikli rodas no papildu projekcijām un smagākajām atmiņas piekļuves operācijām, ko prasa PEPS.

Šī aprēķinu slodze nav izšķiroša kļūme. Tā ir dizaina izvēle. Ja jūsu prioritāte ir tīra kompresijas efektivitāte un samazināta uzglabāšana, PEPS piedāvā jaunu sviru. Ja prioritāte ir latentumu jutīga reāllaika renderēšana, jūs, visdrīzāk, vēlēsities vieglākus enkoderus - vismaz pagaidām.

Vēl viena interesanta pieeja: šis triks nav ierobežots tikai krāsu tekstūrām. PEPS var tikt pielietots ar zīmi apzīmētiem attāluma laukiem (SDF), kas veido pamatu daudzai mūsdienu ģeometrijas un volumetriskajai renderēšanai. SDF parasti pieprasa augstas izšķirtspējas tīklus, kas ātri tukšo VRAM. Kompakts, ekspresīvs INR, kas saglabā precizitāti, var būtiski samazināt atmiņas slodzi scenās, kur citādi būtu vajadzīgi kilometri tekstūru un ģeometrijas buferu.

Tātad vai jūs redzēsiet PEPS savā nākamajā Radeon draiverī? Ne tūlīt. Pētījuma raksts tika prezentēts I3D un demonstrē daudzsološas tehniskas idejas, taču nozares ieviešana atpaliek no pētījumiem. Nvidia jau ir izlaidusi dažus publiskus rīkus un demonstrācijas neironu tekstūru darba plūsmām, taču neviena mainstream spēle vēl nesatur pilnu neironu tekstūru kompresijas cauruli. AMD publiskie materiāli joprojām ir eksperimentāli un nebrendēti; uzņēmums savās publikācijās joprojām izmanto vispārīgus terminus, nevis patērētājam saprotamu nosaukumu.

Ir plašāks konteksts, ko vajadzētu paturēt prātā. Nozare joprojām iet cauri tam, ko daži dēvē par RAMpokalipsi. Gada vidū parastās grafiskās kartes ar 8 gigabaitu atmiņu joprojām ir izplatītas, tāpēc jebkura tehnika, kas samazina atmiņas patēriņu bez dramatiskām aparatūras prasībām, ir praktiski pievilcīga. PEPS iekļaujas tieši šajā telpā: izteiksmīgāka kompresija uz skaitļošanas rēķina, kas var būt izdevīgs kompromiss studijām un dzinējiem, kas spēj amortizēt CPU/GPU slodzi.

Galu galā PEPS ir elegants eksperiments ar praktiskām sekām. Tas paplašina to, kā pozicionālo kodēšanu var izmantot, aizņemoties nedaudz ģeometrijas un signālapstrādes, lai dotu INR vairāk telpas elpot. Sagaidāmas vairāk publikāciju, vairāk optimizāciju un lēna, piesardzīga pāreja no laboratorijas demonstrācijām uz rīkiem un dzinējiem. Pašlaik PEPS ir intriģējoša pieturvieta ceļā uz efektīvākām satura plūsmām, nevis gatava patērētāja funkcija.