Det er en enkel kjøresimulator, men kan være begynnelsen på en revolusjon innen grafikk av videospill.
Den nåværende boom i kunstig intelligens har generert bemerkelsesverdige resultater på et noe overraskende område: området med bilde- og filmopprettelse. Det siste eksemplet ble presentert av brikkedesigneren Nvidia, som i dag publiserte forskning på å demonstrere hvordan AI-genererte bilder kan brukes med et konvensjonelt videospill. Resultatet er et hybridgrafikksystem som en dag kan brukes i videospill, filmer og virtual reality .
Det er en ny tilnærming til å gjengi videoinnhold ved hjelp av dyp læring. Åpenbart bryr seg Nvidia en god del om å generere bilder, og spillindustrien vurderer hvordan AI vil revolusjonere feltet.
Resultatene av Nvidias arbeid er ikke fotorealistiske og avslører varemerket visuell utstryking sett i vesentlig AI-genererte bilder. De er heller ikke helt nye. I et forskningspapir fra Nvidia beskriver selskapets ingeniører hvordan de konstruerte på en rekke nåværende metoder, for eksempel et innflytelsesrikt open source-system kjent som pix2pix. Funksjonene deres distribuerer et slags nevralt nettverk kjent som et generativt sosialt system eller til og med GAN. Disse er mye brukt i generering av AI-bilder, inkludert for introduksjonen av et AI-portrett som nylig ble solgt av Christie's.
Imidlertid har Nvidia introdusert flere oppfinnelser, og ett produkt av arbeidet, heter det, er den aller første videospillpresentasjonen med AI-generert grafikk. Det er en enkel kjøresimulering der spillere blar gjennom et par byblokker med AI-generert plass, men ikke kan forlate kjøretøyet eller samhandle med omverdenen. Demoen drives av bare en GPU - en bemerkelsesverdig prestasjon for slikt banebrytende arbeid. (Selv om det ganske vist er at GPU er bedriftens topp $ 3000 Titan V, "den mest effektive PC-GPU noensinne opprettet", og en som vanligvis brukes til avansert simuleringsbehandling i motsetning til spill.)
Nvidias system lager grafikk ved hjelp av noen få handlinger. For det første må forskere samle opplæringsdata, som i dette tilfellet ble fjernet fra datasett med åpen kildekode som ble brukt til forskning på autonom kjøring. Disse opptakene blir deretter segmentert, noe som betyr at hver ramme er delt inn i forskjellige klasser: himmel, trær, biler, veier, bygninger osv. Et generativt kontroversielt nettverk blir deretter trent med disse spesifikke dataene for å generere nye varianter av disse elementene.
Deretter laget ingeniører den grunnleggende topologien i det digitale miljøet ved å bruke en tradisjonell spillmotor. I tilfeller som dette var systemet Unreal Engine 4, en favorittmotor som ble brukt til titler som Fortnite, PUBG, Gears of War 4 og flere. Ved å bruke dette miljøet som et rammeverk, lager dyplæringsalgoritmer deretter grafikken for hver klasse av ting i sanntid, og limer dem til spillmotorens modeller.
"Ordningen av verden har blitt gjort tradisjonelt," presiserer Nvidias visepresident for ansatt dyp læring, Bryan Catanzaro, "det eneste AI genererer er bildene." Han legger til at selve demonstrasjonen er grunnleggende, og ble satt sammen av en enkelt ingeniør. "Det er proof-of-concept i stedet for et spill som er morsomt å spille".
For å gjøre dette programmet måtte Nvidias ingeniører jobbe med mange utfordringer, hvorav den største var objektets varighet. Problemet er at hvis dyplæringsberegningene genererer grafikken for verden med en hastighet på 25 bilder per sekund, hvordan opprettholder de ting som ser like ut? Catanzaro sier at denne vanskeligheten betydde at det første resultatet av maskinen var " smertefullt å sjekke inn " da farger og teksturer "forandret hver ramme."
Løsningen var å gi maskinen et minne som er midlertidig, så den ville sammenligne hver nye ramme med det som har gått før. Den prøver å forutsi ting som bevegelse i disse bildene og genererer nye rammer som er i samsvar med det som er på skjermen. All denne beregningen er imidlertid dyr, og dermed kjører spillet bare med 25 bilder per minutt.
Teknologiene er veldig i de tidlige stadiene, understreker Catanzaro, og det vil trolig ta flere tiår før AI-generert grafikk vises i forbrukernavn. Han sammenligner situasjonen med utviklingen av strålesporing, den nåværende varme teknikken i bilder som gjør hvor individuelle lysstråler genereres umiddelbart for å produsere realistiske refleksjoner, skygger og opasitet i digitale miljøer. "Den aller første interaktive strålesporingsdemonstrasjonen skjedde lenge lenge før, men vi fikk den ikke i grupper for bare et par uker siden," uttaler han.
Arbeidet har muligens anvendelser i forskjellige forskningsregioner, inkludert robotikk og selvkjørende biler, der det kan brukes til å generere treningsmiljøer. Og det kan vises i forbruksvarer tidligere, om enn med en mer begrenset kapasitet.
For eksempel kan denne teknologien brukes i et hybrid bildesystem, hvor flertallet av spillet er igjen ved bruk av tradisjonelle metoder, men AI blir brukt til å skape likheter fra enkeltpersoner eller objekter. Forbrukerne kunne ta opptak selv ved hjelp av smarttelefoner, og deretter laste opp denne informasjonen til skyen der beregninger skulle lære å kopiere den og deretter sette den inn i treff. Det kan gjøre det mye lettere å lage avatarer som for eksempel ser ut som spillere.
Denne typen teknologi reiser imidlertid noen åpenbare spørsmål. Nylig har eksperter blitt stadig mer bekymret for bruken av AI-genererte deepfakes som desinformasjon og propaganda. Forskere har vist at det er lett å lage falske opptak av politikere og kjendiser som gjør eller sier ting som de ikke gjorde, et kraftig våpen i feil hender. Ved å skyve frem teknologiens evner og publisere studien, bidrar Nvidia uten tvil til dette mulige problemet ...
Organisasjonen sier imidlertid at dette er en ny sak. "Kan [denne teknologien] brukes til å produsere innhold som er villedende? Ja. Enhver teknologi for gjengivelse kan brukes til å gjøre det, " fastslår Catanzaro. Han sier at Nvidia jobber med partnere for å undersøke metoder for å oppdage AI-forfalskninger, men til slutt er problemet med feilinformasjon et "tillitsproblem" , og som de fleste tillitsproblemer før det, må det løses ved hjelp av en rekke prosesser, ikke bare teknologisk ..
Catanzaro sier at teknologiselskaper som Nvidia bare kan ta så mye ansvar. "Kan du holde kraftselskapet ansvarlig fordi de laget strømmen som driver datamaskinen som produserer den falske videoen?" Han spør.
Og til slutt, for Nvidia, har det en klar fordel å presse frem med AI-genererte bilder: det bidrar til å markedsføre mer av organisasjonens maskinvare. Siden den dype læringsboomen tok av på begynnelsen av 2010-tallet, har Nvidias aksjekurs steget ettersom det ble tydelig at datamaskinbrikkene var ideell for maskinlæringsforskning og fremgang.
Så kan en AI-revolusjon innen datagrafikk være bra for organisasjonens inntjening? Det ville absolutt ikke skade, ler Catanzaro. "Alt som øker vår evne til å lage bilder som er mer realistiske og overbevisende, tror jeg er bra for Nvidias bunnlinje."
Referanse : The Verge