Het is een eenvoudige rijsimulator, maar zou het begin kunnen zijn van een revolutie in de grafische weergave van videogames.
De huidige hausse in kunstmatige intelligentie heeft opmerkelijke resultaten opgeleverd op een enigszins verrassend gebied: het gebied van het maken van foto's en films. Het meest recente voorbeeld werd gepresenteerd door chipontwerper Nvidia, die vandaag onderzoek publiceerde om aan te tonen hoe AI-gegenereerde beelden kunnen worden gebruikt met een conventionele videogame. Het resultaat is een hybride grafisch systeem dat ooit zou kunnen worden gebruikt in videogames, films en virtual reality .
Het is een nieuwe benadering om video-inhoud weer te geven met behulp van deep learning. Het is duidelijk dat Nvidia veel geeft om het genereren van afbeeldingen en de game-industrie overweegt hoe AI het veld radicaal zal veranderen.
De resultaten van het werk van Nvidia zijn niet fotorealistisch en onthullen de kenmerkende visuele versmering die te zien is in grotendeels door AI gegenereerde beelden. Ze zijn ook niet helemaal nieuw. In een research paper van Nvidia beschrijven de ingenieurs van het bedrijf hoe ze een aantal huidige methoden hebben geconstrueerd, zoals een invloedrijk open-source systeem dat bekend staat als pix2pix. Hun functies maken gebruik van een soort neuraal netwerk dat bekend staat als een generatief sociaal systeem of zelfs GAN. Deze worden veel gebruikt bij het genereren van AI-afbeeldingen, ook voor de introductie van een AI-portret dat onlangs door Christie's is verkocht.
Nvidia heeft echter verschillende uitvindingen geïntroduceerd, en een product van het werk, zegt het, is de allereerste videogamepresentatie met door AI gegenereerde grafische afbeeldingen. Het is een eenvoudige rijsimulatie waarin spelers door een aantal stadsblokken met door AI gegenereerde ruimte bladeren, maar hun voertuig niet kunnen verlaten of interactie kunnen hebben met de buitenwereld. De demo wordt aangedreven met slechts één GPU - een opmerkelijke prestatie voor dergelijk baanbrekend werk. (Hoewel toegegeven dat de GPU de top van het bedrijf is met $ 3.000 Titan V, "de meest effectieve pc-GPU ooit gemaakt" en een die over het algemeen wordt gebruikt voor geavanceerde simulatieverwerking in tegenstelling tot gamen.)
Het systeem van Nvidia maakt afbeeldingen met behulp van een paar acties. Ten eerste moeten onderzoekers trainingsgegevens verzamelen, die in dit geval zijn verwijderd uit open-source datasets die worden gebruikt voor onderzoek naar autonoom rijden. Dit beeldmateriaal wordt vervolgens gesegmenteerd, wat betekent dat elk frame wordt onderverdeeld in verschillende klassen: luchten, bomen, auto's, wegen, gebouwen, enz. Een generatief vijandig netwerk wordt vervolgens getraind met deze specifieke gegevens om nieuwe varianten van deze items te genereren.
Vervolgens hebben ingenieurs de basistopologie van de digitale omgeving gemaakt met behulp van een traditionele game-engine. In dit soort gevallen was het systeem Unreal Engine 4, toen een favoriete engine die werd gebruikt voor titels als Fortnite, PUBG, Gears of War 4 en nog veel meer. Door deze omgeving als een raamwerk te gebruiken, creëren deep learning-algoritmen vervolgens de grafische weergave voor elke verschillende klasse van dingen in de werkelijke tijd en lijmen ze deze aan de modellen van de game-engine.
"De ordening van de wereld is traditioneel gemaakt", verduidelijkt Nvidia's vice-president van Employed Deep Learning, Bryan Catanzaro, "het enige dat de AI genereert, zijn de beelden." Hij voegt eraan toe dat de demonstratie zelf fundamenteel is en door één ingenieur is samengesteld. "Het is proof-of-concept in plaats van een spel dat leuk is om te spelen".
Om dit programma te maken, moesten de ingenieurs van Nvidia aan veel uitdagingen werken, waarvan de grootste objectduurzaamheid was. Het probleem is dat als de deep learning-berekeningen de afbeeldingen voor de wereld genereren met een snelheid van 25 frames per seconde, hoe zorgen ze er dan voor dat de dingen er hetzelfde uitzien? Catanzaro zegt dat deze moeilijkheid betekende dat het eerste resultaat van de machine " pijnlijk was om in te checken ", aangezien kleuren en texturen "elk frame veranderden".
De oplossing was om de machine een geheugen te geven dat tijdelijk is, zodat het elk nieuw frame zou vergelijken met het voorgaande. Het probeert zaken als beweging in deze afbeeldingen te voorspellen en genereert nieuwe frames die consistent zijn met wat er op het scherm wordt weergegeven. Al deze berekeningen zijn echter duur, en dus draait het spel maar met 25 frames per minuut.
De technologieën bevinden zich nog in de beginfase, benadrukt Catanzaro, en het zal waarschijnlijk nog decennia duren voordat AI-gegenereerde grafische afbeeldingen in consumentennamen verschijnen. Hij vergelijkt de situatie met de ontwikkeling van beam tracing, de huidige hete techniek bij het maken van afbeeldingen waarbij individuele lichtbundels direct worden gegenereerd om realistische reflecties, schaduwen en ondoorzichtigheid te produceren in digitale omgevingen. "De allereerste interactieve demonstratie van ray tracing vond lang geleden plaats, maar we kregen het pas een paar weken geleden in batches", zegt hij.
Het werk heeft echter mogelijke toepassingen in verschillende onderzoeksgebieden, waaronder robotica en zelfrijdende auto's, waarin het kan worden gebruikt om een trainingsomgeving te genereren. En het kan eerder in consumptiegoederen verschijnen, zij het met een beperktere capaciteit.
Deze technologie zou bijvoorbeeld kunnen worden gebruikt in een hybride beeldsysteem, waar het grootste deel van een game wordt achtergelaten met behulp van traditionele methoden, maar AI wordt gebruikt om de gelijkenissen van individuen of objecten te creëren. Consumenten konden zelf beelden vastleggen met smartphones en deze informatie vervolgens uploaden naar de cloud, waar berekeningen zouden leren om het te kopiëren en vervolgens in wedstrijden in te voegen. Het zou het bijvoorbeeld veel gemakkelijker kunnen maken om avatars te maken die op gamers lijken.
Dit soort technologie roept echter enkele voor de hand liggende vragen op. De laatste tijd maken experts zich steeds meer zorgen over het gebruik van AI-gegenereerde deepfakes zoals desinformatie en propaganda. Onderzoekers hebben aangetoond dat het gemakkelijk is om nepbeelden te maken van politici en beroemdheden die dingen doen of zeggen die ze niet deden, een krachtig wapen in de verkeerde handen. Door de mogelijkheden van de technologie vooruit te helpen en zijn studie te publiceren, draagt Nvidia aantoonbaar bij aan dit mogelijke probleem ...
De organisatie zegt echter dat dit een nieuw probleem is. "Mag [deze technologie] worden gebruikt voor het produceren van misleidende inhoud? Ja. Elke technologie voor weergave kan daarvoor worden gebruikt ", zegt Catanzaro. Hij zegt dat Nvidia samenwerkt met partners om onderzoek te doen naar methoden om AI-vervalsingen op te sporen, maar uiteindelijk is het probleem van verkeerde informatie een 'vertrouwensprobleem' en, zoals de meeste vertrouwenskwesties ervoor, moet het worden opgelost met behulp van een reeks processen, niet alleen technologisch ..
Catanzaro zegt dat technologiebedrijven zoals Nvidia slechts zoveel verantwoordelijkheid kunnen nemen. 'Kun je het energiebedrijf verantwoordelijk houden omdat ze de elektriciteit hebben gemaakt die de computer van stroom voorziet die de nepvideo produceert?' Hij vraagt.
En uiteindelijk heeft het voor Nvidia doorgaan met door AI gegenereerde afbeeldingen een duidelijk voordeel: het helpt om meer van de hardware van hun organisatie te promoten. Sinds de hausse op het gebied van deep learning begin 2010 begon, is de aandelenkoers van Nvidia enorm gestegen toen duidelijk werd dat de computerchips bij uitstek geschikt waren voor onderzoek en vooruitgang op het gebied van machine learning.
Kan een AI-revolutie in computergraphics goed zijn voor de inkomsten van de organisatie? Het zou zeker geen kwaad kunnen, lacht Catanzaro. "Alles wat ons vermogen vergroot om afbeeldingen te maken die realistischer en boeiender zijn, is naar mijn mening geweldig voor Nvidia's resultaten."
Referentie : The Verge