Es ist ein einfacher Fahrsimulator, könnte aber der Beginn einer Revolution in der Grafik von Videospielen sein.
Der derzeitige Boom der künstlichen Intelligenz hat zu bemerkenswerten Ergebnissen in einem etwas überraschenden Bereich geführt: dem Bereich der Bild- und Filmerstellung. Das jüngste Beispiel wurde vom Chipdesigner Nvidia vorgestellt, der heute Forschungsergebnisse veröffentlichte, um zu demonstrieren, wie AI-generierte Grafiken mit einem herkömmlichen Videospiel verwendet werden können. Das Ergebnis ist ein hybrides Grafiksystem, das eines Tages in Videospielen, Filmen und in der virtuellen Realität verwendet werden könnte .
Es ist ein neuer Ansatz zum Rendern von Videoinhalten mithilfe von Deep Learning. Offensichtlich kümmert sich Nvidia sehr um die Erzeugung von Bildern und die Spielebranche überlegt, wie KI das Feld revolutionieren wird.
Die Ergebnisse von Nvidias Arbeiten sind nicht fotorealistisch und zeigen das Markenzeichen des visuellen Verschmierens, das in im Wesentlichen von KI erzeugten Bildern zu sehen ist. Sie sind auch nicht ganz neu. In einem Forschungsbericht von Nvidia beschreiben die Ingenieure des Unternehmens, wie sie auf einer Reihe aktueller Methoden aufgebaut haben, beispielsweise auf einem einflussreichen Open-Source-System namens pix2pix. Ihre Funktionen setzen eine Art neuronales Netzwerk ein, das als generatives soziales System oder sogar GAN bekannt ist. Diese werden häufig bei der Erzeugung von KI-Bildern verwendet, unter anderem für die Einführung eines KI-Porträts, das kürzlich von Christie's verkauft wurde.
Nvidia hat jedoch mehrere Erfindungen eingeführt, und ein Produkt der Arbeit, so heißt es, ist die erste Videospielpräsentation mit AI-generierten Grafiken. Es ist eine einfache Fahrsimulation, bei der Spieler ein paar Stadtblöcke des von KI erzeugten Raums durchsuchen, aber ihr Fahrzeug nicht verlassen oder mit der Außenwelt interagieren können. Die Demo wird mit nur einer GPU betrieben - eine bemerkenswerte Leistung für diese hochmoderne Arbeit. (Zugegebenermaßen ist die GPU die oberste Marke des Unternehmens für 3.000 US-Dollar Titan V, "die effektivste PC-GPU, die jemals entwickelt wurde" und im Allgemeinen für die erweiterte Simulationsverarbeitung im Gegensatz zu Spielen verwendet wird.)
Das System von Nvidia erstellt Grafiken mit wenigen Aktionen. Zunächst müssen die Forscher Trainingsdaten sammeln, die in diesem Fall aus Open-Source-Datensätzen entfernt wurden, die für die autonome Fahrforschung verwendet wurden. Dieses Filmmaterial wird dann segmentiert, was bedeutet, dass jeder Frame in verschiedene Klassen unterteilt ist: Himmel, Bäume, Autos, Straße, Gebäude usw. Ein generatives gegnerisches Netzwerk wird dann mit diesen spezifischen Daten trainiert, um neue Varianten dieser Elemente zu generieren.
Anschließend erstellten die Ingenieure die grundlegende Topologie der digitalen Umgebung mithilfe einer herkömmlichen Spiel-Engine. In solchen Fällen war das System Unreal Engine 4, damals eine Lieblings-Engine für Titel wie Fortnite, PUBG, Gears of War 4 und mehrere mehr. Unter Verwendung dieser Umgebung als Framework erstellen Deep-Learning-Algorithmen anschließend die Grafiken für jede Klasse von Dingen in Echtzeit und kleben sie auf die Modelle der Game Engine.
"Die Anordnung der Welt wurde traditionell getroffen" , erklärt Bryan Catanzaro, Nvidias Vizepräsident für angewandtes Deep Learning. "Das einzige, was die KI erzeugt, sind die Bilder." Er fügt hinzu, dass die Demonstration selbst von grundlegender Bedeutung ist und von einem einzigen Ingenieur zusammengestellt wurde. "Es ist ein Proof-of-Concept anstelle eines Spiels, das Spaß macht".
Um dieses Programm zu erstellen, mussten die Ingenieure von Nvidia an vielen Herausforderungen arbeiten, von denen die größte die Objektbeständigkeit war. Das Problem ist, wenn die Deep-Learning-Berechnungen die Grafiken für die Welt mit einer Geschwindigkeit von 25 Bildern pro Sekunde erzeugen. Wie sorgen sie dafür, dass die Dinge gleich aussehen? Laut Catanzaro bedeutete diese Schwierigkeit, dass das anfängliche Ergebnis der Maschine " schmerzhaft einzuchecken " war, da Farben und Texturen "jeden Frame änderten".
Die Lösung bestand darin, der Maschine einen temporären Speicher zu geben, damit jeder neue Frame mit dem vorherigen verglichen werden kann. Es versucht, Dinge wie die Bewegung in diesen Bildern vorherzusagen, und generiert neue Bilder, die mit dem auf dem Bildschirm angezeigten übereinstimmen. All diese Berechnungen sind jedoch teuer und daher läuft das Spiel nur mit 25 Bildern pro Minute.
Die Technologien befinden sich noch in einem sehr frühen Stadium, betont Catanzaro, und es wird wahrscheinlich Jahrzehnte dauern, bis AI-generierte Grafiken in Verbrauchernamen erscheinen. Er vergleicht die Situation mit der Entwicklung der Strahlverfolgung, der gegenwärtigen heißen Technik bei der Bilderzeugung, bei der einzelne Lichtstrahlen sofort erzeugt werden, um realistische Reflexionen, Schatten und Opazitäten in digitalen Umgebungen zu erzeugen. "Die allererste interaktive Raytracing-Demonstration fand lange vor langer Zeit statt, aber wir haben sie erst vor ein paar Wochen in Chargen erhalten", erklärt er.
Die Arbeit hat jedoch mögliche Anwendungen in verschiedenen Forschungsbereichen, einschließlich Robotik und selbstfahrenden Autos, in denen sie zur Erzeugung von Trainingsumgebungen verwendet werden kann. Und es kann früher in Konsumgütern auftreten, wenn auch in begrenztem Umfang.
Zum Beispiel könnte diese Technologie in einem hybriden Bildsystem verwendet werden, in dem der Großteil eines Spiels mit herkömmlichen Methoden übrig bleibt. KI wird jedoch verwendet, um die Ähnlichkeiten von Individuen oder Objekten zu erzeugen. Verbraucher könnten Filmmaterial selbst mit Smartphones erfassen und diese Informationen dann in die Cloud hochladen, wo Berechnungen lernen würden, sie zu kopieren und dann in Übereinstimmungen einzufügen. Dies könnte es viel einfacher machen, Avatare zu erstellen, die beispielsweise wie Gamer aussehen.
Diese Art von Technologie wirft jedoch einige offensichtliche Fragen auf. In letzter Zeit sind Experten zunehmend besorgt über die Verwendung von durch KI erzeugten Deepfakes wie Desinformation und Propaganda. Forscher haben gezeigt, dass es einfach ist, gefälschte Aufnahmen von Politikern und Prominenten zu erstellen, die Dinge tun oder sagen, die sie nicht getan haben, eine starke Waffe in den falschen Händen. Indem Nvidia die Fähigkeiten der Technologie vorantreibt und ihre Studie veröffentlicht, trägt sie wohl zu diesem möglichen Problem bei…
Die Organisation sagt jedoch, dass dies ein neues Problem ist. "Darf [diese Technologie] zur Erstellung irreführender Inhalte verwendet werden? Ja. Dazu kann jede Technologie zum Rendern verwendet werden ", erklärt Catanzaro. Er sagt, dass Nvidia mit Partnern zusammenarbeitet, um Methoden zur Erkennung von KI-Fälschungen zu erforschen, aber letztendlich ist das Problem der Fehlinformation ein "Vertrauensproblem". Und wie die meisten Vertrauensprobleme zuvor muss es nicht nur mit einer Reihe von Prozessen gelöst werden technologische ..
Laut Catanzaro können Technologieunternehmen wie Nvidia nur so viel Verantwortung übernehmen. "Können Sie das Energieversorgungsunternehmen zur Rechenschaft ziehen, weil es den Strom für den Computer erzeugt hat, der das gefälschte Video produziert?" Er fragt.
Und letztendlich hat es für Nvidia einen klaren Vorteil, AI-generierte Bilder voranzutreiben: Es hilft, mehr Hardware für das Unternehmen zu bewerben. Seit dem Beginn des Deep-Learning-Booms Anfang der 2010er Jahre ist der Aktienkurs von Nvidia gestiegen, da sich herausstellte, dass seine Computerchips ideal für die Erforschung und Weiterentwicklung des maschinellen Lernens geeignet waren.
Könnte eine KI-Revolution in der Computergrafik also gut für die Einnahmen des Unternehmens sein? Es würde bestimmt nicht schaden, lacht Catanzaro. "Alles, was unsere Fähigkeit verbessert, realistischere und überzeugendere Bilder zu erstellen, ist meiner Meinung nach großartig für das Endergebnis von Nvidia."
Referenz : The Verge