C'est un simple simulateur de conduite mais pourrait être le début d'une révolution dans les graphismes des jeux vidéo.
Le boom actuel de l' intelligence artificielle a généré des résultats remarquables dans un domaine quelque peu surprenant: le domaine de la création d'images et de films. L'exemple le plus récent a été présenté par le concepteur de puces Nvidia, qui a publié aujourd'hui des recherches sur la démonstration de la manière dont les visuels générés par l'IA peuvent être utilisés avec un jeu vidéo conventionnel. Le résultat est un système graphique hybride qui pourrait un jour être utilisé dans les jeux vidéo, les films et la réalité virtuelle .
Il s'agit d'une nouvelle approche pour rendre le contenu vidéo en utilisant l'apprentissage en profondeur. De toute évidence, Nvidia se soucie beaucoup de la génération d'images et l'industrie du jeu réfléchit à la manière dont l'IA va révolutionner le domaine.
Les résultats des travaux de Nvidia ne sont pas photoréalistes et révèlent le maculage visuel caractéristique observé dans les images essentiellement générées par l'IA. Ils ne sont pas non plus totalement nouveaux. Dans un article de recherche de Nvidia, les ingénieurs de la société décrivent comment ils se sont basés sur un certain nombre de méthodes actuelles, telles qu'un système open source influent connu sous le nom de pix2pix. Leurs fonctions déploient une sorte de réseau neuronal connu sous le nom de système social génératif ou encore GAN. Ceux-ci sont largement utilisés dans la génération d'images AI, y compris pour l'introduction d'un portrait AI récemment vendu par Christie's.
Cependant, Nvidia a introduit plusieurs inventions, et l'un des produits du travail, dit-il, est la toute première présentation de jeu vidéo avec des graphiques générés par l'IA. C'est une simulation de conduite facile dans laquelle les joueurs parcourent quelques pâtés de maisons de l'espace généré par l'IA mais ne peuvent pas quitter leur véhicule ou interagir avec le monde extérieur. La démo est alimentée par un seul GPU - une réalisation remarquable pour un travail aussi de pointe. (Bien qu'il soit vrai que le GPU est le sommet de la société Titan V à 3000 $, "le GPU PC le plus efficace jamais créé" et généralement utilisé pour le traitement de simulation avancé par opposition au jeu.)
Le système de Nvidia crée des graphiques en utilisant quelques actions. Premièrement, les chercheurs doivent collecter des données d'entraînement, qui dans ce cas ont été supprimées des ensembles de données open source utilisés pour la recherche sur la conduite autonome. Ces images sont ensuite segmentées, ce qui signifie que chaque image est divisée en différentes classes: ciel, arbres, voitures, route, bâtiments, etc. Un réseau antagoniste génératif est ensuite formé avec ces données spécifiques pour générer de nouvelles variantes de ces éléments.
Ensuite, les ingénieurs ont fait la topologie de base de l'environnement numérique en utilisant un moteur de jeu traditionnel. Dans des cas comme celui-ci, le système était Unreal Engine 4, puis un moteur préféré utilisé pour des titres comme Fortnite, PUBG, Gears of War 4 et plusieurs autres. En utilisant cet environnement comme cadre, des algorithmes d'apprentissage en profondeur créent ensuite les graphiques pour chaque classe d'objets différente en temps réel, en les collant aux modèles du moteur de jeu.
"L'arrangement du monde a été fait traditionnellement", précise le vice-président de l'apprentissage profond de Nvidia, Bryan Catanzaro, "la seule chose que l'IA génère, ce sont les images." Il ajoute que la démonstration elle-même est fondamentale et a été réalisée par un seul ingénieur. "C'est une preuve de concept au lieu d'un jeu amusant à jouer".
Pour réaliser ce programme, les ingénieurs de Nvidia devaient travailler sur de nombreux défis, dont le plus important était la permanence des objets. Le problème est que si les calculs d'apprentissage en profondeur génèrent les graphiques pour le monde à une vitesse de 25 images par seconde, comment maintiennent-ils les choses identiques? Catanzaro dit que cette difficulté signifiait que le résultat initial de la machine était " pénible à enregistrer " car les couleurs et les textures "changeaient à chaque image".
La solution était de donner à la machine une mémoire temporaire, afin qu'elle compare chaque nouvelle image avec ce qui s'est passé auparavant. Il tente de prédire des choses comme le mouvement dans ces images et génère de nouvelles images cohérentes avec ce qui est à l'écran. Cependant, tout ce calcul est coûteux et le jeu ne tourne donc qu'à 25 images par minute.
Les technologies en sont très à leurs débuts, souligne Catanzaro, et il faudra probablement des décennies avant que les graphiques générés par l'IA apparaissent dans les noms des consommateurs. Il compare la situation au développement du traçage de faisceaux, la technique actuelle de création d'images où des faisceaux de lumière individuels sont générés instantanément pour produire des réflexions, des ombres et une opacité réalistes dans des environnements numériques. «La toute première démonstration de lancer de rayons interactif a eu lieu il y a longtemps, mais nous ne l'avons reçue par lots que quelques semaines auparavant» , déclare-t-il.
Le travail a cependant des applications possibles dans différentes régions de recherche, y compris la robotique et les voitures autonomes, dans lesquelles il peut être utilisé pour générer un environnement d'entraînement. Et il peut apparaître plus tôt dans les biens de consommation, mais à une capacité plus limitée.
Par exemple, cette technologie pourrait être utilisée dans un système d'image hybride, où la majorité d'un jeu est laissé en utilisant des méthodes traditionnelles, cependant, l'IA est utilisée pour créer les ressemblances d'individus ou d'objets. Les consommateurs pourraient capturer eux-mêmes des images à l'aide de smartphones, puis télécharger ces informations sur le cloud où les calculs apprendraient à les copier, puis à les insérer dans des correspondances. Cela pourrait faciliter la création d'avatars qui ressemblent à des joueurs, par exemple.
Ce type de technologie soulève cependant des questions évidentes. Récemment, les experts se sont de plus en plus inquiétés de l'utilisation de deepfakes générés par l'IA, tels que la désinformation et la propagande. Les chercheurs ont montré qu'il était facile de créer de fausses images de politiciens et de célébrités faisant ou disant des choses qu'ils ne faisaient pas, une arme puissante entre de mauvaises mains. En faisant progresser les capacités de la technologie et en publiant son étude, Nvidia contribue sans doute à ce problème éventuel ...
L'organisation, cependant, dit qu'il s'agit d'un nouveau problème. "Cette technologie peut-elle être utilisée pour produire du contenu trompeur? Oui. Toute technologie de rendu peut être utilisée pour cela ", déclare Catanzaro. Il dit que Nvidia travaille avec des partenaires pour rechercher des méthodes pour détecter les fausses informations d'IA, mais qu'en fin de compte, le problème de la désinformation est un "problème de confiance" Et, comme la plupart des problèmes de confiance avant lui, il devra être résolu à l'aide d'un éventail de processus, pas simplement technologique ..
Catanzaro dit que les entreprises technologiques comme Nvidia ne peuvent assumer qu'une part de responsabilité. "Pouvez-vous tenir la compagnie d'électricité responsable parce qu'elle a produit l'électricité qui alimente l'ordinateur qui produit la fausse vidéo?" Il demande.
Et finalement, pour Nvidia, aller de l'avant avec des images générées par l'IA présente un net avantage: cela permet de promouvoir davantage le matériel de leur organisation. Depuis que le boom de l'apprentissage profond a décollé au début des années 2010, le cours de l'action de Nvidia a grimpé en flèche car il est devenu évident que ses puces informatiques étaient parfaitement adaptées à la recherche et à l'avancement de l'apprentissage automatique.
Une révolution de l'IA dans l'infographie pourrait-elle donc être bonne pour les revenus de l'organisation? Cela ne ferait certainement pas de mal, rit Catanzaro. «Tout ce qui augmente notre capacité à créer des images qui sont plus réalistes et convaincantes, je crois, est excellent pour les résultats de Nvidia.»
Référence : The Verge