« NEO NPC », ou le futur du jeu vidéo selon Ubisoft (et l’IA générative)

A l’occasion de la Game Developers Conference (GDC) de San Francisco, Ubisoft a dévoilé aujourd’hui ses « NEO NPC ». Il s’ agit d’un premier prototype d’IA générative (GenAI) qui transforme la manière dont les joueurs et joueuses interagissent avec les personnages non-jouables (PNJ) dans les jeux vidéo. De quoi ouvrir de nouvelles voies pour un gameplay intégrant nativement des fonctionnalités d’IA générative.

NEO NPC : une collaboration étroite entre Ubisoft, Nvidia et Inworld AI

Les NEO NPCs sont le résultat d’une initiative de R&D du studio Ubisoft Paris, soutenue par le département Technologies de Production d’Ubisoft. Cette initiative place la créativité et la narration au cœur de l’expérience des joueurs et joueuses et explore l’utilisation de la GenAI comme une fonctionnalité centrale de jeu par le biais de personnages plus intelligents, mais aussi bien plus interactifs et engageants. Améliorés avec de nouveaux systèmes cognitifs – tels que des dialogues non scriptés, des émotions et des animations en temps réel, de la mémoire, une conscience du contexte, et une prise de décision collaborative – les NEO NPCs présentent des capacités interactives sans précédent.

Pour les équipes créatives d’Ubisoft chargées de donner vie à ces PNJ, l’utilisation de la GenAI permet d’élever le niveau du travail créatif nécessaire à la conception narrative bien au-delà de ce qui est habituellement requis pour des interactions de PNJ traditionnellement scriptées.

Chaque détail – personnalités, histoires, opinions et émotions – doit être minutieusement pensé et programmé dans le modèle de chaque NEO NPC. En contrepartie, chaque conversation avec un PNJ devient alors unique et réagit aux joueurs et à leurs actions, ce qui donne lieu à des expériences entièrement personnalisées et immersives. Voilà quoi pourrait servir à un prochain Assassin’s Creed par exemple !

« Mon travail créatif est bien plus profond puisque je dois travailler sur leur psychologie, leur donner une âme, avec une finesse à laquelle nous n’avions encore jamais consacré autant de temps » a déclaré Virginie Mosser, directrice narrative du projet. « En tant qu’auteure, voir mes personnages prendre vie et converser avec moi pour la première fois a été l’un des moments les plus satisfaisants et les plus touchants de ma carrière. »

Des PNJ plus intelligents… plus vivants !

Grâce à cette nouvelle technologie, les PNJ reconnaissent les intentions des joueurs, s’adaptent émotionnellement et peuvent réagir à la discussion en temps réel, débloquant de nouveaux éléments d’histoire ou allant jusqu’à générer de nouvelles quêtes à la volée. La capacité des NEO NPCs à percevoir leur environnement leur donne également la faculté de réagir dynamiquement à des « points d’intérêt », tels que des événements survenant dans le jeu. Cela leur permet de partager des informations en temps réel, de poser des questions sur les événements en cours, de planifier des actions ou d’offrir aux joueurs la chance d’influencer la prise de décisions.

Les NEO NPCs sont nés d’une collaboration étroite entre les créateurs d’Ubisoft et des partenaires technologiques de premier plan sur l’IA générative : Nvidia et Inworld AI. La technologie d’Inworld et leur modèle de langage (LLM) permettent à l’équipe narrative d’Ubisoft de créer une identité, un style de conversation et une base de connaissance complète pour chaque PNJ, tandis que la solution Audio2Face de Nvidia ACE est utilisée pour permettre l’animation faciale des personnages en temps réel pour la première fois.

Reste à savoir maintenant quel sera le premier jeu à tirer pleinement profit de cette nouvelle technologie, et si cela parviendra réellement à révolutionner ces bons vieux NPJ, et le jeu vidéo dans son ensemble.