Epic Games lance MetaHuman Animator
Epic Games a publié MetaHuman Animator, son ensemble d’outils très attendus d’animation faciale et de capture de performances pour son cadre MetaHuman.
Le système rationalise le processus de transfert de la performance faciale d’un acteur à partir de séquences capturées sur un iPhone ou une caméra montée sur un casque vers un personnage MetaHuman en temps réel à l’intérieur d’Unreal Engine.
Epic affirme qu’il “produira la qualité de l’animation faciale requise par les développeurs de jeux AAA et les cinéastes hollywoodiens, tout en étant accessible aux studios indépendants et même aux amateurs”.
L’ensemble d’outils a été annoncé lors de la conférence State of Unreal d’Epic Games au GDC 2023 plus tôt cette année, et est maintenant disponible dans la dernière version de son plugin gratuit MetaHuman pour Unreal Engine.
Fait partie du cadre d’Epic Games pour la création d’humains numériques de nouvelle génération pour les jeux et l’animation
MetaHuman Animator est la dernière partie du cadre MetaHuman d’Epic Games pour la création de personnages 3D de nouvelle génération à utiliser dans les jeux et les applications en temps réel – et aussi, de plus en plus, dans l’animation hors ligne.
La première partie, l’outil de création de personnages basé sur le cloud MetaHuman Creator, qui permet aux utilisateurs de concevoir des humains numériques réalistes en personnalisant des personnages 3D prédéfinis, a été publié en accès anticipé en 2021.
Les utilisateurs peuvent générer de nouveaux personnages en mélangeant entre les préréglages, puis en ajustant les proportions du visage à la main et en personnalisant les coiffures et les vêtements prêts à l’emploi.
La deuxième partie, le plugin MetaHuman pour Unreal Engine, a été publiée l’année dernière et permet de créer des MetaHumans correspondant à des scans 3D ou à des modèles faciaux créés dans d’autres applications DCC.
Génère une séquence vidéo correspondant à un personnage MetaHuman d’un acteur
Les personnages de MetaHuman ont des plates-formes faciales, ils ont donc déjà pris en charge la capture de mouvement faciale, mais pour transférer ce mouvement à partir de séquences vidéo d’un acteur avec des proportions faciales différentes, il fallait un affineri manuel.
MetaHuman Animator est destiné à rationaliser ce processus de retargeting : un workflow qu’Epic Games appelle Footage to MetaHuman.
Comme pour Mesh to MetaHuman, il génère des données source de correspondance MetaHuman.
Une « pose de dents » : l’un des “frames” de référence standard que l’ensemble d’outils MetaHuman Animator utilise pour générer un personnage MetaHuman correspondant aux proportions faciales d’un acteur à partir de séquences vidéo de cet acteur.
Fonctionnel de un à quatre “frames” de référence du visage d’un acteur
Le processus commence par l’ingestion des séquences dans Unreal Engine et l’identification des trames de référence clés à partir desquelles le plugin MetaHuman peut effectuer une résolution.
Sur les images capturées avec une caméra professionnelle, une seule image est nécessaire : une vue frontale de l’acteur avec une expression faciale neutre.
Avec les séquences de l’iPhone, Epic recommande également d’identifier les vues gauche et droite du visage de l’acteur pour améliorer la qualité de la résolution.
Un autre cadre de référence montrant les dents exposées de l’acteur améliore la qualité des animations de la bouche.
Le plugin MetaHuman résout ensuite les séquences pour conformer un maillage de modèle – une tête MetaHuman – aux données. Les utilisateurs peuvent alterner entre la tête 3D et l’image source pour vérifier la résolution.
Le maillage du modèle est ensuite utilisé pour générer un objet qui peut être utilisé pour l’animation.
Le traitement se fait dans le cloud – la seule partie du workflow qui ne s’exécute pas localement – et le MetaHuman résultant est téléchargé sur Unreal Engine via le plugin Quixel Bridge d’Epic.
Extraire le mouvement facial de la vidéo et l’appliquer à un MetaHuman
Le résultat est une plate-forme MetaHuman calibrée aux proportions faciales de l’acteur.
Le plugin MetaHuman peut ensuite extraire le mouvement facial des séquences vidéo de cet acteur et les transférer au personnage 3D, l’utilisateur étant en mesure de prévisualiser le résultat dans la fenêtre d’affichage.
L’animation peut ensuite être exportée vers Unreal Engine sous forme de séquence d’animation.
L’exportation en tant que séquence d’animation permet de transférer l’animation faciale de manière transparente à d’autres MetaHumans, ce qui signifie que la performance de l’acteur peut être utilisée pour piloter n’importe quel personnage MetaHuman.
Autres avantages du workflow
Les courbes de contrôle générées par le processus sont « sémantiquement correctes » – c’est-à-dire structurées de la même manière qu’elles le seraient si elles étaient créées par un animateur humain – ce qui rend l’animation plus facile à modifier.
MetaHuman Animator prend également en charge le timecode, ce qui permet de synchroniser l’animation faciale avec la capture de mouvement du corps entier ; et peut utiliser l’audio de l’enregistrement facial pour générer une animation de la langue.
Fonctionne avec n’importe quoi, des iPhones aux appareils photo professionnels montés sur casque
MetaHuman Animator est également conçu pour fonctionner avec un spectre complet de systèmes de caméras faciales.
Pour les artistes indépendants, cela inclut les séquences diffusées en continu à partir d’un iPhone à l’aide de l’application gratuite Live Link Face d’Epic.
Live Live Face 1.3, publié en même temps que MetaHuman Animator, met à jour l’application pour lui permettre de capturer des séquences vidéo brutes et les données de profondeur requises, ces dernières via la caméra TrueDepth de l’iPhone.
Les grands studios peuvent utiliser des caméras standard montées sur un casque : MetaHuman Animator fonctionne avec “toute solution de capture stéréo verticale professionnelle HMC”, y compris celles de la division Technoprops d’ILM.
Prix, date de sortie et configuration système requise
L’ensemble d’outils MetaHuman Animator fait partie du plugin gratuit MetaHuman d’Epic Games. Le plugin est compatible avec Unreal Engine 5.0+, mais pour utiliser MetaHuman Animator, vous pouvez utiliser Unreal Engine 5.2+.
Live Link Face est disponible gratuitement pour iOS 16.0 et versions ultérieures. Pour l’utiliser avec MetaHuman Animator, vous aurez besoin de la version 1.3+ du plugin et d’un iPhone 12 ou ultérieur.
MetaHuman Creator est disponible en accès anticipé. Il fonctionne dans le cloud et est compatible avec les navigateurs Chrome, Edge, Firefox et Safari, fonctionnant sous Windows ou macOS. Il est gratuit pour une utilisation avec Unreal Engine.
L’utilisation de l’éditeur Unreal Engine lui-même est gratuite, tout comme le rendu du contenu non interactif. Pour les développeurs de jeux, Epic prend 5 % du brut au-delà du premier million de dollars gagnés au cours de la vie d’un produit.
En savoir plus sur MetaHuman Animator sur le blog d’Epic Games
Trouvez la documentation en ligne pour MetaHuman Animator dans le nouveau MetaHuman Hub d’Epic Games
Téléchargez le plugin gratuit MetaHuman pour Unreal Engine, y compris MetaHuman Animator
N’hésitez pas à suivre Orizon Group sur les réseaux sociaux et plateformes : Youtube, Instagram, Facebook, LinkedIn.
