Le storytelling par IA propulsé par MiniMax H3, "Alicia of the Stars" fait sensation

Récemment, un film d'animation de storytelling intitulé "Alicia of the Stars - First show", réalisé à l'aide du nouveau modèle multimodal de génération de vidéo par IA "MiniMax H3 (MiniMax H3)", a été publié sur la communauté vidéo IA Reddit (r/aivideo) et suscite un vif intérêt. Contrairement aux vidéos générées par IA traditionnelles, cette vidéo réduit considérablement les processus de synthèse sonore et d'association de sous-titres, et démontre le potentiel d'un storytelling par IA avancé en générant des vidéos haute définition et un son d'ambiance en trois dimensions en une seule fois grâce à un modèle omnimodal unique.

Le "MiniMax H3" utilisé dans cette vidéo est un modèle génératif omnimodal universel à poids ouverts (Open-weights), développé et officiellement lancé par Hailuo AI et MiniMax. Il a été conçu pour pallier les inconvénients des générations précédentes de modèles d'IA, qui sortaient des vidéos muettes à partir de prompts textuels et nécessitaient de synchroniser manuellement le son et les voix via d'autres programmes de génération audio. Dès l'étape de pré-entraînement, il est optimisé pour analyser de manière intégrée des contextes multiples tels que le texte, l'image, l'audio et la vidéo au sein d'un seul réseau de neurones, ce qui lui permet de gérer sans difficulté des instructions multimodales complexes.

Le MiniMax H3 dispose d'une performance unique capable de générer simultanément une vidéo d'une durée maximale de 15 secondes (minimum 4 secondes) et un audio stéréo natif haute qualité à 32 kHz en une seule opération. Il prend en charge de manière universelle divers rapports d'aspect, notamment 16:9, 1:1 et 9:16, et peut effectuer un rendu allant d'une fréquence d'images fixe de 24 FPS et d'une norme par défaut de 768 pixels de hauteur jusqu'à une qualité haute résolution 2K. Il se caractérise notamment par sa capacité à produire des dialogues naturels dans un total de 11 langues principales, dont le français, l'anglais, le coréen, le chinois et le japonais. De plus, ce modèle à poids est entièrement accessible sur Hugging Face, permettant à quiconque disposant d'un matériel haut de gamme de l'utiliser gratuitement en environnement local, et il est également fourni sous diverses formes, telles que sa propre application Web cloud officielle ou des API serverless tierces selon une politique de tarification à l'usage.

Si ces fonctionnalités de MiniMax H3 étaient intégrées à 5HOW.ME, un service de création de vidéos et d'images par IA, la commodité créative des créateurs ferait un bond en avant spectaculaire. Sans les contraintes de performance de calcul lourde ou de matériel GPU haut de gamme sur l'ordinateur d'un utilisateur individuel, il serait possible de finaliser en quelques clics dans un environnement de navigateur une animation de 15 secondes combinant les dialogues des personnages et un son de fond immersif, et ce sans interruption. Le processus de montage fastidieux et habituel, qui consistait à ajouter des couches sonores et à éditer pour synchroniser la vidéo après le rendu, se trouve pratiquement unifié en une seule étape, ce qui devrait offrir une productivité de production maximale aux utilisateurs souhaitant produire en masse des histoires courtes de haute qualité ou des animations au format court.

Source

Cet article a été rédigé par une IA et vérifié par un éditeur.