Alors que ChatGPT et Dall-E continuent d’impressionner dans leurs domaines respectifs, l’arrivée de Sora marque une nouvelle ère dans la génération de contenu visuel. Implémentée et présentée par OpenAI, cette solution novatrice est capable de produire des animations d’une minute en haute qualité visuelle (résolution 1080p). Et ce, rien qu’à partir de simples instructions textuelles. Dans un document technique, OpenAI explique : « Nous générons des modèles de diffusion conditionnelle de texte sur des vidéos et des images de différentes durées, résolutions et ratios d’aspect. »

S’appuyant sur la technologie des transformeurs, à la base des impressionnantes performances des LLM (modèles de langage de grande taille), Sora opère sur les éléments spatio-temporels des vidéos et sur le code latent des images. Ainsi, Sora est capable de générer des scènes complexes, avec plusieurs personnages, des mouvements spécifiques et des détails précis sur le sujet et l’arrière-plan. Le modèle comprend non seulement ce qui est demandé dans l’instruction, mais aussi comment ces éléments interagissent dans le monde réel.

Une solution pour les professionnels de la création

Malgré ses avancées remarquables, Sora présente quelques faiblesses que OpenAI reconnaît avec lucidité. Le modèle peut encore rencontrer des difficultés dans la simulation précise de certaines propriétés de scènes complexes, ainsi que dans la compréhension précise des détails spatiaux et temporels des instructions. Par exemple, il peut confondre la gauche et la droite ou avoir du mal à suivre précisément la trajectoire d’une caméra.

Concernant sa disponibilité, Sora est actuellement accessible à un nombre limité de personnes, principalement à l’équipe d’analyse des risques (red team) chargée d’évaluer les éventuelles failles. OpenAI offre également un accès à un groupe sélectionné d’artistes visuels, de designers et de cinéastes afin de recueillir des retours d’expérience et d’améliorer constamment le modèle pour qu’il réponde au mieux aux besoins des professionnels de la création. Dans un marché déjà concurrentiel, OpenAI compte bien s’imposer aux côtés de géants tels que Meta, Microsoft ou Runway dans le domaine de la génération de vidéos.

Hamed Nanéma
Lefaso.net
Source : Lemonde Informatique/Futura-sciences