--- title: Video Generation From Audio UTT emoji: 🏃 colorFrom: indigo colorTo: red sdk: streamlit app_file: app.py pinned: false license: mit short_description: L’objectif est de concevoir une application capable de trans --- # Gen-AI-project-UTT L’objectif est de concevoir une application capable de transformer un audio en une vidĂ©o, en automatisant les Ă©tapes suivantes : Transcription de l’audio .mp3 → texte Analyse du texte → gĂ©nĂ©ration d’images Composition d’une vidĂ©o finale (texte animĂ©, images, sous-titres) Exposition du service via une API dĂ©ployĂ©e dans un environnement MLOps Le projet dĂ©montre : la maĂźtrise des modĂšles gĂ©nĂ©ratifs multimodaux (audio → texte, texte → vidĂ©o/image), la mise en place d’un pipeline ML reproductible, monitorĂ© et versionnĂ©, l’intĂ©gration des bonnes pratiques MLOps (MLflow, DVC, CI/CD, conteneurisation
). # Ingenierie des Prompts La principale problĂ©matique Ă  laquelle font face les modĂšles de gĂ©nĂ©ration vidĂ©o est la dĂ©rive contextuelle (ou l'oubli du contexte) Ă  mesure que la durĂ©e de la vidĂ©o augmente. Pour pallier cette limite technique, nous avons structurĂ© notre pipeline autour de sĂ©quences trĂšs courtes, de 5 Ă  6 secondes chacune (soit 129 frames Ă  24 fps). ### StratĂ©gie de cohĂ©rence * **Segmentation temporelle :** Le script de l'audio est dĂ©coupĂ© en parties Ă©gales. Pour chaque segment, un prompt descriptif spĂ©cifique est gĂ©nĂ©rĂ© par le modĂšle GPT-4o-mini. * **Ancre de style :** La premiĂšre phrase de chaque prompt est identique pour toutes les sĂ©quences d'un mĂȘme projet. Elle dĂ©finit le contexte global (style visuel, personnages, ambiance) afin d'Ă©viter que le modĂšle n'oscille entre diffĂ©rents rendus, comme le passage d'un style rĂ©aliste Ă  une animation 2D. * **Fixation de la Seed :** Nous utilisons une seed (graine alĂ©atoire) commune pour l'ensemble des segments d'une mĂȘme histoire. Cela permet de stabiliser les caractĂ©ristiques physiques des personnages et les Ă©lĂ©ments du dĂ©cor d'un plan Ă  l'autre. --- # Generation des Videos La gĂ©nĂ©ration a Ă©tĂ© rĂ©alisĂ©e via l'API fal.ai en utilisant le modĂšle HunyuanVideo. Ce choix s'appuie sur les performances de pointe de ce modĂšle dans le domaine de la gĂ©nĂ©ration vidĂ©o open-source, celui-ci Ă©tant classĂ© premier sur la plateforme Hugging Face lors de la rĂ©alisation du projet. ## Defis et limites rencontres * **Temps de calcul :** Pour un segment de 5 Ă  6 secondes, le temps de gĂ©nĂ©ration varie entre 5 et 6 minutes. Cette latence est due au haut niveau de dĂ©tails et Ă  la rĂ©solution de sortie (720p). * *Optimisation possible :* Une parallĂ©lisation des requĂȘtes permettrait de gĂ©nĂ©rer tous les segments simultanĂ©ment plutĂŽt qu'en sĂ©rie, rĂ©duisant drastiquement le temps total de production. * **Instabilite visuelle :** MalgrĂ© l'optimisation des prompts et l'usage d'une seed fixe, des micro-variations subsistent. Par exemple, le personnage du fermier conserve ses attributs principaux (chapeau, moustache), mais la densitĂ© ou la forme de sa moustache peut varier sensiblement d'une partie Ă  l'autre. ## Pistes d'amelioration L'Ă©volution logique du projet serait d'intĂ©grer une dimension Image-to-Video (I2V). Au lieu de s'appuyer uniquement sur du texte (Text-to-Video), le modĂšle utiliserait une image de rĂ©fĂ©rence contenant tous les Ă©lĂ©ments clĂ©s de l'histoire comme base structurelle fixe. Passer d'une approche purement textuelle Ă  une approche multimodale (Image + Texte) permettrait de verrouiller l'apparence des personnages de maniĂšre dĂ©finitive. Le modĂšle utilisĂ© pour ce prototype ne supportant pas nativement cette fonctionnalitĂ©, elle constitue un axe de dĂ©veloppement prioritaire pour les versions futures.