Découvrez FineVideo, un dataset vidéo révolutionnant la compréhension de contenus. Plongée technique et méthodologique.
Les datasets vidéo disponibles en open source se font encore rares, freinant ainsi l’essor de l’intelligence artificielle appliquée à la vidéo. FineVideo, un nouveau venu, vise à changer la donne avec ses 43 000 vidéos annotées en détail, réparties sur 3 400 heures. Ce projet permet une meilleure compréhension des contenus vidéo, propulse les modèles de diffusion pour générer des vidéos à partir de descriptions textuelles, et entraîne efficacement les modèles de vision par ordinateur.
Construction du dataset brut initial
Tout commence avec YouTube-Commons, une collection de transcriptions audio de vidéos partagées sous licence CC-By. FineVideo a démarré avec 1,9 million de vidéos issues de cette source, filtrant uniquement celles en anglais. À l’aide de métadonnées précises, 1,8 million de vidéos ont été téléchargées, malgré les suppressions et modifications de permissions par les propriétaires des chaînes.
Méthodes de téléchargement distribuées
Deux approches ont été explorées pour télécharger ces vidéos : l’utilisation de Video2dataset pour la distribution de téléchargements vidéo avec proxy, et les batch-jobs sur Google Cloud et AWS, tirant parti de conteneurs Docker sur-mesure. Bien que Video2dataset soit opérationnel, les limites proxy ont imposé un passage aux jobs cloud, permettant une efficacité accrue.
Filtrage par dynamisme et densité de mots
Pour sélectionner des vidéos de qualité, des critères de densité de mots et de dynamisme visuel ont été appliqués. Les vidéos devaient comporter une densité minimale de 0,5 mots par seconde, garantissant un contenu riche en informations. Par exemple, une vidéo avec une densité de 0,25 mots/seconde serait perçue comme plus monotone qu’une avec 0,75.
« La densité de mots sert de proxy au dynamisme audio, influençant directement la sélection des vidéos »
Hugging Face
FineVideo transforme l’approche des datasets vidéo open source avec un focus sur l’annotation précise et le filtrage dynamique. Il ouvre de nouvelles possibilités pour les modèles IA de traitement vidéo.
Le développement complet de FineVideo constitue une avancée significative dans la facilitation de la recherche et des applications des modèles IA grâce à des contenus vidéo plus accessibles et mieux structurés.