Découvrez le modèle VDR-2B-Multi-V1 pour une récupération visuelle multilingue ultra-rapide, sans OCR, sur Hugging Face.
Récupérer des documents visuels à travers plusieurs langues, sans passer par l’OCR ou des pipelines de données complexes ? C’est désormais une réalité avec le modèle VDR-2B-Multi-V1 de Hugging Face, qui propulse la récupération multilingue à un tout autre niveau grâce à des embeddings d’une précision inégalée.
Un modèle d’embedding à la pointe de la technologie
Le VDR-2B-Multi-V1 n’est pas un simple modèle d’embedding. Conçu pour répondre aux besoins complexes de la récupération de documents visuels, il encode les captures de pages de documents en une représentation vectorielle dense, facilitant ainsi la recherche de documents riches visuellement sans aucune extraction de données ou fragmentation préalable. En s’appuyant sur le modèle MrLight/dse-qwen2-2b-mrl-v1 et un dataset unique de 500k échantillons multilingues, il surpasse très largement ses prédécesseurs.
Des performances optimisées en conditions réelles
Sur les benchmarks de ViDoRe, le modèle anglais seul, utilisant 768 patches d’image, a surpassé la version de base avec 2560 patches, obtenant ainsi des inférences trois fois plus rapides et une utilisation de VRAM réduite. Cette amélioration se traduit par une récupération interlinguistique performante, permettant, par exemple, des recherches en allemand avec des requêtes en italien – un pas énorme pour les utilisateurs multilingues.
Le VDR-2B-Multi-V1 redéfinit la récupération documentaire en rendant la recherche multilingue rapide et précise, sans nécessité d’OCR.
Un dataset révolutionnaire pour des résultats plus précis
Le cœur du succès de VDR-2B-Multi-V1 réside dans son ensemble de données de 500k paires requête-image multilingues. Ce dataset, 10 fois plus grand que son prédécesseur, a été méticuleusement construit pour inclure des requêtes englobant de multiples thématiques et langues, garantissant une diversité et une pertinence accrues des résultats dans des scénarios réels.
« En entraînant un modèle sur autant d’échantillons multilingues, Hugging Face fait un bond en avant dans l’amélioration de la qualité des embeddings pour la récupération visuelle. »
Article de Hugging Face
Efforts de nettoyage et techniques de génération de données
En combinant génération synthétique de requêtes avec nettoyage de données rigoureux, Hugging Face a maximisé la qualité des questions utilisées pour améliorer l’entraînement du modèle. Des modèles comme gemini-1.5-pro et Qwen2-VL-72B ont permis de générer des requêtes spécifiques plus efficaces, affinées grâce à un processus de nettoyage strict. Ce travail de filtration élimine efficacement les questions à faible entropie, redondantes ou trop similaires.
Un impact concret pour les utilisateurs
Pour les développeurs et les entreprises, cela signifie moins de temps perdu à affiner la recherche de documents, plus de précision dans les résultats obtenus, et une intégration fluide avec des outils populaires comme SentenceTransformers et LlamaIndex. L’avenir du traitement multilingue des documents est en train de se concrétiser, et avec le VDR-2B-Multi-V1, c’est un horizon de possibilités qui s’ouvre.
En finalité, le modèle VDR-2B-Multi-V1 n’est pas juste une avancée technologique, c’est une véritable invitation à repenser comment nous interagissons avec le contenu visuel multilingue. En combinant rapidité, précision et polyvalence, il s’impose comme un outil indispensable pour quiconque traite des documents dans un cadre multilingue.