Avec l’explosion des documents numériques, la capacité de les traiter rapidement et fidèlement est plus cruciale que jamais. TNG a pris le pari de fine-tuner le modèle olmOCR pour en faire un véritable moteur OCR fiable, capable de traiter des informations essentielles souvent négligées.
Transformer olmOCR pour les applications commerciales
olOCR de l’Allen Institute s’est d’abord concentré sur la création de données d’entraînement pour les modèles de langue. Or, dans le cadre commercial, ignorer les en-têtes et pieds de page est un manque significatif. Un exemple probant : dans les factures, ces sections contiennent souvent des informations vitales. En utilisant Qwen2.5-VL-72B-Instruct, TNG a généré un ensemble de données de 8 000 documents pour former leur modèle et les résultats parlent d’eux-mêmes.
Les limites des moteurs OCR basés sur des pipelines
Traditionnellement, les moteurs OCR s’appuient sur des systèmes en chaîne, fragmentant le traitement des documents en plusieurs étapes parcourues par différentes technologies de machine learning. Cependant, ce modèle peut échouer à conserver un ordre de lecture naturel, particulièrement pour des documents riches en mise en page comme ceux ayant plusieurs colonnes.
Fine-tuning d’olmOCR : méthodologie et infrastructure
Le choix d’une infrastructure puissante, telle que l’utilisation de 8xH100 Nvidia nodes, a permis un processus de training efficace en seulement 6 heures. Toutefois, TNG confie que cette approche était probablement excessive : deux GPU auraient suffi. Le training a été réalisé sur la base du pipeline open-source olmOCR, démontrant qu’une optimisation bien planifiée et ciblée est plus cruciale que de vastes ressources matérielles.
« Notre fine-tuning permet maintenant une extraction complète des textes, y compris des données supplémentaires. Le modèle est encore capable de traiter des tableaux simples. »
Johannes Esslinger, TNG
Comparaison avant/après le fine-tuning : résultats concrets
Les tests comparatifs ont montré que la version fine-tunée d’olmOCR peut désormais extraire toutes les données pertinentes, même dans des mises en page complexes à plusieurs colonnes. OlmOCR original manquait souvent des informations clés. Cet ajustement favorise une intégration harmonieuse dans des applications critiques comme le traitement automatisé des factures.
L’optimisation de olmOCR représente une avancée notable : une extraction plus précise et complète pour les besoins commerciaux. Une évolution nécessaire face aux limitations des modèles traditionnels.
Élargir les capacités des moteurs OCR comme olmOCR est indispensable pour rester compétitif aujourd’hui. La fine-tuning intelligente de TNG démontre que même de grands modèles peuvent être affinés pour des applications spécifiques avec de bons résultats. Ce cas incite à repenser les processus de traitement des documents professionnels, en cherchant à doubler d’efficacité et de précision.
Laisser un commentaire