OlmoEarth : Plateforme d’inférence géospatiale à l’échelle planétaire
OlmoEarth permet une inférence géospatiale efficace à échelle continentale pour des applications critiques comme la sécurité alimentaire.
Avec plus de 10 téraoctets de données satellitaires multimodales traités quotidiennement, la plateforme OlmoEarth révolutionne l’inférence géospatiale à grande échelle. Dédiée à transformer les montagnes de données brutes en informations exploitables, elle devient l’outil incontournable pour les gouvernements et ONG attaquant de front des problèmes comme la déforestation et la sécurité alimentaire.
Pourquoi l’inférence satellite est-elle complexe ?
La plupart des modèles de machine learning manipulent quelques mégaoctets de données. Comparativement, l’observation de la Terre implique des entrées massives, couvrant plusieurs bandes spectrales et géographies. Les données satellitaires, souvent masquées par des nuages ou disparates en résolution, nécessitent une préparation minutieuse. Dans cette danse complexe, OlmoEarth optimise les pipelines de données pour gérer de larges volumes d’I/O sans accroc.
Matériel adapté pour chaque tâche spécifique
OlmoEarth a su judicieusement attribuer les bonnes ressources matérielles aux tâches correspondantes : prétraitement avec des CPU hautement performants pour l’acquisition des données, tandis que les GPU sont mobilisés pour l’inférence du modèle. En post-traitement, de puissants CPU assurent que les résultats soient intégrés sans couture, prêts à être partagés via divers formats.
OlmoEarth maîtrise une orchestration matériel/processus efficace pour transformer des montagnes de données en cartes géospatiales exploitables à un coût minimal.
Des milliers de processus pour une inférence massive
Avec un partitionnement intelligent du territoire, les jobs de traitement sur OlmoEarth affectent des centaines de partitions à diverses instances de calcul. Par exemple, couvrir une zone continentale peut employer plus de 19 600 CPU et près de 1 000 GPU, réduisant ainsi des milliers d’heures de calcul en quelques heures effectives.
« En traitant des données continentales en moins d’une journée, OlmoEarth redéfinit le possible en géospatial. »
Contexte tiré de l’article de référence
Choisir les bons pixels pour des résultats précis
Identifier le bon jeu de données satellite pour un modèle est crucial. OlmoEarth utilise les catalogues STAC publics et normes ouvertes, mais doit aussi gérer des volumes de métadonnées faramineux pour sélectionner les scènes optimales en fonction de la couverture nuageuse et des canaux de polarisation disponibles.
OlmoEarth, par sa capacité à intégrer et traiter des données massives à quitter échelle, montre la voie pour les initiatives environnementales futures. Elle offre une rapidité et une précision jusqu’ici inégalées, promesse d’une meilleure prise de décision pour nos défis planétaires.