Adaptation culturelle de la Stable Diffusion pour le Japon

Stable Diffusion, en générant des images précises à partir de simples prompts textuels, a attiré bien des regards. Principalement entraînée sur un sous-ensemble anglais, cette IA de compVis, Stability AI et LAION, par défaut, tend vers une vision occidentale. C’est ici qu’intervient une avancée majeure : l’adaptation de cette technologie au japonais par Rinna Co., Ltd, rendant les créations visuelles authentiquement japonaises.

Optimisation de la diffusion stable pour le Japon

Stable Diffusion, avec son coût de calcul modéré (environ 10 Go de VRAM), affiche une performance impressionnante, même avec des prompts non-anglais. Cependant, pour saisir les subtilités de la culture japonaise, une version spécifique est cruciale. Par exemple, des termes comme « salary man » (businessman à la japonaise) nécessitent une compréhension contextuelle que l’anglais ne peut offrir. Japanese Stable Diffusion accomplit cela via des images imprégnées de culture nippone.

Données d’entraînement : un défi de taille

Pour créer un modèle spécifique au japonais, Rinna Co., Ltd a utilisé environ 100 millions d’images légendées en japonais, bien que cela représente seulement 1/20e du jeu de données original de Stable Diffusion. Ainsi, en lieu de repartir de zéro, l’approche a consisté à ajuster le modèle existant, garantissant une meilleure performance malgré la taille du jeu de données réduit.

Spécificités du texte à image japonais

La première étape pour adopter la diffusion stable au japonais a été de remplacer l’encodeur textuel anglais par un encodeur conçu pour le japonais. Grâce à un tokenizer spécifique, les prompts japonais sont découpés de façon intelligible, garantissant une compréhension précise. Cela permet au modèle de comprendre efficacement les expressions telles que « サラリーマン 油絵 » (salary man, oil painting) en japonais.

« Le modèle transforme ce que des mots locaux ne peuvent parfois même pas exprimer par la traduction. »

Contexte de l’adaptation culturelle

En conclusion, le lancement de Japanese Stable Diffusion est bien plus qu’une simple variation linguistique. C’est un pas stratégique vers la préservation et l’illustration de la diversité culturelle via l’IA. L’intégration technologique permet désormais une expression visuelle fidèle aux particularités culturelles qui échappaient précédemment aux algorithmes standardisés.