La qualité de la génération de mains par les réseaux neuronaux s’améliore progressivement, mais le problème de la précision anatomique persiste. Les modèles ne savent souvent pas « compter » correctement les doigts. Ils reconnaissent plutôt un motif ressemblant à « un certain nombre d’éléments similaires côte à côte »*).
Lorsqu’un réseau neuronal tente de remplir une zone qui, selon ses motifs appris, devrait être une main, il peut générer quatre, six ou même plus de doigts. Ce comportement s’explique par la nature statistique de l’apprentissage : le modèle a vu de nombreuses images de mains, mais rarement avec une anatomie entièrement détaillée.
Le réseau neuronal ne comprend pas à quoi doit ressembler une main ; il devine simplement la structure à partir de fragments incomplets ou masqués et de milliers de variations issues du jeu de données d’entraînement. Ainsi, lors de la génération, il est contraint de « compléter » les détails anatomiques, ce qui entraîne des erreurs.
*) Comment les réseaux neuronaux “devinent-ils” la structure ?
Les modèles génératifs modernes (DALL·E, Stable Diffusion, MidJourney) reposent sur des transformateurs :
- L’image est découpée en tokens (petits fragments).
- Le modèle prédit le token suivant selon la statistique.
- Si une partie de l’image rappelle une main, il choisit la combinaison de tokens la plus fréquente dans l’apprentissage.