DiffusionGemma : Google réinvente la génération de texte en la rendant 8 fois plus rapide

Depuis le début des grands modèles de langage, tous fonctionnent de la même façon : ils génèrent le texte mot après mot, dans l'ordre, sans retour en arrière possible. C'est ce qu'on appelle l'approche autorégressive. Google DeepMind vient de publier DiffusionGemma, un modèle expérimental qui rompt avec cette logique. Publié le 10 juin 2026 sous licence Apache 2.0, il génère le texte par blocs de 256 jetons en parallèle — tous en même temps — plutôt que les uns après les autres. Cette approche s'appelle la diffusion discrète. Elle s'inspire d'une technique déjà utilisée pour générer des images, adaptée ici au texte. Le résultat concret : sur un GPU NVIDIA H100, DiffusionGemma atteint plus de 1 000 jetons par seconde, jusqu'à 1 288 sur H200. Sur la correction de texte issu de scan (OCR), il est environ 8 fois plus rapide que Gemma 4 — 1,7 seconde contre 14,7 — tout en faisant moins d'erreurs : taux réduit de 0,066 à 0,036, contre 0,042 pour Gemma 4. L'architecture repose sur Gemma 4 avec 25,2 milliards de paramètres au total, dont seulement 3,8 milliards actifs à chaque étape. Elle combine un encodeur autorégressif et un décodeur bidirectionnel : chaque jeton généré peut prendre en compte l'ensemble du bloc en cours, ce qui facilite l'auto-correction et l'édition inline. C'est précisément là que le modèle excelle : correction de texte, remplissage de passages manquants, édition de code en cours de saisie. La fenêtre de contexte atteint 256 000 jetons, ce qui lui permet de traiter de très longs documents. Le modèle est disponible sur Hugging Face et bénéficie d'un support croissant dans l'écosystème open source — vLLM, MLX, NVIDIA NeMo, Unsloth. Les limites sont réelles et assumées. DiffusionGemma reste moins performant que Gemma 4 sur le raisonnement pur : 77,6 % contre 82,6 % sur MMLU Pro, 69,1 % contre 77,1 % sur LiveCodeBench, 69,1 % contre 88,3 % sur AIME 2026. Son statut est explicitement expérimental, aucune API managée n'est disponible, et sa VRAM minimale recommandée est de 18 à 24 Go en version quantifiée. Ce n'est pas un modèle de raisonnement — c'est un modèle de vitesse et d'édition. La source originale sur Hugging Face détaille les benchmarks complets, les guides d'intégration et les exemples de fine-tuning.