Gemma 4 : comment un LLM peut-il voir et entendre sans encodeur ?
Gemma 4 12B supprime les encodeurs vision et audio : les patchs image et les formes d'onde sonore entrent directement dans le Transformer. Comment c'est possible, ce que ça change pour le raisonnement, et pourquoi ça tient sur une carte de 8 Go une fois quantifié.
Génération par diffusion : ce qui change vraiment sous le capot d'un LLM
DiffusionGemma raffine un bloc de 256 tokens en parallèle au lieu d'en produire un à la fois. Trois changements suffisent : le masque d'attention, l'objectif d'entraînement, la boucle de décodage.