Quels tokens un modèle hybride prédit-il mieux ?

Allen AI (Ai2) publie une analyse fine des comportements token par token de deux modèles 7B conçus pour être structurellement comparables : Olmo 3, un transformer classique, et Olmo Hybrid, une architecture mixant couches d'attention et couches récurrentes. Les deux modèles partagent données d'entraînement, tokenizer et recette de training, ce qui permet d'attribuer les écarts de prédiction à la seule différence d'architecture. L'objectif est de dépasser les scores agrégés des benchmarks, jugés trop grossiers pour distinguer les forces réelles des hybrides face aux transformers purs.

Le cadre méthodologique repose sur le calcul d'un loss gap : pour chaque token réellement présent dans un corpus varié (articles, Wikipedia, livres, papiers scientifiques, mais aussi Python, HTML et LaTeX), les chercheurs comparent la probabilité que chaque modèle attribue au token suivant. Un écart positif favorise l'hybride, un écart négatif le transformer. Les tokens sont ensuite regroupés par catégories linguistiques ou structurelles, et une régression contrôle les facteurs confondants comme la rareté ou la fréquence des répétitions.

Les résultats dessinent une cartographie claire. Olmo Hybrid prédit mieux la majorité des tokens, avec un avantage particulièrement marqué sur les content words — noms, verbes, adjectifs, adverbes — porteurs de sens. L'écart atteint environ 0,04 sur ces catégories, contre 0,02 sur les function words (« the », « of », « is »), que tout modèle peut deviner depuis la syntaxe. L'hybride excelle aussi sur les tokens qui exigent un suivi d'état, comme la résolution de la référence d'un pronom, ce que les auteurs relient aux capacités de state-tracking des couches récurrentes.

L'avantage s'efface en revanche dans deux situations précises. D'abord sur les accolades, crochets et balises fermantes — un pattern stable en langage naturel, code et markup — où l'attention seule suffit à modéliser l'appariement. Ensuite, et c'est le constat le plus net, lorsque le token suivant est une simple répétition d'un n-gram déjà présent dans le contexte. Plus la séquence répétée est longue, plus l'écart se réduit, jusqu'à devenir nul. La mémoire compressée et lossy des couches récurrentes ne peut pas rivaliser avec l'attention pour retrouver un token exact en amont du contexte.

Cette grille de lecture a été testée comme outil d'évaluation pendant le pré-entraînement. Sur trois modèles 1B (transformer, hybride, RNN pur), les filtered losses font apparaître des différences architecturales précoces, invisibles dans la loss agrégée : sur les tokens porteurs de sens non répétés, le RNN pur et l'hybride dépassent le transformer, l'hybride en tête ; sur les tokens copiés, le RNN pur décroche faute de mécanisme de rappel exact, tandis que l'hybride conserve un score proche du transformer grâce à ses quelques couches d'attention.

Deux enseignements sont mis en avant par Ai2. D'une part, la loss moyenne globale est un instrument trop émoussé pour comparer transformer et hybrides : il faut filtrer par capacité testée. D'autre part, la complémentarité entre attention et récurrence apparaît comme un principe de conception exploitable, l'attention assurant le copying et le bracket matching, la récurrence le suivi sémantique et la prédiction des mots de classe ouverte.

Plusieurs questions restent ouvertes. La granularité du dosage entre couches attentionnelles et récurrentes dans un hybride n'est pas tranchée, pas plus que le passage à l'échelle au-delà de 7B. L'étude ne dit rien non plus sur le comportement en contexte très long, où l'argument du coût flat de la récurrence prend toute son importance face au coût quadratique de l'attention. Le rapport technique complet est disponible sur arXiv (2606.20936), et les artefacts Olmo 3 et Olmo Hybrid restent ouverts à la communauté.