Transformers

Fondement fondateur de l'interprétabilité mécanistique (induction heads), largement cité.

Avec TorchTPU, backend PyTorch natif, le TPU devient un device comme un autre : Transformers, Diffusers et Kernels tournent directement dessus, sans passer par torch_xla.

Le nouveau backend PyTorch natif pour AWS Trainium, TorchNeuron, est pris en charge par Transformers, Diffusers et Kernels, et sera disponible en bêta publique le 20 octobre 2026.

Un article propose de lire couches linéaires, MLP et self-attention comme des mémoires associatives, et d'en déduire des heuristiques sur leur capacité de stockage et la qualité du rappel.

MFlow, une paramétrisation adaptative entre x0- et u-prediction, et ConvRefiner, un module convolutif post-hoc, visent à améliorer les diffusion transformers générant directement en espace pixel.

Une méthode sans réentraînement transforme des transformers pré-entraînés en un modèle unique, ajustable à la volée selon le budget de calcul, avec une dégradation progressive jusqu'à 60 % de sparsité.

Un développeur montre qu'un transformer standard peut exécuter n'importe quel algorithme calculable, en compilant directement un programme assembleur en poids de modèle, sans entraînement.

Un projet de recherche explore une méthode alternative à la backpropagation pour pré-entraîner des modèles transformers.

Une méthode de décodage contrastif sans entraînement exploite les états intermédiaires des Transformers bouclés pour gagner en précision et en efficacité.

Une étude théorique d'un transformer minimal révèle des transitions dynamiques complexes entre diffusion, chaos et condensation de l'attention.

La bibliothèque Transformers de Hugging Face intègre nativement les modèles quantifiés au format GGUF de llama.cpp.

Un outil interactif qui décompose le fonctionnement interne des modèles Transformer, étape par étape et en direct dans le navigateur.

Une étude identifie deux mécanismes distincts expliqués par le gating de la voie de valeur dans les modèles de langage : abstention et filtrage du bruit.

Des interventions architecturales permettraient de modifier les lois d'échelle, avec des gains de calcul croissants selon la taille du modèle.

Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.

Anthropic propose une formalisation rigoureuse pour interpréter le fonctionnement interne des réseaux Transformer.

Une étude remet en cause l'idée que la généralisation structurelle est intrinsèquement plus difficile que la lexicale pour les Transformers.

Une méthode de sparsification de l'attention aligne directement le classement du contexte sur l'impact prédictif, sans bloquer les gradients.

Une étude interroge la nécessité des encodages de position pour la généralisation de distance chez les transformers.

Un framework robuste qui personnalise les modèles de recherche par région au niveau des gradients, évitant l'effondrement des transformers.

Une nouvelle architecture à état $O(n)$ et routage dynamique sparse compense 75% des couches denses d'un Transformer.

L'acteur américain Peter Cullen, célèbre pour avoir doublé Optimus Prime dans la franchise Transformers, s'est éteint à l'âge de 85 ans.

Une nouvelle borne mathématique définit l'erreur minimale atteignable par le fine-tuning LoRA en fonction du rang.

Une exploration pédagogique des mécanismes fondamentaux derrière les grands modèles de langage.

Un modèle BERT entraîné sur 75 millions de patients combine encodage des résultats de laboratoire et attributions interprétables via Integrated Gradients.

Une thèse théorique propose un second paramètre linguistique, la phase, absent des transformers actuels et clé pour comprendre allusion, ironie et citation.

Une étude explore comment faire porter au texte généré une preuve vérifiable de l'état interne du modèle qui l'a produit.

Une revue méthodologique évalue les techniques CAM pour CNNs, Transformers et modèles de fondation.

Une analogie exacte de la règle de Born pour l'attention softmax sur le simplexe probabiliste.

L'architecture actuelle des LLMs atteint ses limites. Plusieurs acteurs proposent des approches radicales pour réduire les coûts et améliorer le raisonnement.

Une étude montre que les modèles entraînés avec l'optimiseur Muon apprennent plus vite mais perdent leur généralisation après le grokking.

Des chercheurs démontrent des limites théoriques infranchissables pour les transformers et diffusion models face à des circuits quantiques peu profonds.

Des modèles ML identifient des dualités en physique théorique mieux que les algorithmes déterministes.

Un nouveau modèle propose de générer conjointement la morphologie d'un robot et sa politique de contrôle à partir de trajectoires de mouvement cibles.

Un framework génératif accélère d'un ordre de grandeur la synthèse de circuits quantiques pour la chimie computationnelle, testé sur du matériel Quantinuum réel.

Un transformer entraîné sur des données ATLAS retrouve masses et résonances du Modèle Standard sans connaissance physique préalable explicite.

Une étude théorique décortique le rôle des skip connections et de la normalisation dans la préservation du rang des gradients au fil des couches.

Des chercheurs modélisent l'apprentissage des circuits de raisonnement inductif via une variété invariante de faible dimension, rendant leur dynamique interprétable.

Une étude théorique explique pourquoi les modèles utilisent inégalement les fréquences RoPE et lie ce phénomène à la structure multi-échelle du langage naturel.

Hugging Face intègre un backend transformers natif dans vLLM, permettant d'atteindre des vitesses d'inférence optimales sans surcoût de conversion.

Allen AI analyse en détail les différences de prédiction entre architectures hybrides et transformers classiques au niveau du token.

Des chercheurs explorent si les Transformers peuvent apprendre à reproduire des séquences pseudoaléatoires — et ce que cela révèle sur leurs capacités.