Transformer
Fellow suit ce sujet depuis avril 2026 : 26 articles résumés en français, dont 2 jugés majeurs ou notables.
Toute l'actualité · 26 articles
J'ai construit un réseau de neurones à partir de mécaniques du jeu DOOM
Le projet doomformer fait tourner des réseaux de neurones, dont un transformer, dans les mécaniques de DOOM : voodoo dolls, tapis roulants, lave et portes. Le jeu lit des chiffres MNIST dessinés.
Orbitol : génération de cristaux sur des orbites de Wyckoff
Orbitol, basé sur un diffusion Transformer, génère des cristaux à partir d'orbites de Wyckoff et d'un groupe d'espace imposé, bien plus vite que les modèles concurrents sensibles à la symétrie.
Concevoir des Transformers pour les modèles de langage à diffusion continue
LangDiT, un Transformer pensé pour les modèles de langage à diffusion continue, réduit la perplexité de génération et établit un nouvel état de l'art sur OpenWebText.
Continuum Attention : une attention causale par intégration sur une courbe mémoire continue
Un nouvel opérateur d'attention remplace la recherche discrète de clés et valeurs par une intégration sur une courbe linéaire par morceaux, et réduit la log-vraisemblance négative face au softmax.
Mixture of Experts piloté par un Laplacien de Hodge apprenable pour surrogates d'EDP stationnaires sur maillages grossiers non structurés
Une architecture répartit la solution entre experts transformer par échelle spectrale, via un Laplacien de Hodge discret, et réduit l'erreur relative L2 de 31 % face à Transolver sur AirFRANS.
Show HN : construire un LLM de zéro en TypeScript
Un guide en ligne explique pas à pas comment construire un LLM from scratch avec Node.js et TypeScript, de l'attention à la boucle d'entraînement, avec du code exécutable.
Moins de décodeur, plus d'encodeur : apprentissage de représentations géométriques via la synthèse de nouvelles vues
SNAP, un transformer auto-supervisé, montre qu'un décodeur plus simple et des objectifs en espace latent améliorent la qualité des représentations géométriques apprises.
Looped Diffusion Transformer : boucler les blocs pour gagner en profondeur de calcul
Une nouvelle architecture fait tourner les mêmes blocs Transformer plusieurs fois par étape de diffusion, surpassant des modèles 6,5x plus gros à compute réduit.
Show HN : TurboGPT, entraîner un transformer de 22 Kio en 13 secondes
Un projet open source montre comment entraîner un mini-transformer minimaliste extrêmement rapidement, à titre pédagogique ou expérimental.
PAtteRNS : réseaux d'attention à dimensions parallèles pour la segmentation des cultures par imagerie satellite
Un modèle hybride transformer-convolutionnel factorise l'attention temporelle, spectrale et spatiale pour surpasser l'état de l'art en segmentation de cultures.
FAMOS : modélisation 3D d'objets articulés en feed-forward à partir d'observations éparses
Un nouveau modèle prédit la segmentation des parties mobiles et les paramètres articulaires à partir de nuages de points partiels, sans optimisation itérative.
NOAH : un modèle génératif longitudinal pour le parcours patient complet
Un nouveau Transformer multimodal et time-aware capable de modéliser et de prédire l'évolution clinique globale des patients.
Un modèle Transformer temporel pour prédire les exacerbations aiguës de BPCO
Un modèle basé sur les données de ventilateurs domestiques promet une détection plus précoce des crises de BPCO, sans recourir aux examens cliniques.
Learning-to-Transition pour la détection MIMO d'ordre élevé
Un cadre L2T optimise la détection MIMO via des transitions stochastiques et un Transformer.
RecipeNet : un Transformer hiérarchique pour les données de procédures
Une nouvelle architecture de modèle surpasse les approches tabulaires classiques en préservant la structure des procédures séquentielles.
Un transformer à attention de voisinage pour la segmentation 3D de l'artère interventriculaire antérieure
Un nouveau modèle transformer améliore la délimitation de l'artère coronaire LAD sur scanner sans contraste, utile en radiothérapie thoracique.
ACA : Adaptation Contextualisée pour Modèles CT
Un framework léger adapte les modèles CT pour aligner vision et langage au niveau anatomique.
MDTransformer : co-conception matériel-logiciel d'un accélérateur photonique à division de mode pour Transformers
Un nouvel accélérateur optique exploite l'interférence spatiale de modes pour exécuter des multiplications matricielles de Transformers sans laser multi-longueurs d'onde.
SM4RT : apprendre une géométrie de mouvement structurée pour la reconstruction 4D
Un nouveau transformer reconstruit en un seul passage la géométrie 3D et le mouvement structuré à partir d'une vidéo RGB monoculaire.
Transformer multimodal pour la classification de signaux en nanopore
Une nouvelle architecture deep learning multimodal améliore l'identification précise de biomarqueurs via des capteurs nanopores.
Ce qui se passe entre la saisie du prompt et l'apparition du premier mot
Un article pédagogique détaille la mécanique interne des LLM, du tokenisation à la génération du premier token en sortie.
Pose-to-Biomechanics : relier estimation de pose 3D et prédiction d'attributs biomécaniques
BioModule est un transformer temporel léger qui s'attache à n'importe quel estimateur de pose 3D pour prédire des grandeurs biomécaniques sans modifier le modèle amont.
Linéarisation des Transformers : analyse des mécanismes clés pour maintenir la qualité
Des chercheurs identifient pourquoi certaines méthodes de linéarisation préservent mieux la qualité des LLMs, avec des résultats probants jusqu'à 32B paramètres.
Une seule couche suffit-elle ? Un unique layer Transformer égale l'entraînement RL complet
Une étude montre qu'affiner un seul layer d'un Transformer via RL atteint des performances comparables à l'entraînement complet de tous les paramètres.
Noam Shazeer rejoint OpenAI
Le co-inventeur du Transformer et fondateur de Character.AI ferait son entrée chez OpenAI, selon une annonce sur X.
TRiP : un moteur transformer complet en C, développé from scratch par un seul auteur
Un développeur solo publie TRiP, une implémentation intégrale d'un moteur transformer en langage C, sans dépendances externes.