Architectures de modèles

Publication de la documentation complète et des pilotes conformes (OpenGL 4.6, Vulkan 1.4), rendant le support Linux et le gaming Proton fonctionnels sur M1.

Des chercheurs présentent MemT-1.0, une architecture de modèles de fondation qui intègre la mémoire au calcul du modèle, avec deux modèles publiés : MemT-1.0-Nano et MemT-1.0-Flash.

Des chercheurs identifient un dilemme d'exploration entre experts partagés et segmentation fine dans les MoE, et proposent MirrorMoE pour le résoudre.

Infino détaille les choix de conception d'un moteur de recherche dont l'index vit sur le stockage objet : sur S3, le nombre d'allers-retours réseau devient la ressource la plus rare.

Un nouvel opérateur d'attention remplace la recherche discrète de clés et valeurs par une intégration sur une courbe linéaire par morceaux, et réduit la log-vraisemblance négative face au softmax.

Le dépôt open source GPGPU-Sim, relayé sur Hacker News, propose un simulateur de GPU au niveau du cycle pour étudier l'exécution de programmes CUDA et OpenCL.

Un article publié dans Nature décrit une méthode pour convertir des modèles de langage existants en modèles travaillant sur des octets, sans passer par la tokenisation classique.

Un projet de recherche explore une méthode alternative à la backpropagation pour pré-entraîner des modèles transformers.

Une méthode d'entraînement améliore les modèles de langage en boucle, réduisant le cache KV et accélérant prefill et RL sans perte de précision.

Un nouveau cadre couple génération discrète de tokens et trajectoire latente continue pour améliorer les modèles de diffusion textuelle.

Une méthode de décodage contrastif sans entraînement exploite les états intermédiaires des Transformers bouclés pour gagner en précision et en efficacité.

Un papier de recherche propose une architecture repensant la gestion du contexte dans les modèles de langage.

Une étude sur GPT2 et DistilGPT2 montre que délier les embeddings améliore précision et efficacité mémoire en entraînement différentiellement privé.

Un billet revient sur les choix d'architecture de Pi.dev qui écarte le protocole MCP au profit d'une approche alternative pour connecter ses agents.

Un projet open source propose une architecture alternative aux transformers pour les modèles de langage, entièrement codée en Rust.

Une nouvelle architecture MoE à rôles séparés améliore la cohérence du routing et la qualité de génération vidéo, sans surcoût de paramètres actifs.

Unreal Labs dévoile Unreal Agent, une approche inédite pour la conception et l'exécution d'agents autonomes dans des environnements complexes.

Un essai critique remet en question la pertinence du Model Context Protocol, désormais standard de facto pour connecter les LLM aux outils externes.

L'architecture RISC-V remplace progressivement les microcontrôleurs propriétaires dans les GPU Nvidia, jusqu'à prendre en charge le pilote graphique.

Un papier propose de faire échanger des LLMs via leurs caches internes plutôt que par du texte généré, pour transmettre du sens plus directement.

Une étude identifie deux mécanismes distincts expliqués par le gating de la voie de valeur dans les modèles de langage : abstention et filtrage du bruit.

Martin Fowler analyse les limites structurelles des grands modèles de langage.

Un décryptage technique de l'architecture de DeepSeek-V4.1 Flash, centré sur ses optimisations agressives de compression du cache clé-valeur.

Des interventions architecturales permettraient de modifier les lois d'échelle, avec des gains de calcul croissants selon la taille du modèle.

L'étude démontre mathématiquement que l'architecture en arbres des systèmes multi-agents réduit drastiquement la remontée d'informations.

NVIDIA détaille les compromis entre architectures denses et Mixture-of-Experts, à travers l'exemple de Nemotron 3.5 Lightning.

Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.

Un dépôt open source rassemble des implémentations PyTorch de plusieurs architectures récentes de modèles de langage.

Un nouveau cadre sans entraînement transforme le traitement du contexte long en convolution hiérarchique, réduisant latence et risque de surapprentissage.

Une nouvelle architecture à état $O(n)$ et routage dynamique sparse compense 75% des couches denses d'un Transformer.

L'éditeur de code Zed révèle comment l'approche agentielle résout enfin la promesse de son architecture.

Un guide technique détaillé expliquant l'architecture et l'entraînement des modèles de langage basés sur la diffusion.

Un article technique explore une variante continue des diffusion language models, alternative potentielle aux LLM autoregressifs classiques.

Analyse technique des défauts des GPU Nvidia pour l'inférence et présentation de l'architecture du processeur OpenAI Jalapeño.

Une analyse technique exhaustive marque l'achèvement du projet de rétro-ingénierie du GPU de la puce M1.

Un article revient sur les fondamentaux du RAG et plaide pour une approche moins complexe que les architectures souvent présentées.

Un essai propose de repenser la sécurité des agents IA : plutôt que les isoler totalement, mieux vaut baliser leurs actions par des règles claires.

Une architecture neuronale remplace les embeddings standards par des coordonnées 2D.

L'efficacité récente des agents proviendrait de la convergence entre l'amélioration des modèles et la maturation de leurs interfaces.

Analyse technique des mécanismes internes et des implications de l'accès mémoire sur les unités de traitement graphique.

NVIDIA dévoile AVO, une architecture frontière pour agents autonomes capables de tâches longues.

Comment intégrer les LLM dans l'architecture logicielle pour créer des systèmes extensibles et maintenables.

IBM Research explore l'optimisation de la mémoire des agents conversationnels via une approche de type modèle de Markov caché.

Anthropic dresse un état des lieux des architectures multiagents actuelles et des difficultés pratiques qu'elles posent en production.

L'architecture actuelle des LLMs atteint ses limites. Plusieurs acteurs proposent des approches radicales pour réduire les coûts et améliorer le raisonnement.

Une analyse technique détaillée de l'architecture de vLLM, moteur d'inférence open-source devenu référence pour servir des LLM à grande échelle.

Une méthode d'infrastructure découpe le raisonnement long en étapes indépendantes pour limiter la propagation d'erreurs.

Guide technique détaillé sur l'architecture et l'implémentation d'un système de coordination pour agents IA.

Un nouveau modèle combine encodeur-décodeur et diffusion par blocs pour générer du texte sans passer par les tokens discrets classiques.

Une nouvelle architecture à faible latence permet des conversations vocales continues et naturelles sans délai de prise de parole.

Simon Willison explore les avantages du protocole sans état pour les intégrations.