Théorie
Fellow suit ce sujet depuis mai 2026 : 33 articles résumés en français, dont 2 jugés majeurs ou notables.
Toute l'actualité · 33 articles
Transition de phase des random features aux réseaux entièrement entraînables
Une étude théorique quantifie comment la proportion de neurones entraînables modifie les bornes d'approximation de réseaux à deux couches, avec des rendements décroissants au-delà d'un faible seuil.
Deux couches ReLU suffisent : simulation exacte de tout réseau ReLU
Des chercheurs démontrent que tout réseau ReLU peut être simulé exactement par un réseau à deux couches cachées, avec deux preuves distinctes : algébrique et combinatoire.
Bornes constructives pour l'expressivité topologique des réseaux de neurones
Un papier propose de mesurer l'expressivité topologique via les nombres de Betti de la sortie du réseau, et démontre des bornes d'architecture pour les réseaux ReLU.
KL avant et après mélange : une séparation de complexité en rounds pour l'échantillonnage parallèle
Un papier compare deux critères de divergence KL pour des échantillonneurs parallèles à ordonnancement aléatoire et montre un écart de complexité entre (log n)² et un ordre doublement logarithmique.
La prédiction ne suffit pas comme état mémoire : ce que les mises à jour futures révèlent
Une mémoire qui reproduit toutes les prédictions actuelles peut avoir oublié comment apprendre de la prochaine observation : un papier théorique caractérise cette limite pour l'apprentissage cumulatif et l'attention.
Garanties à échantillon fini pour les modèles de diffusion conditionnels entièrement discrets
Une analyse théorique unifie erreur statistique et discrétisation numérique des modèles de diffusion conditionnels, avec des bornes de convergence en KL et en variation totale.
Apprentissage et prédiction en ligne privés pour les classes de Littlestone
Une étude théorique révèle un fossé net entre apprentissage en ligne privé et prédiction en ligne privée en termes de bornes d'erreur.
Modèles génératifs : le lien entre spéciation sémantique et rupture du débruitage local
Une étude théorique montre que la fenêtre de non-localité, où le contexte local devient insuffisant, s'inscrit dans la fenêtre de spéciation sémantique.
Un algorithme d'analyse en composantes principales différentiellement privé sans condition d'écart pour données gaussiennes
Une nouvelle méthode de PCA différentiellement privée qui s'affranchit de l'hypothèse d'écart spectral, appliquée aux données gaussiennes.
Stationnarité de premier ordre des diffusions inverses
Une théorie de premier ordre relie optimisation et échantillonnage pour les modèles de diffusion basés SDE et ODE.
Généralisation de l'algorithme de quantization OPTQ et rôle de la régularisation
Une étude théorique établit des bornes de généralisation pour OPTQ et propose un nouveau choix du paramètre de régularisation λ.
Un cadre général de noyaux pour les mesures de distance non-CND via des embeddings de landmarks épars
Une nouvelle méthode de noyau supprime la contrainte de définition négative conditionnelle, ouvrant les Gaussian Processes à des espaces d'entrée non euclidiens.
Des explications linéaires probabilistes pour rendre les modèles d'IA plus interprétables
Un nouveau cadre théorique combine parcimonie et probabilités pour expliquer les prédictions des réseaux de neurones, en classification comme en régression.
Les LLM comme « virus cognitif »
Un papier propose de modéliser la propagation des idées générées par les LLM comme un phénomène épidémique affectant la cognition humaine.
Optimalité du modèle complet pour les a priori génératifs linéaires ajustables en compressed sensing
Une analyse théorique montre que, dans un cadre linéaire idéalisé, régler la complexité d'un a priori génératif n'améliore pas la reconstruction.
Échantillonnage adaptatif prouvé pour les modèles de diffusion discrète uniforme et remasquée
Une nouvelle analyse théorique montre que la complexité d'échantillonnage des modèles de diffusion discrète dépend de la structure de dépendance des données, pas de la dimension brute.
Universalité de l'entraînement par descente de gradient des réseaux de neurones
Un papier théorique explore si des architectures fixes peuvent être entraînées par descente de gradient pour atteindre n'importe quel réseau cible.
Le langage aurait deux paramètres : plasticité sémantique narrative et interprétation sensible à la phase
Une thèse théorique propose un second paramètre linguistique, la phase, absent des transformers actuels et clé pour comprendre allusion, ironie et citation.
Pourquoi les modèles type GPT ne transposent pas directement à la musique symbolique : compresser dans le mauvais référentiel
Un papier théorique montre que la tokenisation musicale échoue si elle imite la musique comme du texte, sans définir un bon système de coordonnées prédictif.
Transfert de l'état d'apprentissage en contexte entre sessions d'un LLM
Une étude théorique propose un cadre formel pour décider quelles informations transmettre lors du passage d'une session à une autre dans les applications LLM.
Géométrie des données en diffusion par masquage : des schedules certifiés-optimaux via la complexité de croissance du démasquage
Un nouveau cadre théorique optimise les schedules de diffusion discrète en s'appuyant sur la géométrie des données, avec des gains prouvés en grande dimension.
La fonction de perte ne voit pas la base, mais Adam la voit
Une étude théorique explique pourquoi Adam brise le biais implicite vers les solutions de rang faible que la descente de gradient préserve naturellement.
Séparation représentationnelle entre modèles génératifs quantiques unitaires et à canaux via aléa classique partagé
Une preuve théorique montre qu'un simple bit aléatoire classique partagé permet aux circuits quantiques peu profonds de dépasser les modèles purement unitaires.
Séparation prouvée entre circuits quantiques et LLM classiques
Des chercheurs démontrent des limites théoriques infranchissables pour les transformers et diffusion models face à des circuits quantiques peu profonds.
Compression par signe pour Muon : SignMuon, MuonSign et les limites de l'error feedback
Une étude théorique et empirique révèle un paradoxe : la méthode de compression la plus efficace en pratique est aussi celle qui diverge en théorie.
Interaction on-policy en imitation learning : quand aide-t-elle vraiment ?
Une étude théorique montre que l'interaction avec l'expert allège les exigences de représentation du modèle, avec un nouvel algorithme à l'appui.
Correction de la dérive de distribution en génération de graphes temporels : une tension structurelle et une impossibilité prouvée
Une étude formelle montre que la dégradation des modèles génératifs de graphes temporels sous dérive de distribution ne peut être corrigée par simple observation du déploiement.
La théorie du surprisal en linguistique est tautologique sans ancrage rationaliste
Un chercheur montre que la théorie du surprisal, pilier de la psycholinguistique computationnelle, ne fait aucune prédiction falsifiable sans contrainte supplémentaire sur le modèle de langage.
Les limites de l'automatisation : une théorie de la participation humaine persistante
Un cadre conceptuel avance que l'humain restera nécessaire dans certaines tâches, même avec une IA très capable, pour des raisons structurelles.
Échantillonnage postérieur prouvable pour problèmes inverses linéaires via DDIM
Un nouvel algorithme basé sur la diffusion offre des garanties théoriques de convergence pour restaurer des images à partir d'observations bruitées.
Rang spectral et profondeur : comment l'architecture des Transformers évite l'effondrement
Une étude théorique décortique le rôle des skip connections et de la normalisation dans la préservation du rang des gradients au fil des couches.
Calibration séquentielle efficace avec une borne d'erreur en O(T^(2/3-ε))
Un nouveau forecaster randomisé améliore la barrière classique de calibration en ligne, en combinant SPR-Calibration et une couche de correction de type Blackwell.
Apprentissage de nombres pseudoaléatoires par des Transformers
Des chercheurs explorent si les Transformers peuvent apprendre à reproduire des séquences pseudoaléatoires — et ce que cela révèle sur leurs capacités.