Sampling
Fellow suit ce sujet depuis juillet 2026 : 14 articles résumés en français.
Toute l'actualité · 14 articles
Entraînement sans données de modèles de diffusion pour les théories de champs sur réseau
Des chercheurs montrent que des modèles de diffusion peuvent s'entraîner sur leurs propres échantillons grâce à l'identité du score cible, avec des performances proches d'un entraînement sur données HMC.
Lire la situation avant de générer : sélection de la température par Scenario-Actor
Scenario-Actor choisit la température d'échantillonnage d'un LLM à partir d'une représentation géométrique du scénario de communication, extraite des états cachés du Transformer.
Échantillonnage softmax à deux niveaux : correction des biais liés au déséquilibre de taille et à la dispersion des clusters
Des chercheurs identifient des biais systématiques dans la méthode d'échantillonnage softmax à deux niveaux (2LS) et proposent deux variantes corrigées, S-2LS et SD-2LS, avec surcoût calculatoire négligeable.
Affiner sans recherche : distillation on-policy d'une distribution de puissance au niveau des séquences
Une nouvelle méthode d'entraînement permet à un modèle de produire en une seule génération des réponses aussi précises qu'avec un échantillonnage coûteux à 64 candidats.
Stationnarité de premier ordre des diffusions inverses
Une théorie de premier ordre relie optimisation et échantillonnage pour les modèles de diffusion basés SDE et ODE.
L'échantillonnage stratégiquement diversifié améliore l'auto-entraînement des LLM
Privilégier la diversité des stratégies plutôt que la seule exactitude des réponses produit de meilleures données d'auto-entraînement pour les LLM.
Quenched Ensemble Sampling
Une nouvelle méthode généralisant le Nested Sampling pour surmonter les transitions de phase.
Preuves du mixing en d² pour les weighted Dikin walks
Deux nouvelles preuves établissent des bornes de mélange en Õ(d²) pour l'échantillonnage sur les polytopes et cônes tronqués.
Analyse du trou spectral de Hit-and-Run
Deux chercheurs affinent les bornes de convergence de l'algorithme Hit-and-Run via la constante de Poincaré.
Géométrie des données en diffusion par masquage : des schedules certifiés-optimaux via la complexité de croissance du démasquage
Un nouveau cadre théorique optimise les schedules de diffusion discrète en s'appuyant sur la géométrie des données, avec des gains prouvés en grande dimension.
Échantillonner plutôt que réfléchir : le simple sampling répété bat Self-Refine et Reflexion à coût égal
Une étude contrôlée sur 36 comparaisons montre qu'aucune méthode d'auto-critique ne surpasse le sampling répété une fois le coût en tokens égalisé.
Gemini : température, top_p et top_k dépréciés
Google déprécie les paramètres classiques de sampling temperature, top_p et top_k sur ses derniers modèles.
LatentFlow : un cadre général pour conditionner des processus stochastiques
Une méthode sans apprentissage pour conditionner divers modèles stochastiques complexes via des SDE rétrogrades.
Un correctif terminal pour stabiliser le Classifier-Free Guidance à forte intensité
Une analyse numérique révèle pourquoi le CFG à fort guidage déstabilise DDIM et propose une correction à coût zéro.