7 items

#pretraining

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
heat 35
Comprendre le raisonnement des LLM, du pretraining au post-training via le RL
Une étude sur les échecs comme banc d'essai contrôlé révèle comment les choix de pretraining déterminent les gains obtenus par le RL post-training.
SAFETY
heat 45
L'empoisonnement des données de pré-entraînement via la propagande computationnelle
Des chercheurs montrent que des interfaces de discussion publiques peuvent servir à injecter du contenu malveillant dans les corpus web utilisés pour entraîner les LLM.
RECHERCHE
heat 45
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
RECHERCHE
heat 52
Co-LMLM : des LLM à mémoire limitée avec requêtes continues
Une nouvelle architecture externalise les connaissances factuelles dans une base de connaissances interrogée par vecteurs continus, surpassant GPT-4o-mini sur certains benchmarks.
RECHERCHE
heat 55
TAP : préentraînement agnostique à la tâche pour les modèles VLA
Une approche en deux étapes qui sépare compétence motrice et alignement sémantique pour réduire drastiquement le besoin en données expertes.
RECHERCHE
heat 52
L'hypothèse de séparation état-prédiction dans les Transformers
Des chercheurs proposent de découpler le flux de calcul des Transformers en deux flux distincts, améliorant l'efficacité et les performances sur les tâches en aval.
RECHERCHE
heat 52
Le délai de gradient d'une étape n'est pas un obstacle au pré-entraînement asynchrone de LLM à grande échelle
Une étude démontre que l'instabilité du pipeline parallèle asynchrone dépend du choix d'optimiseur, pas d'une limite intrinsèque.

7 items

#pretraining

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
heat 35
Comprendre le raisonnement des LLM, du pretraining au post-training via le RL
Une étude sur les échecs comme banc d'essai contrôlé révèle comment les choix de pretraining déterminent les gains obtenus par le RL post-training.
SAFETY
heat 45
L'empoisonnement des données de pré-entraînement via la propagande computationnelle
Des chercheurs montrent que des interfaces de discussion publiques peuvent servir à injecter du contenu malveillant dans les corpus web utilisés pour entraîner les LLM.
RECHERCHE
heat 45
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
RECHERCHE
heat 52
Co-LMLM : des LLM à mémoire limitée avec requêtes continues
Une nouvelle architecture externalise les connaissances factuelles dans une base de connaissances interrogée par vecteurs continus, surpassant GPT-4o-mini sur certains benchmarks.
RECHERCHE
heat 55
TAP : préentraînement agnostique à la tâche pour les modèles VLA
Une approche en deux étapes qui sépare compétence motrice et alignement sémantique pour réduire drastiquement le besoin en données expertes.
RECHERCHE
heat 52
L'hypothèse de séparation état-prédiction dans les Transformers
Des chercheurs proposent de découpler le flux de calcul des Transformers en deux flux distincts, améliorant l'efficacité et les performances sur les tâches en aval.
RECHERCHE
heat 52
Le délai de gradient d'une étape n'est pas un obstacle au pré-entraînement asynchrone de LLM à grande échelle
Une étude démontre que l'instabilité du pipeline parallèle asynchrone dépend du choix d'optimiseur, pas d'une limite intrinsèque.

Comprendre le raisonnement des LLM, du pretraining au post-training via le RL

L'empoisonnement des données de pré-entraînement via la propagande computationnelle

Pré-entraînement visuel scalable pour l'intelligence des modèles de langage

Co-LMLM : des LLM à mémoire limitée avec requêtes continues

TAP : préentraînement agnostique à la tâche pour les modèles VLA

L'hypothèse de séparation état-prédiction dans les Transformers

Le délai de gradient d'une étape n'est pas un obstacle au pré-entraînement asynchrone de LLM à grande échelle

Comprendre le raisonnement des LLM, du pretraining au post-training via le RL

L'empoisonnement des données de pré-entraînement via la propagande computationnelle

Pré-entraînement visuel scalable pour l'intelligence des modèles de langage

Co-LMLM : des LLM à mémoire limitée avec requêtes continues

TAP : préentraînement agnostique à la tâche pour les modèles VLA

L'hypothèse de séparation état-prédiction dans les Transformers

Le délai de gradient d'une étape n'est pas un obstacle au pré-entraînement asynchrone de LLM à grande échelle