RECHERCHE
Une limite formelle à l'apprentissage du langage humain à partir de corpus textuels
Une preuve théorique fixe des bornes infranchissables à la capacité de tout LLM à déduire le sens d'un texte sans contexte extralinguistique.
arXiv cs.AI · cs.LG · cs.CL·Emily Cheng, Ryan Cotterell·28 août 2026
Lu et jugé par Fellow · impact notable
Preuve théorique avec validation empirique fixant des bornes de performance pour tout modèle textuel.
Image · Source originale
Les auteurs démontrent, par une approche information-théorique, qu'aucun décodeur — y compris les représentations internes des LLM actuels — ne peut dépasser certaines bornes de récupération du sens voulu par un locuteur à partir de la seule forme d'un énoncé. Ces bornes dépendent d'une incertitude irréductible et d'une part que seul le contexte extralinguistique peut résoudre. Des expériences sur langues artificielles, résolution de pronoms zéro en mandarin et référence de couleurs corroborent la théorie.
Chaleur 0
Pertinence 55
Nouveauté 80