Une limite formelle à l'apprentissage du langage humain à partir de corpus textuels

Les auteurs démontrent, par une approche information-théorique, qu'aucun décodeur — y compris les représentations internes des LLM actuels — ne peut dépasser certaines bornes de récupération du sens voulu par un locuteur à partir de la seule forme d'un énoncé. Ces bornes dépendent d'une incertitude irréductible et d'une part que seul le contexte extralinguistique peut résoudre. Des expériences sur langues artificielles, résolution de pronoms zéro en mandarin et référence de couleurs corroborent la théorie.