Des startups rivalisent pour succéder aux Transformers

L'architecture Transformer, standard actuel de l'IA, devient un goulot d'étranglement énergétique et financier face à des tâches complexes. Des startups misent sur des alternatives radicales comme l'attention sparse, la mémoire par résumé glissant ou les réseaux inspirés du ver. Ces nouvelles architectures visent à dépasser les limites de raisonnement des modèles actuels, avec des gains de performance significatifs pour une fraction du coût.