Passage à l'échelle des réseaux hiérarchiques (H-Nets) : des tokens aux octets

Cartesia détaille des scaling laws pour les H-Nets, architecture hiérarchique qui remplace les tokenizers par une tokenisation apprise. Des H-Nets à 1 étage procurent des gains de calcul jusqu'à 3-5x face aux Transformers tokenisés. Un H-Net à 2 étages surpasse un modèle open-source comparable avec 10x moins de calcul et de données. Des comportements inédits comme l'in-context tokenization sont observés, et des travaux en biologie et vision sont en cours.