AdaBPE : un Byte Pair Encoding à seuil de fréquence adaptatif pour corpus mêlant langage naturel et symboles structurés

AdaBPE est une méthode de tokenisation fondée sur une fouille adaptative de motifs fréquents. Elle module les seuils minimaux de fréquence selon la longueur du token candidat et son type (langage général ou formel, le LaTeX servant d'exemple), pour allouer davantage de vocabulaire aux notations spécialisées même peu présentes dans les données. Évaluée sur cinq jeux de données mêlant LaTeX et langage naturel, elle montre des gains constants en efficacité d'encodage et en performance des modèles sur le contenu spécialisé.