Clef-Omni : multimodalité complète, un Clef plus rapide et un Clef-flash moins cher

Cloudflare vient d'élargir sa famille de modèles de décision, les Clef, avec trois annonces distinctes : un nouveau modèle, Clef-omni, capable de traiter simultanément texte, image, audio et vidéo ; une baisse de tarif sur Clef-flash, désormais inférieure à celle de Jev ; et des gains de vitesse sur le modèle Clef standard. L'annonce fait suite à la sortie, la semaine précédente, de Clef et Clef-flash, présentés par l'entreprise comme des modèles de décision à poids ouverts.

Clef-omni accepte en entrée des fichiers audio (wav ou mp3), vidéo (mp4 ou webm), ainsi que du texte et des images. Jusqu'ici, les modèles de la famille Clef gérait les images et les séquences de frames vidéo, mais pas le son. Selon Cloudflare, l'intérêt est de remplacer des chaînes de traitement successives, qui transcrivent la parole en texte ou séparent les canaux audio et image d'une vidéo, par un appel unique à un seul modèle. Le modèle s'appuie sur la base Qwen3-Omni-30B-A3B-Instruct, de type mixture-of-experts (MoE), dont les composants de synthèse vocale ont été retirés. Comme les modèles Clef ne sont pas des LLM et ne génèrent pas de tokens de sortie, l'entreprise indique supprimer le coût de transcription ou de légendage des fichiers entrants. Le modèle est publié à poids ouverts sur HuggingFace.

Sur le plan technique, l'architecture décrite repose sur un passage de préremplissage (prefill) qui score en une fois toutes les modalités et toutes les options de paramètres valides, avec un routage d'attention en deux étapes et des adaptateurs LoRA entraînés sur un backbone Qwen3 gelé. Cloudflare annonce des latences médianes d'environ 130 ms pour une décision sur texte seul, environ 150 ms pour une image, et quelques centaines de millisecondes pour un clip audio. Une vidéo de 21 secondes avec son est scorée en environ 1,5 seconde.

Les résultats de benchmark publiés sont contrastés. Sur BFCL, Clef-omni obtient 98,2 contre 98,47 pour Clef et 98,76 pour Clef-flash. Sur CLINC150+OOS, il atteint 97,7 en macro-F1, au-dessus de Clef (97,43) et très au-dessus de Clef-flash (66,77). Sur Home appliances, en revanche, il recule à 69,3 contre 82,95 pour Clef et 97,73 pour Clef-flash. Sur les évaluations internes de workflows de TypeSafe, Clef-omni reste généralement en retrait par rapport à Clef, notamment sur le traitement de factures. L'entreprise ne commente pas ces écarts au-delà des chiffres.

Côté tarification, Clef-flash passe de 0,09 à 0,038 dollar par million de tokens en entrée, soit moins que Jev. Clef reste à 0,24 dollar par million, et Clef-omni est lancé à 0,15 dollar. Cette baisse s'accompagne d'une réduction fenêtre de contexte de Clef-flash, ramenée de 64k à 24k tokens sur la version hébergée, alors que les poids publiés supportent 256k. Cloudflare indique que 0,24 % des requêtes dépassent 24k tokens, et oriente les usages plus longs vers Clef.

Pour le modèle Clef hébergé sur Workers AI, les gains de vitesse, de l'ordre de 1,7 à 2 fois selon la taille d'entrée, proviennent principalement de l'infrastructure de service, avec le passage à SGLang, et non d'une modification des poids. Les poids ne sont donc pas renouvelés pour cette optimisation.

Plusieurs questions restent ouvertes à la lecture de l'annonce : la robustesse de Clef-omni sur des domaines hors évaluation, la contrepartie exacte de la réduction de contexte pour les clients de Clef-flash, et la portée réelle des gains de performance annoncés en dehors des benchmarks publiés par Cloudflare.