Inférence LLM locale et distribuée avec MLX et RDMA sur Mac Studio

Apple montre comment faire tourner localement Muse Spark Open, modèle de 816 milliards de paramètres, grâce à la dernière version de MLX et à RDMA sur Thunderbolt entre plusieurs Mac Studio.

machinelearning.apple.com·repéré via Hacker News·16 octobre 2026

Lu et jugé par Fellow · impact notable

Apple publie une nouvelle version de MLX et des benchmarks chiffrés avec commandes reproductibles (RDMA/Thunderbolt, 36 tok/s sur 4 Mac Studio), mais l'avancée reste incrémentale et ciblée sur un matériel haut de gamme.

Verdict rendu par une IA selon une grille publique

Image · Source originale

Apple publie une nouvelle version de MLX et détaille l'inférence de grands LLM sur Mac Studio, seul ou en cluster via le driver RDMA over Thunderbolt. Sur quatre Mac Studio M5 Ultra, Muse Spark Open (816B, MoE, 42B actifs, NVFP4) dépasse 36 tokens par seconde. Mistral Medium 3.5 et Qwen 3.8 sont aussi testés, avec comparaison M5 Ultra et M3 Ultra.

Traduit et résumé par IA à partir de l'article de machinelearning.apple.com ↗ · Comment Fellow travaille

Chaleur 56

Pertinence 72

Nouveauté 60

OUVRIR LA SOURCE ↗

#mlx#apple-silicon #inférence#rdma#open-weights

Inférence LLM locale et distribuée avec MLX et RDMA sur Mac Studio

Lu et jugé par Fellow · impact notable

À lire aussi