Perplexity et Nvidia s'associent pour lancer un agent IA local, sans coûts de tokens

Perplexity lance Portable Computer, une version de son plateforme d'agents Computer conçue pour fonctionner entièrement en local sur le matériel de l'utilisateur. Développée en étroite collaboration avec Nvidia, cette solution cible initialement les supercalculateurs de bureau DGX Spark et les machines Linux équipées de GPU RTX. L'approche vise à déplacer les charges de travail lourdes de l'agentic IA hors du cloud pour les exécuter directement sur l'appareil, éliminant ainsi les coûts facturés à la consommation de tokens et réduisant la dépendance aux API distantes. Par défaut, chaque tâche démarre sur l'appareil, le système ne sollicitant un modèle cloud plus puissant qu'après avoir explicitement demandé la permission.

L'architecture de Portable Computer intègre l'intégralité de la pile logicielle nécessaire dans une application unique. Contrairement aux stacks d'IA locale actuelles qui nécessitent d'assembler manuellement les poids des modèles, de configurer un serveur d'inférence et de câbler les outils, Perplexity propose un système packagé incluant les modèles locaux, le moteur d'inférence, les outils et un bac à sable de sécurité. Le lancement supporte des modèles comme Qwen 3.8 27B ou PPLX 27B, une version post-entraînée par Perplexity, avec Nemotron 3.5 Lightning de Nvidia prévu prochainement. L'exigence matérielle s'établit à un minimum de 24 Go de VRAM, correspondant grosso modo à une GeForce RTX 3090 ou supérieure, un seuil jugé nécessaire pour garantir une expérience fluide.

La collaboration a débouché sur des optimisations spécifiques de l'agent harness, la structure qui orchestre les prompts et les outils autour du modèle. Perplexity publie des recherches indiquant que conceptions du modèle et de son harness doivent être couplées pour compenser les limites des modèles locaux par rapport aux modèles frontières. L'entreprise a observé que si des modèles comme Qwen 3.8 27B annoncent des fenêtres de contexte de 260 000 tokens, leurs performances chutent au-delà de 100 000 tokens. En réponse, le harness a été allégé avec des prompts système succincts et des outils chargés à la demande sous forme de "skills", réduisant la consommation de ressources. Des connecteurs comme Gmail et GitHub ont été convertis en outils en ligne de commande compacts, et des hooks de vérification automatique ont été ajoutés pour surveiller la santé des tâches.

Les benchmarks internes avancés par Perplexity mettent en avant ces gains d'efficacité. Sur le Local Knowledge Work Bench, un ensemble de 53 tâches couvrant la recherche, l'analyse financière et la création de documents, la plateforme a atteint un score de 82,6 % avec Qwen 3.8 27B sur un DGX Spark, contre 77,6 % pour le harness open-source Pi et 74,0 % pour Hermes avec le même modèle. Le modèle PPLX 27B post-entraîné atteint 85,4 %. L'écart se creuse sur les tâches complexes, notamment en compréhension de documents multimodaux, où Computer obtient 65,1 % contre 34,6 % pour Hermes. De plus, le système affiche une réduction de 51 % du temps d'exécution murale et de 70 % de la consommation de tokens par rapport à Pi sur le benchmark BrowseComp.

Le modèle économique de l'IA d'agent est au cœur de cette stratégie. Contrairement aux chats interactifs qui sont par nature intermittents, les agents sont conçus pour fonctionner en continu, consommant d'importantes quantités de tokens pour réviser des documents, vérifier leur travail et itérer. Cette dynamique rend l'usage du cloud coûteux et difficile à gouverner à l'échelle organisationnelle. Portable Computer propose une approche hybride : l'exécution locale assure un coût marginal nul pour les tâches standards, tandis qu'un mécanisme d'escalade vers un modèle cloud "conseiller", comme Claude Opus 5, peut être activé pour des tâches nécessitant un raisonnement plus profond. Selon les chiffres fournis, cette escalade permet de récupérer environ 60 % de l'écart de performance par rapport au modèle frontière pour environ deux tiers du coût, tout en assurant qu'aucun fichier local ne quitte l'appareil.

Pour Nvidia, cette initiative marque un tournant stratégique vers la validation de l'IA locale comme outil pratique au-delà du simple hobbyisme, ouvrant un marché pour le matériel grand public et professionnel capable de supporter ces charges. Pour Perplexity, l'offre permet de s'adresser aux entreprises sensibles à la confidentialité des données et de diversifier ses revenus sans dépendre exclusivement de la facturation à l'usage. Le support est pour l'instant limité à Linux, Windows étant prévu pour septembre, tandis que le support d'Apple Silicon est absent de la feuille de route, l'accent étant mis sur l'écosystème Nvidia.