DeepMind introduit le « computer use » dans Gemini 2.5 Flash

Le computer use fait son entrée dans Gemini 3.5 Flash en tant qu'outil natif intégré directement dans le modèle principal, et non plus comme une version dédiée et séparée. Jusqu'alors, cette capacité n'était disponible que via un modèle Gemini 2.5 standalone spécialisé. Google DeepMind annonce désormais sa fusion dans la lignée Flash, ce qui marque une étape d'intégration architecturale significative : le modèle polyvalent le plus rapide de la gamme Gemini hérite d'une capacité de perception et d'interaction avec les interfaces graphiques.

Concrètement, le computer use permet à Gemini 3.5 Flash de voir un environnement visuel — bureau, navigateur, application mobile —, d'en interpréter le contenu et d'y exécuter des actions (clics, saisies, navigation). Le modèle peut ainsi analyser une interface, identifier des éléments interactifs et enchaîner des séquences d'actions sur des logiciels réels, sans API dédiée ni intégration applicative préalable. Cette capacité s'ajoute aux outils déjà disponibles dans Gemini comme le function calling ou le grounding via Search et Maps.

Les résultats annoncés sur OSWorld, benchmark de référence pour l'évaluation des agents de contrôle d'ordinateur, positionnent Gemini 3.5 Flash comme le meilleur modèle de la gamme sur ces tâches agentic. L'annonce ne précise pas de score absolu dans l'extrait disponible, mais met en avant une amélioration nette par rapport au modèle standalone précédent, notamment sur les tâches dites long-horizon, c'est-à-dire des séquences d'actions longues et complexes nécessitant un raisonnement étendu sur plusieurs étapes.

Les cas d'usage mis en avant par DeepMind concernent principalement l'entreprise : tests logiciels en continu, automatisation de tâches de knowledge work sur des applications professionnelles, audit d'accessibilité de documentations ou encore analyse de fonctionnalités dans des interfaces existantes. Ce positionnement cible directement les workflows d'automatisation RPA (Robotic Process Automation) déjà couverts par des acteurs comme UiPath, dont un responsable est cité parmi les premiers clients de la fonctionnalité.

La question de la sécurité occupe une place centrale dans l'annonce. Les agents opérant dans des environnements réels sont exposés à un risque spécifique : les prompt injections indirectes, où du contenu malveillant présent dans l'interface manipule le comportement du modèle. DeepMind indique avoir mis en place un entraînement adversarial ciblé pour réduire cette exposition. Deux mécanismes de protection optionnels sont également proposés aux entreprises : la demande de confirmation explicite avant l'exécution d'actions sensibles ou irréversibles, et l'arrêt automatique de la tâche si une injection indirecte est détectée. L'approche est qualifiée de "defense-in-depth" et s'accompagne de recommandations complémentaires — sandboxing sécurisé, vérification humaine dans la boucle, contrôles d'accès stricts — dont la mise en œuvre reste à la charge des développeurs et équipes DevOps.

L'accès se fait via l'API Gemini et la Gemini Enterprise Agent Platform. Browserbase, partenaire cité dans l'annonce, propose également un environnement de démonstration hébergé pour tester la fonctionnalité. Browser Use, autre partenaire mentionné, est un framework open-source permettant de connecter des LLM à des navigateurs web pour l'automatisation.

Sur le plan de la concurrence, cette intégration native dans un modèle Flash positionne Google dans un espace déjà occupé par Anthropic, dont le Claude 3.5 Sonnet disposait d'une capacité de computer use depuis octobre 2024. Microsoft, OpenAI avec Operator, et plusieurs startups spécialisées dans les agents de bureau se disputent également ce segment. Le mouvement de DeepMind consiste ici moins à inventer une capacité qu'à la standardiser et à l'embarquer dans un modèle généraliste rapide et économique, ce qui abaisse le seuil d'adoption pour les développeurs souhaitant construire des agents sans mobiliser un modèle spécialisé distinct.

Les questions ouvertes portent notamment sur la fiabilité effective dans des environnements de production complexes, la gestion des mises à jour d'interfaces qui peuvent désorienter les agents visuels, et les modalités d'audit des actions réalisées de manière autonome dans des contextes sensibles.