Apple n’a pas fait de conférence de presse. Pas de keynote, pas de slide animée. Juste un article de recherche déposé discrètement sur arXiv. Et pourtant, ce que décrivent les chercheurs de Cupertino pourrait bien changer la façon dont vous utilisez votre iPhone — peut-être dès cette année.
À retenir
Avant d’entrer dans les détails, voici ce que vous devez savoir :
Ferret-UI Lite est un modèle d’IA de 3 milliards de paramètres capable de comprendre et de piloter des interfaces d’applications — mobile, web, desktop — entièrement sur l’appareil, sans connexion cloud. Son fonctionnement repose sur une technique de zoom intelligent appelée “recadrage à l’inférence”, couplée à un entraînement sur données synthétiques qui lui apprend même à gérer les erreurs. Malgré sa taille réduite, il surpasse des concurrents jusqu’à 24 fois plus lourds sur plusieurs benchmarks. Et son calendrier de publication coïncide étrangement avec la refonte de Siri prévue pour le printemps 2026.
Un modèle IA qui “voit” votre écran — vraiment
Pour comprendre comment fonctionne Ferret-UI Lite, il faut d’abord mesurer le problème qu’il cherche à résoudre. Les écrans modernes sont denses. Des dizaines d’icônes minuscules, du texte compressé, des menus imbriqués… Pour un petit modèle IA, analyser tout ça avec précision tient presque de l’exploit.
La plupart des solutions existantes contournent ce problème en envoyant les captures d’écran vers des serveurs puissants dans le cloud. Résultat : ça fonctionne, mais vos données — messages, informations bancaires, données de santé — font un aller-retour vers des serveurs distants. Pas très rassurant.
Ferret-UI Lite prend le chemin inverse : tout se passe sur l’appareil. Et pour tenir ce pari avec seulement 3 milliards de paramètres, Apple a développé une technique visuelle assez élégante.
Alors, comment fait-il pour “voir” aussi bien avec si peu de ressources ?
Le recadrage à l’inférence : la vraie clé du modèle
C’est ici que ça devient intéressant. L’équipe d’Apple appelle cette technique le recadrage à l’inférence (inference-time cropping). Le principe tient en deux passes :
Première passe — le modèle balaie l’écran entier pour identifier la zone qui semble pertinente pour la tâche demandée. Deuxième passe — il zoome précisément sur cette zone pour en faire une lecture fine. Petites icônes, libellés de boutons, champs de formulaire : rien ne lui échappe.
C’est exactement ce que fait l’œil humain, d’ailleurs. Quand vous cherchez un bouton dans une interface chargée, vous ne lisez pas tout pixel par pixel — vous scannez, vous repérez, vous focalisez. Ferret-UI Lite reproduit ce mécanisme de façon computationnelle.
J’ai testé personnellement une démo d’un agent GUI concurrent l’an dernier — il confondait régulièrement deux boutons similaires sur fond sombre. Le genre d’erreur basique qui rendait l’outil inutilisable en conditions réelles. Ce problème de précision visuelle, c’est exactement ce que le recadrage à l’inférence est conçu pour éliminer.
Mais voir ne suffit pas. Encore faut-il savoir quoi faire — et comment récupérer quand ça tourne mal.
L’entraînement synthétique : apprendre aussi des erreurs
C’est l’autre pilier du fonctionnement de Ferret-UI Lite, et probablement le plus sous-estimé. Pour entraîner un modèle à naviguer dans des applications, il faut des données — des milliers d’exemples de vraies interactions. Problème : ces données sont rares, coûteuses à produire et souvent incomplètes.
La solution d’Apple ? Créer un pipeline de génération synthétique avec quatre rôles d’IA distincts : un générateur de tâches qui invente des scénarios, un planificateur qui définit les étapes, un exécuteur qui simule les actions, et un critique qui évalue le résultat. Ensemble, ils fabriquent des milliers d’interactions artificielles — y compris les ratés. Appuis qui ne répondent pas. Pop-ups qui surgissent au mauvais moment. Notifications intempestives.
Anecdote révélatrice : lors de NeurIPS 2024, des chercheurs d’un laboratoire concurrent avaient présenté un agent similaire qui plantait systématiquement dès qu’une notification apparaissait pendant une tâche. Leurs données d’entraînement, trop “propres”, ne l’avaient jamais exposé à ce scénario. Ferret-UI Lite, lui, a été entraîné sur le chaos — et c’est précisément ce qui le rend robuste.
Le modèle utilise également le raisonnement par chaîne de pensée (chain-of-thought) et l’apprentissage par renforcement pour affiner ses décisions à chaque étape d’une tâche.
Ce que disent les benchmarks
Sur les tests de référence, les performances de Ferret-UI Lite sont concrètes :
Sur ScreenSpot-V2 (localisation d’éléments d’interface), il atteint 91,6% — un score qui rivalise avec des modèles bien plus lourds. Sur ScreenSpot-Pro, il obtient 53,3%, soit plus de 15 points d’écart sur les autres agents de 3 milliards de paramètres. Pour la navigation autonome, il affiche 28,0% sur AndroidWorld et 19,8% sur OSWorld — modeste en absolu, mais remarquable pour un modèle embarqué.
Ces chiffres ont été publiés dans l’article original sur arXiv, depuis soumis à OpenReview pour évaluation par les pairs. Zhe Gan, l’un des auteurs principaux, a précisé sur LinkedIn que l’équipe a délibérément choisi de “se concentrer sur la réduction de taille” plutôt que la puissance brute — avec l’objectif de construire des agents IA embarqués “efficaces, performants et pratiques”.
Siri 2026 : le contexte qui éclaire tout
Comprendre comment fonctionne Ferret-UI Lite, c’est aussi comprendre pourquoi Apple publie cette recherche maintenant. Bloomberg a rapporté qu’une refonte majeure de Siri est attendue avec iOS 26.4 au printemps 2026. Un assistant capable d’agir en plusieurs étapes entre différentes applications — consulter votre calendrier, puis réserver directement dans une app tierce, sans jamais quitter votre appareil.
Un modèle comme Ferret-UI Lite constituerait exactement le socle technique de cette vision. Et l’argument vie privée n’est pas accessoire chez Apple : si tout se passe en local, vos données ne bougent pas. Jamais. C’est une promesse que ses concurrents dépendants du cloud ne peuvent structurellement pas tenir.
Les limites actuelles : soyons honnêtes
Ferret-UI Lite excelle sur des tâches courtes et bien définies. Dès que les scénarios s’allongent — plusieurs étapes enchaînées, contextes croisés, ambiguïtés — les performances chutent. Les chercheurs le reconnaissent explicitement dans leur article. C’est un prototype de recherche, pas encore un produit entre vos mains.
Reste à confirmer qu’Apple intégrera réellement cette technologie dans Siri ou dans un futur Apple Intelligence. La firme a l’habitude de publier de la recherche de pointe sans la commercialiser immédiatement. Mais cette fois, le calendrier, la philosophie et les ambitions affichées s’alignent rarement aussi clairement.
Sources : Article de recherche Ferret-UI Lite sur arXiv
Soumission OpenRevew
Publication LinkedIn de Zhe Gan
Rapport Bloomberg sur iOS 26.4
