Apple affirme que son ReALM surpasse GPT-4 en termes de capacités

Claude 3 Opus a récemment destitué GPT 4 en tant que LLM le plus avancé. Pendant ce temps, des chercheurs d’Apple (AAPL ) ont présenté ReALM, peu après la actualité selon laquelle Gemini de Google alimente l’iPhone, qui a fait les gros titres. Le document de recherche, intitulé « ReALM: Reference Resolution As Language Modeling », le présente comme un système d’IA de pointe qui promet de redéfinir la façon dont les assistants vocaux comprennent et répondent aux requêtes des utilisateurs. 

La différence entre ReALM et les autres systèmes réside dans son intégration fluide de la résolution de références dans le tissu de la compréhension du langage. C’est une approche innovante compte tenu de la conception actuelle des systèmes basés sur de grands modèles de langage, et elle contribue à améliorer la compréhension du contexte par le modèle tout en établissant une nouvelle référence pour l’interaction entre l’IA et les interfaces graphiques utilisateur. 

Sur la base des résultats de recherche, il est destiné à aider les ingénieurs LLM et les chefs de produit d’outils d’IA à obtenir des interactions utilisateur plus intuitives et conscientes du contexte. ReALM facilite également l’intégration des entrées textuelles avec le contexte visuel, élargissant ainsi le potentiel d’amélioration des compétences des assistants numériques dans de nombreuses applications.

L’approche innovante de ReALM pour la résolution de références en NLP

Tous les systèmes NLP reposent sur la « résolution de références », un processus visant à identifier et à lier des références ambiguës mais contextuelles telles que les pronoms ou les descriptions indirectes, par exemple « ils » ou « cela », aux entités correctes au sein d’une conversation ou d’un contexte visuel afin de maintenir des interactions utilisateur cohérentes.

Les systèmes d’IA traditionnels s’appuient sur des méthodes basées sur des règles ou des heuristiques pour la résolution de références, ce qui ne donne pas les résultats souhaités lorsqu’il s’agit de saisir la pleine complexité du langage naturel. En conséquence, le contexte visuel, tel que les entités affichées à l’écran, a été difficile à intégrer dans la résolution avec ces méthodes. Les assistants vocaux comme Siri sont également victimes des mêmes limitations que ReALM résout en le traitant comme un problème de modélisation du langage. 

ReALM exploite les LLM pour comprendre et résoudre les références ambiguës dans le contexte plus large de la conversation, plutôt que d’utiliser des règles ou des heuristiques. Lorsque le contexte visuel est présent, il reconstruit l’écran de l’appareil à l’aide de représentations textuelles et en enregistrant les connexions spatiales entre les composants affichés à l’écran. 

Dirigée par Joel Ruben Antony Moniz, l’équipe de chercheurs déclare:

“À notre connaissance, il s’agit du premier travail utilisant un grand modèle de langage qui vise à encoder le contexte d’un écran.”

Résultat ? Les assistants vocaux alimentés par ReALM peuvent comprendre des requêtes telles que « Appuyez sur le bouton en haut à droite » et « Ouvrez le deuxième article de la liste », ce qui pose problème aux systèmes d’IA standard.

Cela rend la méthode de résolution de références de ReALM plus efficace et idéale pour le traitement sur l’appareil, car elle peut résoudre les références localement, contrairement aux systèmes d’IA basés sur le cloud qui nécessitent une transmission continue de données. Cela en fait un meilleur choix pour Siri grâce à une meilleure confidentialité, une latence réduite et un fonctionnement hors ligne.

Cliquez ici pour obtenir une liste des cinq meilleures extensions ChatGPT.

Collecte de jeux de données et évaluation

L’équipe de recherche d’Apple a constitué un jeu de données diversifié englobant des données conversationnelles, à l’écran et synthétiques afin d’évaluer en profondeur la capacité de ReALM à gérer les complexités des interactions utilisateur du monde réel par rapport à ses alternatives. Pour ce faire, l’équipe a rassemblé un jeu de données diversifié comprenant des données conversationnelles, à l’écran et synthétiques. 

Les données conversationnelles ont été générées en montrant aux travailleurs de foule des images contenant des listes synthétiques et en leur demandant de soumettre des requêtes claires se rapportant à des éléments spécifiques de ces listes. Le jeu de données à l’écran a été soumis à un processus d’annotation en deux phases afin de garantir que le modèle puisse gérer la complexité des pages Web du monde réel. Ce processus comprenait la classification des objets visibles, la génération de requêtes et l’établissement de connexions entre les requêtes et les entités auxquelles elles font référence.

Résultats de performance impressionnants

Les résultats de l’évaluation mettent en évidence la performance remarquable de ReALM sur l’ensemble des jeux de données. Comparé à MARRS, un système de résolution de références précédent de pointe, ReALM obtient des améliorations significatives en précision. Notamment, même le plus petit modèle ReALM réalise des gains absolus de plus de 5 % sur le jeu de données à l’écran difficile, démontrant sa capacité à comprendre et résoudre efficacement les références dans des contextes visuels complexes.

Pour évaluer davantage les capacités de ReALM, les chercheurs l’ont comparé aux modèles GPT-3.5 et GPT-4 d’OpenAI. De façon impressionnante, le plus petit modèle de ReALM offre des performances comparables à GPT-4 malgré un nombre de paramètres bien moindre. À mesure que la taille du modèle augmente, les performances de ReALM continuent de s’améliorer, les modèles plus grands surpassant largement GPT-4 sur les jeux de données évalués.

Le tableau ci‑dessous résume les résultats de performance, mettant en avant la supériorité de ReALM par rapport aux approches existantes et sa compétitivité avec les modèles de langage de pointe.

La clé du succès: Encodage optimal de l’écran

Comme cela se voit, l’approche d’encodage d’écran optimisée de ReALM est un facteur crucial contribuant à ses performances impressionnantes. Cela s’ajoute au fait que les chercheurs ont exploré plusieurs stratégies avant d’arriver à l’algorithme final, qui s’est avéré le plus efficace.

L’une des premières tentatives consistait à regrouper les éléments de l’écran et à inclure tous les autres éléments dans le contexte de chaque entité. Cependant, cela a entraîné une expansion rapide de la longueur des invites à mesure que le nombre d’entités à l’écran augmentait, ce qui la rendait peu pratique pour les applications réelles.

Une autre approche consistait à baliser les entités dans l’analyse textuelle de l’écran tout en les fournissant séparément du contexte principal. Bien que cette méthode semble prometteuse, les chercheurs ont constaté que l’injection directe des balises dans l’analyse elle‑même donnait les meilleurs résultats.

L’approche finale d’« encodage injecté à l’écran », telle que décrite dans l’article, consiste à trier les centres des éléments de l’écran de haut en bas puis de gauche à droite. Les éléments situés dans une marge verticale spécifiée sont regroupés sur la même « ligne » dans la représentation textuelle, et les éléments de la même ligne sont séparés par des tabulations. Ce schéma d’encodage ingénieux permet à ReALM d’approximer la disposition 2D de l’écran sous forme textuelle 1D, permettant au modèle de comprendre efficacement les relations spatiales entre les entités.

Des expériences d’ablation menées par les chercheurs ont confirmé la supériorité de cet encodage optimisé, comme le montre la figure ci‑dessous:

Gestion de cas d’utilisation complexes

L’article fournit plusieurs exemples qualitatifs illustrant la capacité de ReALM à gérer des cas d’utilisation complexes nécessitant diverses formes de raisonnement, notamment la compréhension sémantique, le résumé, les connaissances du monde et le raisonnement de bon sens.

Dans un exemple intéressant partagé par l’équipe, ReALM résout correctement la requête « Appeler le numéro du soir » en renvoyant le numéro de téléphone indiqué sous « 17 h – 21 h » lorsqu’on lui présente un écran affichant à la fois les contacts du matin et du soir. Bien que cela semble logique, il s’agit d’une démonstration impressionnante de capacités, ReALM ayant compris le sens de « soir » et l’ayant associé à la plage horaire appropriée, ce qui n’est pas encore le cas pour d’autres systèmes d’IA.

Un autre exemple d’entrée présentait un écran affichant les échéances fiscales, et le modèle a identifié avec succès la date de dépôt d’avril comme échéance pertinente lorsqu’on lui a demandé de créer un rappel pour imprimer les documents avant la date d’échéance fiscale.

Ces exemples qualitatifs renforcent les observations concernant la polyvalence de ReALM et son potentiel à gérer une large gamme de scénarios réels nécessitant une compréhension profonde du langage et des capacités de raisonnement.

Avantages par rapport aux approches de bout en bout

Bien que les approches de bout en bout reposant uniquement sur d’immenses LLM aient montré des résultats prometteurs dans diverses tâches de compréhension du langage, les chercheurs soulignent plusieurs avantages de l’architecture de ReALM:

Exécuter un modèle complet de bout en bout sur l’appareil pour des raisons de latence et de confidentialité serait irréalisable avec les modèles actuels en raison des contraintes de calcul et de mémoire. En utilisant un modèle plus petit, affiné spécifiquement pour la résolution de références, ReALM évite ces problèmes et permet un traitement efficace sur l’appareil.

De plus, l’architecture modulaire de ReALM permet une intégration fluide avec les composants existants de détection d’entités et d’accomplissement de tâches dans les pipelines d’IA conversationnelle. En revanche, un modèle de bout en bout nécessiterait des modifications importantes de l’ensemble du pipeline, rendant son adoption plus difficile dans les systèmes réels.

Scalabilité vers de nouveaux types d’entités

L’un des principaux atouts de ReALM est sa scalabilité vers de nouveaux types d’entités. Contrairement aux approches en pipeline précédentes comme MARRS, qui reposaient sur une logique spécifique à chaque type définie manuellement, l’approche basée sur les LLM de ReALM peut facilement se généraliser à des domaines inconnus.

Les chercheurs démontrent cet avantage en évaluant ReALM sur un type d’entité « alarme » inédit. De façon impressionnante, ReALM égalise les performances zero-shot de GPT-4 pour résoudre avec précision des requêtes telles que « Éteindre celle qui me rappelle de récupérer didi » vers l’entité d’alarme correspondante. Cela montre la capacité du modèle à exploiter ses compétences de compréhension du langage pour gérer de nouveaux types d’entités sans nécessiter de données d’entraînement explicites.

Le tableau ci‑dessous présente la comparaison de performance entre ReALM et GPT-4 sur le jeu de données « alarme » inédit, mettant en avant les fortes capacités de généralisation zero-shot de ReALM:

Possibilités futures et limites

Bien que ReALM apporte des progrès substantiels dans des aspects importants tels que la résolution de références pour l’IA conversationnelle, l’équipe de recherche a noté quelques limites qu’il convient de comprendre.

Un inconvénient majeur du système, cependant, est que la conversion d’une mise en page d’écran 2D en une représentation textuelle 1D entraîne la perte de détails spatiaux complexes. L’équipe a proposé l’utilisation de stratégies d’encodage plus avancées, comme la représentation des composants de l’écran sous forme de grille, afin de conserver des emplacements relatifs plus précis.

Une autre amélioration potentielle pour l’avenir consiste à renforcer la capacité de ReALM à gérer des références plus complexes et diverses, y compris celles comportant des associations temporelles ou hiérarchiques entre les entités.

Malgré ces limites, les performances impressionnantes de ReALM et son design évolutif en font une base très prometteuse pour de futures recherches et développements dans le domaine de l’IA conversationnelle.

Réflexions finales

La capacité de ReALM à combler le fossé entre l’entrée textuelle et le contexte visuel ouvrira la voie à des interfaces utilisateur plus intuitives et conscientes du contexte. Les ingénieurs LLM et les développeurs pourront créer des systèmes d’IA qui comprennent réellement et répondent aux intentions des utilisateurs, même lorsqu’ils traitent des éléments complexes à l’écran.

D’un point de vue purement technique, l’architecture modulaire de ReALM et ses capacités de traitement sur l’appareil sont particulièrement précieuses, car elles résolvent non seulement les problèmes de confidentialité et de latence des utilisateurs, mais établissent également un précédent pour des systèmes d’IA plus évolutifs, efficaces et intégrés.

En termes simples, le succès de ReALM dans la gestion de cas d’utilisation complexes et sa capacité à se généraliser à de nouveaux types d’entités indiquent que notre compréhension de ce qui est actuellement possible avec l’IA conversationnelle a été totalement transformée. Cela pourrait accélérer le taux d’adoption de l’IA, encore quelque peu stagnant, dans des secteurs allant du service client et du commerce électronique aux soins de santé et à l’éducation.

Cliquez ici pour tout savoir sur l’investissement dans l’intelligence artificielle.