Apple behauptet, dass sein ReALM die Fähigkeiten von GPT-4 übertrifft

Claude 3 Opus hat kürzlich GPT‑4 entthront als das fortschrittlichste LLM. In der Zwischenzeit stellten Forscher bei Apple (AAPL ) ReALM vor, kurz nachdem die Nachricht aufkam, dass Googles Gemini das iPhone antreibt und für Aufsehen sorgte. Das Forschungspapier mit dem Titel “ReALM: Reference Resolution As Language Modeling” präsentiert es als ein hochmodernes KI‑System, das verspricht, die Art und Weise, wie Sprachassistenten Benutzeranfragen verstehen und beantworten, neu zu definieren. 

Der Unterschied zwischen ReALM und anderen Systemen liegt in seiner nahtlosen Integration der Referenzauflösung in das Gefüge des Sprachverständnisses. Dies ist ein innovativer Ansatz angesichts des aktuellen Designs von groß‑sprachmodellbasierten Systemen und trägt dazu bei, das Kontextverständnis des Modells zu verbessern, während gleichzeitig ein neuer Maßstab für die Interaktion zwischen KI und grafischen Benutzeroberflächen gesetzt wird. 

Basierend auf den Forschungsergebnissen ist es darauf ausgelegt, LLM‑Ingenieuren und Produktmanagern von KI‑Tools zu helfen, intuitivere und kontextbewusste Benutzerinteraktionen zu erreichen. ReALM erleichtert zudem die Integration von Texteingaben mit visuellem Kontext und erweitert damit das Potenzial, die Fähigkeiten digitaler Assistenten in vielen Anwendungen zu verbessern.

ReALMs innovativer Ansatz zur Referenzauflösung im NLP

Alle NLP‑Systeme basieren auf der „Referenzauflösung“, einem Prozess, der mehrdeutige, aber kontextbezogene Referenzen wie Pronomen oder indirekte Beschreibungen, z. B. „sie“ oder „das“, identifiziert und mit den korrekten Entitäten innerhalb einer Konversation oder eines visuellen Kontexts verknüpft, um kohärente Benutzerinteraktionen aufrechtzuerhalten.

Traditionelle KI‑Systeme stützen sich auf regelbasierte Methoden oder Heuristiken zur Referenzauflösung, die jedoch nicht die gewünschten Ergebnisse erzielen, wenn es darum geht, die volle Komplexität natürlicher Sprache zu erfassen. Infolgedessen war es schwierig, den visuellen Kontext, wie z. B. Bildschirmelemente, mit diesen Methoden in die Auflösung zu integrieren. Sprachassistenten wie Siri sind ebenfalls von denselben Einschränkungen betroffen, die ReALM adressiert, indem es das Problem als Sprachmodellierungsaufgabe behandelt. 

ReALM nutzt LLMs, um mehrdeutige Referenzen im breiteren Kontext einer Konversation zu verstehen und aufzulösen, anstatt Regeln oder Heuristiken zu verwenden. Wenn visueller Kontext einbezogen wird, rekonstruiert es den Bildschirm des Geräts mithilfe von Textrepräsentationen und zeichnet räumliche Verbindungen zwischen den Bildschirmelementen auf. 

Unter der Leitung von Joel Ruben Antony Moniz erklärt das Forscherteam:

„Nach unserem besten Wissen ist dies die erste Arbeit, die ein Large Language Model verwendet, um Kontext von einem Bildschirm zu kodieren.“

Ergebnis? Sprachassistenten, die von ReALM unterstützt werden, können Anfragen wie „Tippe auf die Schaltfläche in der oberen rechten Ecke“ und „Öffne den zweiten Artikel in der Liste“ verstehen, mit denen herkömmliche KI‑Systeme Schwierigkeiten haben.

Dies macht die Referenzauflösungsmethode von ReALM effizienter und ideal für die Verarbeitung auf dem Gerät, da sie Referenzen lokal auf dem Gerät auflösen kann, im Gegensatz zu cloudbasierten KI‑Systemen, die eine kontinuierliche Datenübertragung benötigen. Dadurch ist sie für Siri besser geeignet, da sie die Privatsphäre, Latenz und Offline‑Funktionalität verbessert.

Klicken Sie hier für eine Liste der fünf besten ChatGPT-Erweiterungen.

Datenerfassung und Bewertung

Das Forschungsteam von Apple stellte einen vielfältigen Datensatz zusammen, der konversationelle, bildschirmbezogene und synthetische Daten umfasst, um die Fähigkeit von ReALM, die Komplexität realer Benutzerinteraktionen im Vergleich zu Alternativen zu bewältigen, gründlich zu bewerten. Dafür kuratierte das Team einen vielfältigen Datensatz, der konversationelle, bildschirmbezogene und synthetische Daten umfasst. 
Die konversationellen Daten wurden erzeugt, indem Crowd‑Worker Bilder mit synthetischen Listen gezeigt wurden und sie gebeten wurden, klare Anfragen zu formulieren, die sich auf bestimmte Elemente in diesen Listen beziehen. Der bildschirmbezogene Datensatz wurde einem zweiphasigen Annotationsprozess unterzogen, der sicherstellte, dass das Modell die Komplexität realer Webseiten bewältigen kann. Dieser Prozess umfasste die Klassifizierung der sichtbaren Objekte, die Erstellung von Anfragen und das Herstellen von Verbindungen zwischen den Anfragen und den Entitäten, auf die sie sich beziehen.

Beeindruckende Leistungsergebnisse

Die Bewertungsergebnisse zeigen die bemerkenswerte Leistung von ReALM über alle Datensätze hinweg. Im Vergleich zu MARRS, einem vorherigen State-of-the-Art-Referenzauflösungssystem, erzielt ReALM signifikante Verbesserungen in der Genauigkeit. Bemerkenswerterweise erzielt selbst das kleinste ReALM‑Modell absolute Zuwächse von über 5 % im anspruchsvollen bildschirmbezogenen Datensatz, was seine Fähigkeit demonstriert, Referenzen in komplexen visuellen Kontexten effektiv zu verstehen und aufzulösen.

Um die Fähigkeiten von ReALM weiter zu bewerten, verglichen die Forscher es mit den Modellen GPT‑3.5 und GPT‑4 von OpenAI. Beeindruckend ist, dass das kleinste ReALM‑Modell auf Augenhöhe mit GPT‑4 arbeitet, obwohl es um Größenordnungen weniger Parameter besitzt. Mit zunehmender Modellgröße verbessert sich die Leistung von ReALM weiter, wobei die größeren Modelle die evaluierten Datensätze deutlich besser als GPT‑4 abschneiden.

Die nachstehende Tabelle stellt eine Zusammenfassung der Leistungsergebnisse dar und hebt ReALMs Überlegenheit gegenüber bestehenden Ansätzen sowie seine Wettbewerbsfähigkeit mit modernsten Sprachmodellen hervor.

Der Schlüssel zum Erfolg: Optimale Bildschirmenkodierung

Wie ersichtlich, ist ReALMs optimierter Ansatz zur Bildschirmenkodierung ein entscheidender Faktor, der zu seiner beeindruckenden Leistung beiträgt. Zudem haben die Forscher mehrere Strategien untersucht, bevor sie zum finalen Algorithmus kamen, der sich als am effektivsten erwies.

Ein erster Versuch bestand darin, Bildschirmelemente zu clustern und alle anderen Elemente in den Kontext jeder Entität einzubeziehen. Dies führte jedoch dazu, dass die Prompt‑Längen schnell anwuchsen, sobald die Anzahl der Bildschirmelemente zunahm, was es für reale Anwendungen ziemlich unpraktisch machte.

Ein weiterer Ansatz bestand darin, Entitäten im textuellen Bildschirm‑Parse zu markieren, sie jedoch getrennt vom Hauptkontext bereitzustellen. Obwohl diese Methode vielversprechend erscheint, stellten die Forscher fest, dass das direkte Einfügen der Tags in den Parse selbst die besten Ergebnisse lieferte.

Der abschließende Ansatz der „eingesetzten Bildschirmekodierung“, wie im Papier beschrieben, funktioniert, indem die Zentren der Bildschirmelemente von oben nach unten und anschließend von links nach rechts sortiert werden. Elemente innerhalb eines festgelegten vertikalen Abstands werden in derselben „Zeile“ der Textrepräsentation gruppiert, und Elemente in derselben Zeile werden durch Tabs getrennt. Dieses clevere Kodierungsschema ermöglicht es ReALM, das 2‑D‑Bildschirmlayout in ein 1‑D‑Textformat zu approximieren, wodurch das Modell die räumlichen Beziehungen zwischen Entitäten effektiv verstehen kann.

Von den Forschern durchgeführte Ablations‑Experimente bestätigten die Überlegenheit dieses optimierten Kodierungsansatzes, wie in der nachstehenden Abbildung gezeigt wird:

Umgang mit komplexen Anwendungsfällen

Das Papier liefert mehrere qualitative Beispiele, die ReALMs Fähigkeit demonstrieren, komplexe Anwendungsfälle zu bewältigen, die verschiedene Formen des Schließens erfordern, einschließlich semantischem Verständnis, Zusammenfassung, Weltwissen und gesundem Menschenverstand.

In einem interessanten Beispiel, das das Team teilte, löst ReALM die Anfrage „Rufe die Abendnummer an“ korrekt zu der Telefonnummer, die unter „17 Uhr – 21 Uhr“ aufgeführt ist, wenn ein Bildschirm mit sowohl morgendlichen als auch abendlichen Kontaktdaten angezeigt wird. Obwohl es logisch klingt, ist dies ein beeindruckendes Demonstrieren von Fähigkeiten, da ReALM die Bedeutung von „Abend“ erfolgreich verstand und sie dem entsprechenden Zeitfenster zuordnete – etwas, das bei anderen KI‑Systemen noch nicht realisiert wurde.

Ein weiteres Eingabebeispiel zeigte einen Bildschirm mit Steuerfristen, und das Modell identifizierte erfolgreich das April‑Einreichungsdatum als relevante Frist, als es aufgefordert wurde, eine Erinnerung zum Ausdrucken von Dokumenten vor dem Steuerfälligkeitstermin zu setzen.

Diese qualitativen Beispiele untermauern die Beobachtungen zur Vielseitigkeit von ReALM und seinem Potenzial, ein breites Spektrum realer Szenarien zu bewältigen, die ein tiefes Sprachverständnis und Schließfähigkeiten erfordern.

Vorteile gegenüber End‑zu‑End‑Ansätzen

Obwohl End‑zu‑End‑Ansätze, die ausschließlich auf massive LLMs setzen, vielversprechende Ergebnisse bei verschiedenen Aufgaben des Sprachverständnisses gezeigt haben, heben die Forscher mehrere Vorteile der Architektur von ReALM hervor:

Das Ausführen eines vollständigen End‑zu‑End‑Modells auf dem Gerät aus Gründen der Latenz und Privatsphäre wäre mit den aktuellen Modellen aufgrund von Rechen‑ und Speicherbeschränkungen nicht machbar. Durch die Verwendung eines kleineren, feinabgestimmten Modells, das speziell für die Referenzauflösung entwickelt wurde, umgeht ReALM diese Probleme und ermöglicht eine effiziente Verarbeitung auf dem Gerät.

Darüber hinaus ermöglicht die modulare Architektur von ReALM eine nahtlose Integration mit bestehenden Komponenten zur Entitätserkennung und Aufgabenabwicklung in Konversations‑KI‑Pipelines. Im Gegensatz dazu würde ein End‑zu‑End‑Modell erhebliche Änderungen an der gesamten Pipeline erfordern, was die Einführung in realen Systemen erschwert.

Skalierbarkeit auf neue Entitätstypen

Eine der wichtigsten Stärken von ReALM ist seine Skalierbarkeit auf neue Entitätstypen. Im Gegensatz zu früheren pipeline‑basierten Ansätzen wie MARRS, die auf manuell definierten, typenspezifischen Logiken beruhten, kann der LLM‑basierte Ansatz von ReALM leicht auf unbekannte Domänen generalisieren.

Die Forscher demonstrieren diesen Vorteil, indem sie ReALM auf einem unbekannten Entitätstyp „Alarm“ evaluieren. Beeindruckend erreicht ReALM die Zero‑Shot‑Leistung von GPT‑4, indem es Anfragen wie „Schalte den Alarm aus, der mich daran erinnert, Didi abzuholen“ korrekt dem entsprechenden Alarm zuordnet. Dies zeigt die Fähigkeit des Modells, seine Sprachverständnisfähigkeiten zu nutzen, um neue Entitätstypen zu handhaben, ohne explizite Trainingsdaten zu benötigen.

Die nachstehende Tabelle präsentiert den Leistungsvergleich zwischen ReALM und GPT‑4 im unbekannten „Alarm“-Datensatz und hebt ReALMs starke Zero‑Shot‑Generaliserungsfähigkeiten hervor:

Zukünftige Möglichkeiten und Einschränkungen

Obwohl ReALM bedeutende Fortschritte in wichtigen Aspekten wie der Referenzauflösung für konversationelle KI liefert, hat das Forschungsteam einige Einschränkungen festgestellt, die es wert sind, verstanden zu werden.

Ein wesentlicher Nachteil des Systems besteht jedoch darin, dass die Umwandlung eines 2‑D‑Bildschirmlayouts in eine 1‑D‑Textrepräsentation zum Verlust feiner räumlicher Details führt. Das Team schlug die Verwendung fortschrittlicherer Kodierungsstrategien vor, etwa die Darstellung der Bildschirmelemente in einer rasterähnlichen Anordnung, um genauere relative Positionen beizubehalten.

Eine weitere potenzielle Verbesserung für die Zukunft besteht darin, ReALMs Fähigkeit zu stärken, komplexere und vielfältigere Referenzen zu verarbeiten, einschließlich solcher, die zeitliche oder hierarchische Verknüpfungen zwischen Entitäten enthalten.

Trotz dieser Einschränkungen machen ReALMs beeindruckende Leistung und skalierbares Design es zu einer sehr vielversprechenden Grundlage für weitere Forschung und Entwicklung im Bereich konversationeller KI.

Abschließende Gedanken

ReALMs Fähigkeit, die Lücke zwischen Texteingabe und visuellem Kontext zu schließen, wird den Weg für intuitivere und kontextbewusste Benutzeroberflächen ebnen. LLM‑Ingenieure und Entwickler werden in der Lage sein, KI‑Systeme zu schaffen, die die Absichten der Nutzer wirklich verstehen und darauf reagieren, selbst bei komplexen Bildschirmelementen.

Aus rein technischer Sicht sind ReALMs modulare Architektur und die Möglichkeit der Verarbeitung auf dem Gerät besonders wertvoll, da sie nicht nur Datenschutz- und Latenzprobleme der Nutzer adressieren, sondern auch einen Präzedenzfall für skalierbarere, effizientere und integrierte KI‑Systeme schaffen.

Einfach ausgedrückt signalisiert ReALMs Erfolg beim Umgang mit komplexen Anwendungsfällen und seine Fähigkeit, auf neue Entitätstypen zu verallgemeinern, dass unser Verständnis dessen, was derzeit mit konversationeller KI möglich ist, grundlegend verändert wurde. Es könnte die bislang eher stagnierende KI‑Adoptionsrate in Branchen von Kundenservice und E‑Commerce bis hin zu Gesundheitswesen und Bildung beschleunigen.

Klicken Sie hier, um alles über Investitionen in künstliche Intelligenz zu erfahren.