Apple hevder at ReALM overgår GPT-4 i funksjonalitet

Claude 3 Opus nylig avløste GPT 4 som den mest avanserte LLM-en. I mellomtiden avdekket forskere hos Apple (AAPL ) ReALM, kort tid etter nyheter at Googles Gemini driver iPhone, som fikk overskrifter. Forskningspapiret, med tittelen “ReALM: Reference Resolution As Language Modeling,” presenterer det som et banebrytende AI-system som lover å redefinere hvordan stemmeassistenter forstår og svarer på brukerforespørsler. 

Forskjellen mellom ReALM og andre systemer ligger i dens sømløse integrering av referanseresolusjon i språkforståelsens struktur. Dette er en innovativ tilnærming gitt den nåværende utformingen av store språkmodellbaserte systemer, og den bidrar til å forbedre modellens forståelse av kontekst samtidig som den etablerer en ny målestokk for interaksjon mellom AI og grafiske brukergrensesnitt.

Basert på forskningsresultatene, er den satt til å hjelpe LLM‑ingeniører og produktledere for AI‑verktøy med å oppnå mer intuitive og kontekstbevisste brukerinteraksjoner. ReALM legger også til rette for integrering av tekstlig input med visuell kontekst, og utvider dermed potensialet for å forbedre digitale assistenters ferdigheter i mange applikasjoner.

ReALMs innovative tilnærming til NLP-referanseresolusjon

Alle NLP‑systemer er avhengige av “referanseresolusjon,” en prosess for å identifisere og koble sammen tvetydige, men kontekstuelle referanser som pronomen eller indirekte beskrivelser, f.eks. «de» eller «det», til de riktige enhetene i en samtale eller visuell kontekst for å opprettholde sammenhengende brukerinteraksjoner.

Tradisjonelle AI‑systemer er avhengige av regelbaserte metoder eller heuristikker for referanseresolusjon, noe som ikke gir ønsket resultat når det gjelder å fange den fulle kompleksiteten i naturlig språk. Som følge av dette har visuell kontekst, som enheter på skjermen, vært vanskelig å integrere i resolusjonen ved bruk av disse metodene. Stemmeassistenter som Siri faller også for de samme begrensningene som ReALM adresserer ved å behandle det som et språkmodellproblem.

ReALM utnytter LLM‑er for å forstå og løse tvetydige referanser innenfor den bredere konteksten av samtalen, i motsetning til å bruke regler eller heuristikker. Når visuell kontekst er involvert, rekonstruerer den enhetens skjerm ved hjelp av tekstlige representasjoner og registrerer romlige forbindelser mellom komponenter på skjermen.

Ledet av Joel Ruben Antony Moniz, sier forskerteamet:

Etter vår kunnskap er dette det første arbeidet som bruker en stor språkmodell for å kode kontekst fra en skjerm.

Resultat? Stemmeassistenter drevet av ReALM kan forstå forespørsler som «Trykk på knappen i øvre høyre hjørne» og «Åpne den andre artikkelen i listen», som standard AI‑systemer sliter med.

Dette gjør ReALMs referanseresolusjonsmetode mer effektiv og ideell for behandling på enheten, siden den kan løse referanser lokalt på enheten, i motsetning til skybaserte AI‑systemer som krever kontinuerlig datatransmisjon. Dette gjør den bedre egnet for Siri på grunn av forbedret personvern, lavere latens og offline‑funksjonalitet.

Klikk her for en liste over de fem beste ChatGPT‑utvidelsene.

Datainnsamling og evaluering

Apple‑forskningsgruppen samlet et variert datasett som omfatter samtale‑, skjerm‑ og syntetisk data for grundig å vurdere ReALMs evne til å navigere i kompleksiteten i virkelige brukerinteraksjoner sammenlignet med alternativer. For å gjøre dette samlet teamet et variert datasett som omfatter samtale‑, skjerm‑ og syntetisk data.

Den samtale‑dataen ble generert ved å vise crowd‑arbeidere bilder med syntetiske lister og be dem sende inn klare forespørsler som relaterer seg til spesifikke elementer i listene. Skjerm‑datasettet ble underlagt en to‑fase annoteringsprosess som sikret at modellen kunne håndtere kompleksiteten i virkelige nettsider. Denne prosessen inkluderte klassifisering av synlige objekter, generering av forespørsler, og etablering av forbindelser mellom forespørslene og enhetene de refererer til.

Imponerende ytelsesresultater

Evalueringsresultatene viser den bemerkelsesverdige ytelsen til ReALM på tvers av alle datasett. Sammenlignet med MARRS, et tidligere toppmoderne referanseresolusjonssystem, oppnår ReALM betydelige forbedringer i nøyaktighet. Merkverdig er at selv den minste ReALM‑modellen oppnår absolutte gevinster på over 5 % på det utfordrende skjerm‑datasettet, noe som demonstrerer dens evne til effektivt å forstå og løse referanser i komplekse visuelle kontekster.

For å ytterligere vurdere ReALMs evner, benchmarket forskerne den mot OpenAIs GPT‑3.5‑ og GPT‑4‑modeller. Imponerende nok presterer ReALMs minste modell på nivå med GPT‑4 til tross for at den har mange størrelsesordener færre parametere. Etter hvert som modellstørrelsen øker, fortsetter ReALMs ytelse å forbedres, og de større modellene overgår GPT‑4 betydelig på de evaluerte datasettene.

Tabellen nedenfor viser et sammendrag av ytelsesresultatene, og fremhever ReALMs overlegenhet over eksisterende tilnærminger samt konkurranseevne med toppmoderne språkmodeller.

Nøkkelen til suksess: optimal skjermkoding

Som tydelig fremgår, er ReALMs optimaliserte skjermkodingsmetode en kritisk faktor som bidrar til den imponerende ytelsen. Dette understreker også at forskerne utforsket flere strategier før de kom frem til den endelige algoritmen, som viste seg å være den mest effektive.

Et av de første forsøkene involverte gruppering av skjerm‑elementer og inkludering av alle andre elementer i hver enhets kontekst. Dette førte imidlertid til at prompt‑lengdene vokste raskt etter hvert som antallet enheter på skjermen økte, noe som gjorde det ganske upraktisk for virkelige applikasjoner.

En annen tilnærming involverte merking av enheter i den tekstlige skjerm‑parsen, men å levere dem separat fra hovedkonteksten. Selv om denne metoden virker lovende, fant forskerne at direkte innsetting av merkene i selve parsingen ga de beste resultatene.

Den endelige “injiserte skjerm‑kodingen”‑tilnærmingen, som beskrevet i papiret, fungerer ved å sortere sentrene av skjerm‑elementer fra topp til bunn og deretter fra venstre til høyre. Elementer innenfor en angitt vertikal margin grupperes på samme “linje” i den tekstlige representasjonen, og elementer på samme linje separeres med tabulatorer. Dette smarte kodingsskjemaet gjør det mulig for ReALM å tilnærme 2D‑skjerm‑layouten i et 1D‑tekstformat, slik at modellen effektivt kan forstå de romlige forholdene mellom enhetene.

Ablasjons‑eksperimenter utført av forskerne bekreftet overlegenheten til denne optimaliserte kodingsmetoden, som vist i figuren nedenfor:

Håndtering av komplekse brukstilfeller

Papiret gir flere kvalitative eksempler som viser ReALMs evne til å håndtere komplekse brukstilfeller som krever ulike former for resonnering, inkludert semantisk forståelse, oppsummering, verdenskunnskap og sunn fornuft.

I et interessant eksempel delt av teamet, løser ReALM korrekt forespørselen «Ring det kveldsnummeret» til telefonnummeret oppført under «5 PM – 9 PM» når den får en skjerm som viser både morgen‑ og kvelds‑kontaktinformasjon. Selv om det høres logisk ut, er dette en imponerende demonstrasjon av evner, da ReALM forstått betydningen av «kveld» og knyttet den til riktig tidsintervall, noe som ennå ikke har materialisert seg i andre AI‑systemer.

Et annet inndata‑eksempel inkluderte en skjerm som viste skattefrister, og modellen identifiserte korrekt april‑innleveringsdatoen som den relevante fristen da den ble bedt om å sette en påminnelse om å skrive ut dokumenter før skattefristen.

Disse kvalitative eksemplene styrker observasjonene om ReALMs allsidighet og potensial til å håndtere et bredt spekter av virkelige scenarier som krever dyp språkforståelse og resonneringsevner.

Fordeler over ende‑til‑ende‑tilnærminger

Selv om ende‑til‑ende‑tilnærminger som kun baserer seg på massive LLM‑er har vist lovende resultater i ulike språkforståelsesoppgaver, fremhever forskerne flere fordeler med ReALMs arkitektur:

Å kjøre en full ende‑til‑ende‑modell på enheten av hensyn til latens og personvern ville være urealistisk med dagens modeller på grunn av beregnings‑ og minnebegrensninger. Ved å bruke en mindre, finjustert modell spesifikt designet for referanseresolusjon, unngår ReALM disse problemene og muliggjør effektiv behandling på enheten.

I tillegg gjør ReALMs modulære arkitektur det mulig med sømløs integrering med eksisterende enhetsdeteksjon‑ og oppgavefullføringskomponenter i samtale‑AI‑pipelines. I kontrast ville en ende‑til‑ende‑modell kreve omfattende endringer i hele pipelinen, noe som gjør den vanskeligere å implementere i virkelige systemer.

Skalerbarhet til nye enhetstyper

En av ReALMs viktigste styrker er skalerbarheten til nye enhetstyper. I motsetning til tidligere pipelined‑tilnærminger som MARRS, som var avhengige av manuelt definert type‑spesifikk logikk, kan ReALMs LLM‑baserte tilnærming enkelt generalisere til ukjente domener.

Forskerne demonstrerer denne fordelen ved å evaluere ReALM på en ukjent «alarm»-enhetstype. Imponerende nok matcher ReALM null‑shot‑ytelsen til GPT‑4 i nøyaktig å løse forespørsler som «Slå av den som minner meg om å hente didi» til den relevante alarm‑enheten. Dette viser modellens evne til å utnytte sine språkforståelses‑evner for å håndtere nye enhetstyper uten å kreve eksplisitt treningsdata.

Tabellen nedenfor viser ytelses‑sammenligningen mellom ReALM og GPT‑4 på det ukjente «alarm»-datasettet, og fremhever ReALMs sterke null‑shot‑generaliseringsevner:

Fremtidige muligheter og begrensninger

Selv om ReALM leverer betydelig fremgang i viktige aspekter som referanseresolusjon for samtale‑AI, bemerket forskerteamet noen begrensninger som er verdt å forstå.

En stor ulempe ved systemet er imidlertid at konvertering av en 2D‑skjerm‑layout til en 1D‑tekstrepresentasjon medfører tap av intrikate romlige detaljer. Teamet foreslo bruk av mer avanserte kodingsstrategier, som å fremstille skjerm‑komponentene i et rutenett‑lignende mønster, for å opprettholde mer nøyaktige relative posisjoner.

En annen potensiell forbedring for fremtiden er å styrke ReALMs evne til å håndtere mer intrikate og varierte referanser, inkludert de som inneholder tidsmessige eller hierarkiske assosiasjoner mellom enheter.

Til tross for disse begrensningene gjør ReALMs imponerende ytelse og skalerbare design det til et svært lovende grunnlag for videre forskning og utvikling innen samtale‑AI.

Avsluttende tanker

ReALMs evne til å bygge bro mellom tekstlig input og visuell kontekst vil bane vei for mer intuitive og kontekstbevisste brukergrensesnitt. LLM‑ingeniører og utviklere vil kunne lage AI‑systemer som virkelig forstår og svarer på brukernes intensjoner, selv når de håndterer komplekse elementer på skjermen.

Fra et rent teknisk ståsted er ReALMs modulære arkitektur og muligheter for behandling på enheten spesielt verdifulle, da de ikke bare adresserer bruker‑personvern og latens‑problemer, men også setter en presedens for mer skalerbare, effektive og integrerte AI‑systemer.

I lekfolksterminologi signaliserer ReALMs suksess i å håndtere komplekse brukstilfeller og evne til å generalisere til nye enhetstyper at vår forståelse av hva som er mulig med samtale‑AI har blitt fullstendig endret. Det kan akselerere den noe stillestående AI‑adopsjonsraten på tvers av bransjer fra kundeservice og netthandel til helsevesen og utdanning.

Klikk her for å lære alt om investering i kunstig intelligens.