Apple påstår att ReALM överträffar GPT-4 i kapacitet

Claude 3 Opus nyligen avsatt GPT 4 som den mest avancerade LLM:n. Under tiden presenterade forskare på Apple (AAPL ) ReALM, kort efter nyheterna om att Googles Gemini driver iPhone, vilket fick stor uppmärksamhet. Forskningspapperet, med titeln “ReALM: Reference Resolution As Language Modeling,” framhäver det som ett banbrytande AI‑system som lovar att omdefiniera hur röstassistenter förstår och svarar på användarfrågor. 

Skillnaden mellan ReALM och andra system ligger i dess sömlösa integrering av referensupplösning i språkförståelsens väv. Detta är ett innovativt tillvägagångssätt med tanke på den nuvarande designen av stora språkmodellbaserade system, och det hjälper till att förbättra modellens kontextförståelse samtidigt som det etablerar en ny standard för interaktion mellan AI och grafiska användargränssnitt. 

Baserat på forskning resultaten är det avsett att hjälpa LLM‑ingenjörer och AI‑verktygsproduktionschefer att uppnå mer intuitiva och kontextmedvetna användarinteraktioner. ReALM underlättar också integrationen av textinmatning med visuell kontext, vilket utökar potentialen för att förbättra digitala assistenters färdigheter i många applikationer.

ReALMs innovativa tillvägagångssätt för NLP‑referensupplösning

Alla NLP‑system förlitar sig på “reference resolution”, en process för att identifiera och länka tvetydiga men kontextuella referenser såsom pronomen eller indirekta beskrivningar, t.ex. “they” eller “that”, till de korrekta entiteterna inom en konversation eller visuell kontext för att upprätthålla sammanhängande användarinteraktioner.

Traditionella AI‑system förlitar sig på regelbaserade metoder eller heuristiker för referensupplösning, vilket inte ger önskade resultat när det gäller att fånga den fulla komplexiteten i naturligt språk. Som ett resultat har visuell kontext, såsom på‑skärm‑entiteter, varit svår att integrera i upplösning med dessa metoder. Röstassistenter som Siri drabbas också av samma begränsningar som ReALM adresserar genom att behandla det som ett språkmodellproblem. 

ReALM utnyttjar LLM‑er för att förstå och lösa tvetydiga referenser inom den bredare kontexten av konversationen, i motsats till att använda regler eller heuristiker. När visuell kontext är involverad återuppbygger den enhetens skärm med hjälp av textuella representationer och registrerar rumsliga kopplingar mellan komponenter på skärmen. 

Ledd av Joel Ruben Antony Moniz, forskarteamet säger:

“Så vitt vi vet är detta det första arbetet som använder en Large Language Model som syftar till att koda kontext från en skärm.”

Resultat? ReALM‑drivna röstassistenter kan förstå frågor som “Tryck på knappen i det övre högra hörnet” och “Öppna den andra artikeln i listan”, som standard‑AI‑system har svårt för.

Detta gör ReALMs referensupplösningsmetod mer effektiv och idealisk för bearbetning på enheten eftersom den kan lösa referenser lokalt på enheten, till skillnad från molnbaserade AI‑system som kräver kontinuerlig datatransmission. Detta gör den bättre lämpad för Siri på grund av förbättrad integritet, lägre latens och offline‑funktion.

Klicka här för en lista över de fem bästa ChatGPT‑tilläggen.

Datainsamling och utvärdering

Apple‑forskarteamet skapade ett mångsidigt dataset som omfattar konversationell, på‑skärm‑ och syntetisk data för att grundligt bedöma ReALMs förmåga att navigera komplexiteten i verkliga användarinteraktioner jämfört med sina alternativ. För att göra detta kuraterade teamet ett mångsidigt dataset som omfattar konversationell, på‑skärm‑ och syntetisk data.
Den konversationella datan genererades genom att visa crowd‑workers bilder med syntetiska listor och be dem skicka tydliga frågor som relaterar till specifika element i listorna. Det på‑skärm‑datasetet genomgick en tvåstegs‑annoteringsprocess som säkerställde att modellen kunde hantera komplexiteten i verkliga webbsidor. Processen inkluderade klassificering av synliga objekt, generering av frågor och etablering av kopplingar mellan frågorna och de entiteter de refererar till.

Imponerande resultat

Utvärderingsresultaten visar den anmärkningsvärda prestandan hos ReALM över alla dataset. Jämfört med MARRS, ett tidigare state‑of‑the‑art referensupplösningssystem, uppnår ReALM betydande förbättringar i noggrannhet. Noterbart är att även den minsta ReALM‑modellen får absoluta förbättringar på över 5 % på det utmanande på‑skärm‑datasetet, vilket demonstrerar dess förmåga att effektivt förstå och lösa referenser i komplexa visuella kontexter.
För att ytterligare bedöma ReALMs kapacitet jämförde forskarna den med OpenAIs GPT‑3.5‑ och GPT‑4‑modeller. Imponerande nog presterar ReALMs minsta modell på samma nivå som GPT‑4 trots att den har flera storleksordningar färre parametrar. När modellstorleken ökar fortsätter ReALMs prestanda att förbättras, och de större modellerna överträffar GPT‑4 avsevärt på de utvärderade datasetten.
Tabellen nedan visar en sammanfattning av prestandaresultaten, som framhäver ReALMs överlägsenhet över befintliga metoder och dess konkurrenskraft med state‑of‑the‑art språkmodeller.

Nyckeln till framgång: optimal skärm‑kodning

Som tydligt framgår är ReALMs optimerade skärm‑kodningsmetod en kritisk faktor som bidrar till dess imponerande prestanda. Detta förstärks av att forskarna utforskade flera strategier innan de nådde den slutgiltiga algoritmen, som visade sig vara den mest effektiva.
Ett av de första försöken involverade att klustra skärmelement och inkludera alla andra element i varje entitets kontext. Detta ledde dock till att promptlängderna snabbt ökade i takt med att antalet på‑skärm‑entiteter ökade, vilket gjorde det ganska opraktiskt för verkliga tillämpningar.
Ett annat tillvägagångssätt involverade att tagga entiteter i den textuella skärm‑parsen men leverera dem separat från huvudkontexten. Även om metoden verkade lovande fann forskarna att direkt injicering av taggarna i själva parsen gav de bästa resultaten.
Det slutgiltiga ”injected on-screen encoding”-tillvägagångssättet, som beskrivs i papperet, fungerar genom att sortera centren av skärmelement från topp till botten och sedan från vänster till höger. Element inom ett specificerat vertikalt marginalgräns grupperas på samma ”rad” i den textuella representationen, och element på samma rad separeras med tabbar. Detta smarta kodningsschema gör det möjligt för ReALM att approximera den två‑dimensionella skärmlayouten i ett endimensionellt textformat, vilket möjliggör att modellen effektivt förstår de rumsliga relationerna mellan entiteter.
Ablations‑experiment utförda av forskarna bekräftade överlägsenheten hos detta optimerade kodningssätt, vilket visas i figuren nedan:

Hantera komplexa användningsfall

Papperet ger flera kvalitativa exempel som visar ReALMs förmåga att hantera komplexa användningsfall som kräver olika former av resonemang, inklusive semantisk förståelse, sammanfattning, världskunskap och sunt förnuft.
I ett intressant exempel som teamet delade löser ReALM korrekt frågan “Ring kvällsnumret” till telefonnumret som listas under “17.00 – 21.00” när skärmen visar både morgon‑ och kvällskontaktinformation. Trots att det låter som ett logiskt resultat är detta en imponerande demonstration av kapacitet, eftersom ReALM framgångsrikt förstod betydelsen av “kväll” och kopplade den till rätt tidsintervall, något som ännu inte har uppnåtts av andra AI‑system.
Ett annat inmatningsprov inkluderade en skärm som visade skattedatum, och modellen identifierade framgångsrikt april‑inlämningsdatumet som den relevanta deadlinen när den ombads sätta en påminnelse för att skriva ut dokument innan skattedatumet.
Dessa kvalitativa exempel förstärker observationerna om ReALMs mångsidighet och potential att hantera ett brett spektrum av verkliga scenarier som kräver djup språkförståelse och resonemangsförmåga.

Fördelar jämfört med end‑to‑end‑metoder

Medan end‑to‑end‑metoder som enbart förlitar sig på massiva LLM‑er har visat lovande resultat i olika språkförståelseuppgifter, framhäver forskarna flera fördelar med ReALMs arkitektur:
Att köra en fullständig end‑to‑end‑modell på enheten för att minska latens och förbättra integritet skulle vara ogenomförbart med nuvarande modeller på grund av beräknings‑ och minnesbegränsningar. Genom att använda en mindre, finjusterad modell specifikt designad för referensupplösning undviker ReALM dessa problem och möjliggör effektiv bearbetning på enheten.
Dessutom möjliggör ReALMs modulära arkitektur sömlös integration med befintliga komponenter för entitetsdetektion och uppgiftsutförande i konversations‑AI‑pipelines. I kontrast skulle en end‑to‑end‑modell kräva omfattande förändringar av hela pipeline, vilket gör det svårare att implementera i verkliga system.

Skalbarhet till nya entitetstyper

En av ReALMs nyckelstyrkor är dess skalbarhet till nya entitetstyper. Till skillnad från tidigare pipeline‑metoder som MARRS, som förlitade sig på manuellt definierad typ‑specifik logik, kan ReALMs LLM‑baserade metod enkelt generalisera till osedda domäner.
Forskarnas demonstrerar denna fördel genom att utvärdera ReALM på en osedd ”alarm”-entitetstyp. Imponerande nog matchar ReALM GPT‑4:s zero‑shot‑prestanda när den exakt löser frågor som “Stäng av den som påminner mig om att hämta didi” till den relevanta alarm‑entiteten. Detta visar modellens förmåga att utnyttja sin språkförståelse för att hantera nya entitetstyper utan att kräva explicit träningsdata.
Tabellen nedan visar prestandajämförelsen mellan ReALM och GPT‑4 på det osedda ”alarm”-datasetet, vilket framhäver ReALMs starka zero‑shot‑generaliseringsegenskaper:

Framtida möjligheter och begränsningar

Även om ReALM levererar betydande framsteg i viktiga aspekter som referensupplösning för konversations‑AI, noterade forskarteamet några begränsningar som är värda att förstå.
En stor nackdel med systemet är dock att konverteringen av en två‑dimensionell skärmlayout till en endimensionell textuell representation leder till förlust av detaljerade rumsliga detaljer. Teamet föreslog användning av mer avancerade kodningsstrategier, såsom att återge skärmkomponenterna i ett rutnätsliknande format, för att bevara mer exakta relativa positioner.
En annan potentiell förbättring för framtiden är att stärka ReALMs förmåga att hantera mer invecklade och varierade referenser, inklusive sådana som innefattar temporära eller hierarkiska samband mellan entiteter.
Trots dessa begränsningar gör ReALMs imponerande prestanda och skalbara design det till en mycket lovande grund för vidare studier och utveckling inom konversations‑AI.

Avslutande tankar

ReALMs förmåga att överbrygga klyftan mellan textuell inmatning och visuell kontext kommer att bana väg för mer intuitiva och kontextmedvetna användargränssnitt. LLM‑ingenjörer och utvecklare kommer att kunna skapa AI‑system som verkligen förstår och svarar på användarnas intentioner, även när de hanterar komplexa element på skärmen.
Ur ett rent tekniskt perspektiv är ReALMs modulära arkitektur och möjligheter till bearbetning på enheten särskilt värdefulla eftersom de inte bara adresserar användarens integritet och latensproblem utan också sätter en förebild för mer skalbara, effektiva och integrerade AI‑system.
På ett enkelt språk betyder ReALMs framgång i att hantera komplexa användningsfall och dess förmåga att generalisera till nya entitetstyper att vår förståelse av vad som för närvarande är möjligt med konversations‑AI har förändrats helt. Det kan påskynda den något tröga AI‑adoptionsgraden över industrier från kundservice och e‑handel till sjukvård och utbildning.

Klicka här för att lära dig allt om att investera i artificiell intelligens.