Apple Mengklaim ReALM-nya Mengungguli GPT-4 dalam Kemampuan

Claude 3 Opus baru-baru ini menggulingkan GPT 4 sebagai LLM paling canggih. Sementara itu, peneliti di Apple (AAPL ) meluncurkan ReALM, tak lama setelah berita bahwa Gemini dari Google menggerakkan iPhone menjadi sorotan. Makalah penelitian, berjudul “ReALM: Reference Resolution As Language Modeling,” menyorotnya sebagai sistem AI mutakhir yang menjanjikan untuk mendefinisikan ulang cara asisten suara memahami dan menanggapi pertanyaan pengguna. 

Perbedaan antara ReALM dan sistem lain terletak pada penyatuan penyelesaian referensi secara mulus ke dalam kerangka pemahaman bahasa. Ini merupakan pendekatan inovatif mengingat desain saat ini dari sistem berbasis model bahasa besar, dan membantu meningkatkan pemahaman model terhadap konteks sekaligus menetapkan tolok ukur baru untuk interaksi antara AI dan antarmuka pengguna grafis. 

Berdasarkan hasil penelitian , ReALM diharapkan membantu insinyur LLM dan manajer produk alat AI mencapai interaksi pengguna yang lebih intuitif dan sadar konteks. ReALM juga memfasilitasi integrasi masukan teks dengan konteks visual, sehingga memperluas potensi peningkatan kemampuan asisten digital dalam banyak aplikasi.

Pendekatan Inovatif ReALM terhadap Resolusi Referensi NLP

Semua sistem NLP mengandalkan “resolusi referensi,” proses untuk mengidentifikasi dan menautkan referensi yang ambigu namun kontekstual seperti kata ganti atau deskripsi tidak langsung, misalnya “they” atau “that,” ke entitas yang tepat dalam percakapan atau konteks visual untuk menjaga interaksi pengguna yang koheren.

Sistem AI tradisional mengandalkan metode berbasis aturan atau heuristik untuk resolusi referensi, yang tidak menghasilkan hasil yang diinginkan ketika harus menangkap kompleksitas penuh bahasa alami. Akibatnya, konteks visual, seperti entitas di layar, sulit diintegrasikan ke dalam resolusi menggunakan metode tersebut. Asisten suara seperti Siri juga mengalami keterbatasan yang sama yang diatasi ReALM dengan memperlakukan masalah ini sebagai masalah pemodelan bahasa. 

ReALM memanfaatkan LLM untuk memahami dan menyelesaikan referensi ambigu dalam konteks percakapan yang lebih luas, bukan menggunakan aturan atau heuristik. Ketika konteks visual terlibat, ia membangun kembali layar perangkat menggunakan representasi tekstual dan merekam hubungan spasial antara komponen di layar. 

Dipimpin oleh Joel Ruben Antony Moniz, tim peneliti menyatakan:

“Sejauh pengetahuan kami, ini adalah karya pertama yang menggunakan Large Language Model yang bertujuan untuk mengkodekan konteks dari layar.”

Hasilnya? Asisten suara yang didukung ReALM dapat memahami kueri seperti “Tap the button on the top-right corner” dan “Open the second article in the list,” yang sulit dipahami oleh sistem AI standar.

Hal ini membuat metode resolusi referensi ReALM lebih efisien dan ideal untuk pemrosesan di perangkat karena dapat menyelesaikan referensi secara lokal di perangkat, tidak seperti sistem AI berbasis cloud yang memerlukan transmisi data terus-menerus. Ini menjadikannya lebih cocok untuk Siri karena privasi, latensi, dan fungsi offline yang lebih baik.

Klik di sini untuk daftar lima ekstensi ChatGPT terbaik.

Pengumpulan Dataset dan Evaluasi

Tim riset Apple mengkurasi dataset beragam yang mencakup data percakapan, tampilan layar, dan sintetis untuk menilai secara menyeluruh kemampuan ReALM dalam menavigasi kompleksitas interaksi pengguna dunia nyata dibandingkan alternatifnya. Untuk itu, tim mengkurasi dataset beragam yang mencakup data percakapan, tampilan layar, dan sintetis. 

Data percakapan dihasilkan dengan menampilkan gambar berisi daftar sintetis kepada pekerja lepas dan meminta mereka mengirimkan kueri jelas yang terkait dengan elemen spesifik dalam daftar tersebut. Dataset tampilan layar menjalani proses anotasi dua fase yang memastikan model dapat menangani kompleksitas halaman web dunia nyata. Proses ini meliputi klasifikasi objek yang terlihat, pembuatan kueri, dan penetapan hubungan antara kueri dan entitas yang dirujuk.

Hasil Kinerja yang Mengagumkan

Hasil evaluasi menunjukkan kinerja luar biasa ReALM di semua dataset. Dibandingkan dengan MARRS, sistem resolusi referensi terdepan sebelumnya, ReALM mencapai peningkatan akurasi yang signifikan. Secara khusus, bahkan model ReALM terkecil memperoleh peningkatan absolut lebih dari 5% pada dataset tampilan layar yang menantang, menunjukkan kemampuannya memahami dan menyelesaikan referensi dalam konteks visual yang kompleks.

Untuk menilai lebih lanjut kemampuan ReALM, peneliti membandingkannya dengan model GPT-3.5 dan GPT-4 milik OpenAI. Secara mengesankan, model ReALM terkecil tampil setara dengan GPT-4 meskipun memiliki parameter jauh lebih sedikit. Seiring ukuran model meningkat, kinerja ReALM terus membaik, dengan model yang lebih besar secara signifikan melampaui GPT-4 pada dataset yang dievaluasi.

Tabel di bawah ini merupakan ringkasan hasil kinerja, menyoroti keunggulan ReALM atas pendekatan yang ada dan kompetitifnya dengan model bahasa terdepan.

Kunci Keberhasilan: Pengkodean Layar Optimal

Seperti yang terlihat, pendekatan pengkodean layar yang dioptimalkan oleh ReALM merupakan faktor kritis yang berkontribusi pada kinerja impresifnya. Hal ini juga menambah fakta bahwa peneliti mengeksplorasi beberapa strategi sebelum mencapai algoritma akhir, yang terbukti paling efektif.

Salah satu upaya awal melibatkan pengelompokan elemen layar dan menyertakan semua elemen lain dalam konteks setiap entitas. Namun, hal ini menyebabkan panjang prompt berkembang cepat seiring bertambahnya jumlah entitas di layar, membuatnya tidak praktis untuk aplikasi dunia nyata.

Pendekatan lain melibatkan penandaan entitas dalam parsing layar tekstual namun menyediakannya terpisah dari konteks utama. Meskipun metode ini tampak menjanjikan, peneliti menemukan bahwa menyuntikkan tag secara langsung ke dalam parsing menghasilkan hasil terbaik.

Pendekatan akhir “injected on-screen encoding”, sebagaimana dijelaskan dalam makalah, bekerja dengan menyortir pusat elemen layar dari atas ke bawah lalu dari kiri ke kanan. Elemen dalam margin vertikal tertentu dikelompokkan ke dalam “garis” yang sama dalam representasi tekstual, dan elemen pada garis yang sama dipisahkan oleh tab. Skema pengkodean cerdas ini memungkinkan ReALM memperkirakan tata letak layar 2D dalam format tekstual 1D, sehingga model dapat secara efektif memahami hubungan spasial antar entitas.

Eksperimen ablasi yang dilakukan peneliti mengkonfirmasi keunggulan pendekatan pengkodean yang dioptimalkan ini, seperti ditunjukkan pada gambar di bawah ini:

Menangani Kasus Penggunaan Kompleks

Makalah ini menyajikan beberapa contoh kualitatif yang menunjukkan kemampuan ReALM dalam menangani kasus penggunaan kompleks yang memerlukan berbagai bentuk penalaran, termasuk pemahaman semantik, rangkuman, pengetahuan dunia, dan penalaran akal sehat.

Dalam contoh menarik yang dibagikan tim, ReALM secara tepat menyelesaikan kueri “Call the evening number” menjadi nomor telepon yang terdaftar di bawah “5 PM – 9 PM” ketika diberikan layar yang menampilkan informasi kontak pagi dan malam. Meskipun terdengar logis, ini merupakan tampilan kemampuan yang mengesankan karena ReALM berhasil memahami arti “evening” dan memetakannya ke rentang waktu yang sesuai, yang belum terwujud pada sistem AI lain.

Contoh masukan lain menampilkan layar dengan tenggat pajak, dan model berhasil mengidentifikasi tanggal pengajuan April sebagai tenggat yang relevan ketika diminta mengatur pengingat untuk mencetak dokumen sebelum tanggal jatuh tempo pajak.

Contoh kualitatif ini memperkuat pengamatan tentang keberagaman ReALM dan potensinya untuk menangani berbagai skenario dunia nyata yang memerlukan pemahaman bahasa mendalam serta kemampuan penalaran.

Keunggulan Dibanding Pendekatan End-to-End

Meskipun pendekatan end-to-end yang mengandalkan LLM besar saja telah menunjukkan hasil menjanjikan dalam berbagai tugas pemahaman bahasa, peneliti menyoroti beberapa keunggulan arsitektur ReALM:

Menjalankan model end-to-end penuh di perangkat untuk alasan latensi dan privasi tidak memungkinkan dengan model saat ini karena keterbatasan komputasi dan memori. Dengan menggunakan model yang lebih kecil dan disesuaikan khusus untuk resolusi referensi, ReALM menghindari masalah ini dan memungkinkan pemrosesan efisien di perangkat.

Selain itu, arsitektur modular ReALM memungkinkan integrasi mulus dengan komponen deteksi entitas dan penyelesaian tugas yang ada dalam pipeline AI percakapan. Sebaliknya, model end-to-end memerlukan perubahan signifikan pada seluruh pipeline, menjadikannya lebih sulit diadopsi dalam sistem dunia nyata.

Skalabilitas ke Tipe Entitas Baru

Salah satu kekuatan utama ReALM adalah skalabilitasnya ke tipe entitas baru. Tidak seperti pendekatan berurutan sebelumnya seperti MARRS, yang mengandalkan logika spesifik tipe yang didefinisikan secara manual, pendekatan berbasis LLM ReALM dapat dengan mudah menggeneralisasi ke domain yang belum terlihat.

Peneliti menunjukkan keunggulan ini dengan mengevaluasi ReALM pada tipe entitas “alarm” yang belum terlihat. Secara mengesankan, ReALM menyamai kinerja zero-shot GPT-4 dalam menyelesaikan kueri seperti “Switch off the one reminding me to pick up didi” ke entitas alarm yang relevan. Ini memperlihatkan kemampuan model memanfaatkan pemahaman bahasa untuk menangani tipe entitas baru tanpa memerlukan data pelatihan eksplisit.

Tabel di bawah ini menyajikan perbandingan kinerja antara ReALM dan GPT-4 pada dataset “alarm” yang belum terlihat, menyoroti kemampuan generalisasi zero-shot kuat ReALM:

Kemungkinan Masa Depan dan Keterbatasan

Meskipun ReALM memberikan kemajuan signifikan dalam aspek penting seperti resolusi referensi untuk AI percakapan, tim riset mencatat beberapa keterbatasan yang penting untuk dipahami.

Salah satu kelemahan utama sistem ini, bagaimanapun, adalah bahwa mengubah tata letak layar 2D menjadi representasi tekstual 1D mengakibatkan hilangnya detail spasial yang rumit. Tim mengusulkan penggunaan strategi pengkodean yang lebih maju, seperti menggambarkan komponen layar dalam pola kisi, untuk mempertahankan lokasi relatif yang lebih akurat.

Peningkatan potensial lain untuk masa depan adalah meningkatkan kemampuan ReALM menangani referensi yang lebih rumit dan beragam, termasuk yang melibatkan asosiasi temporal atau hierarkis antar entitas.

Terlepas dari keterbatasan ini, kinerja mengesankan dan desain skalabel ReALM menjadikannya fondasi yang sangat menjanjikan untuk studi dan pengembangan lebih lanjut dalam domain AI percakapan.

Pemikiran Penutup

Kemampuan ReALM untuk menjembatani kesenjangan antara masukan teks dan konteks visual akan membuka jalan bagi antarmuka pengguna yang lebih intuitif dan sadar konteks. Insinyur dan pengembang LLM akan dapat menciptakan sistem AI yang benar‑benar memahami dan menanggapi niat pengguna, bahkan ketika berhadapan dengan elemen layar yang kompleks.

Dari sudut pandang teknis murni, arsitektur modular dan kemampuan pemrosesan di perangkat ReALM sangat berharga karena tidak hanya mengatasi masalah privasi dan latensi pengguna, tetapi juga menetapkan preseden bagi sistem AI yang lebih skalabel, efisien, dan terintegrasi.

Dengan istilah sederhana, keberhasilan ReALM dalam menangani kasus penggunaan kompleks dan kemampuannya menggeneralisasi ke tipe entitas baru menandakan bahwa pemahaman kita tentang apa yang saat ini mungkin dengan AI percakapan telah berubah total. Hal ini dapat mempercepat laju adopsi AI yang agak stagnan di berbagai industri mulai dari layanan pelanggan dan e‑commerce hingga perawatan kesehatan dan pendidikan.

Klik di sini untuk mempelajari semua tentang berinvestasi dalam kecerdasan buatan.