Berinvestasi dalam Perangkat Keras AI: Dari CPU hingga XPU

Berinvestasi dalam Perangkat Keras AI: Pendekatan Pick dan Sekop

AI menjanjikan menjadi perubahan paling penting dalam ekonomi, sistem produktivitas, dan masyarakat kita dalam beberapa dekade terakhir, bahkan mungkin membuat perubahan radikal yang dibawa oleh Internet terasa sepele dibandingkan.

AI berpotensi membuat seluruh kategori pekerjaan menghilang, termasuk sopir, penerjemah, dukungan pelanggan, perancang web, dll. Pekerjaan lain mungkin mengalami penurunan permintaan yang drastis, seperti programmer, pengacara tingkat pemula, diagnostik, dll.

AI juga akan menciptakan banyak nilai tambahan dan produktivitas untuk banyak tugas lainnya, dengan perusahaan perangkat lunak AI terkemuka kemungkinan menjadi yang pertama mencapai kapitalisasi pasar yang sebelumnya tak terbayangkan.

Karena semua alasan ini, pasar modal dan investor terpesona oleh AI dan memberikan banyak perhatian pada kemajuan banyak raksasa teknologi dalam AI, serta persaingan kuat yang muncul dari raksasa teknologi Tiongkok seperti Alibaba dan startup seperti DeepSeek.

Cara lain untuk memanfaatkan ledakan AI adalah mengikuti strategi yang terbukti berhasil pada setiap demam emas: jangan mencari emas, melainkan jual pick dan sekop. Ini memang berhasil bagi perusahaan yang berada di posisi terbaik untuk menjual perangkat keras yang dioptimalkan untuk AI, dengan Nvidia (NVDA ) yang mengubah kartu grafis gamingnya menjadi chip pelatihan AI, menjadikannya perusahaan paling berharga di dunia, melampaui kapitalisasi pasar menakjubkan $4T (ikuti tautan untuk laporan lengkap tentang Nvidia).

Karena AI memerlukan perangkat keras yang sangat khusus, yang sebagian besar berbeda dari bentuk komputasi sebelumnya, dan merupakan peluang bisnis yang sangat besar, industri semikonduktor kini berada dalam perlombaan mengembangkan bentuk perangkat keras baru yang dirancang khusus untuk melatih dan menjalankan program AI.

Sementara Nvidia kemungkinan tetap menjadi salah satu perusahaan teratas di sektor ini, alternatif kini muncul dan dapat memberikan peluang menarik bagi investor yang memperhatikan sejak dini.

Mengapa AI Membutuhkan Perangkat Keras Khusus

Banyak Perhitungan Kecil

Upaya awal dalam AI menggunakan kapasitas komputasi yang sama dengan program lain, terutama berfokus pada prosesor (Central Processing Unit – CPU). CPU masih penting, tetapi dengan cepat terlihat bahwa mereka tidak optimal untuk sebagian besar metode yang saat ini digunakan untuk mengembangkan AI.

Jaringan saraf dan metode serupa memerlukan banyak perhitungan sederhana, bukan satu perhitungan yang sangat kompleks. Jadi banyak chip kecil yang bekerja paralel umumnya lebih baik daripada CPU yang besar dan kuat.

Inilah sebagian besar alasan mengapa GPU dengan cepat menjadi lebih populer, karena kartu grafis memang dirancang untuk melakukan ribuan perhitungan kecil secara paralel.

Pelatihan AI saat ini sebagian besar berbasis pada jaringan saraf, sebuah konsep yang memenangkan Hadiah Nobel Fisika pada 2024, penghargaan yang kami bahas secara mendetail dalam artikel khusus saat itu.

Sumber: Nobel Prize

Revolusi kedua dalam teknologi AI datang dengan “transformer”. Mereka menyelesaikan ketidakmampuan jaringan saraf tradisional untuk memproses urutan data panjang secara efisien, sebuah karakteristik umum bahasa alami.

Diperkenalkan pertama kali pada 2017 oleh peneliti Google, transformer menjadi penyebab utama ledakan kapasitas AI saat ini. Transformer berada di inti produk AI seperti LLM (Large Language Models), termasuk ChatGPT.

Persyaratan Berbeda

Salah satu perbedaan penting dalam alur kerja AI adalah perbedaan antara fine-tuning dan inference, keduanya memiliki kebutuhan perangkat keras yang berbeda.

• Fine-tuning melibatkan pelatihan model pada data spesifik domain, membutuhkan daya komputasi dan memori yang signifikan. Ini adalah tugas yang sangat teknis, sering berada di ujung paling depan ilmu AI.
• Inference berfokus pada penggunaan model yang sudah dilatih untuk menghasilkan output, membutuhkan daya komputasi yang lebih sedikit tetapi menekankan latensi rendah dan efisiensi biaya.
  • Ini lebih sering dilakukan oleh pakar AI yang menerapkan model yang ada untuk memecahkan masalah dunia nyata.

Jadi, meskipun biaya jelas menjadi pertimbangan bagi fine-tuning/pelatihan maupun inference/penggunaan AI, pelatihan biasanya memerlukan perangkat keras terbaik, sementara tugas penggunaan lebih menekankan pada biaya perangkat keras dan konsumsi energi saat memilih opsi terbaik.

CPU vs GPU

Central Processing Units (CPU):

CPU bersifat umum dan bukan perangkat keras khusus AI. Namun, mereka tetap penting untuk mengeksekusi instruksi dan melakukan perhitungan dasar dalam sistem AI.

Sebagian besar perangkat lunak yang menangani antarmuka dengan pengguna akhir sistem AI juga berpusat pada CPU, baik pada komputer pribadi maupun perangkat lunak berbasis cloud.

Sumber: AnandTech

CPU juga dapat digunakan untuk AI yang sangat sederhana, di mana perangkat keras khusus tidak benar‑benar diperlukan. Ini terutama berlaku ketika output tidak terlalu mendesak, dan kecepatan pemrosesan AI yang relatif lebih lambat pada CPU tidak menjadi masalah.

Jadi model kecil dengan batch data dan perhitungan kecil dapat berfungsi baik pada CPU. Keberadaan CPU yang meluas di komputer biasa juga menjadikannya pilihan yang baik bagi pengguna rata‑rata yang tidak ingin berinvestasi pada perangkat keras khusus AI.

CPU juga sangat andal dan stabil, menjadikannya pilihan yang baik untuk tugas kritis di mana tidak ada kesalahan yang dapat diterima.

Terakhir, CPU berguna untuk beberapa tugas dalam pelatihan AI, biasanya bekerja sama dengan jenis perangkat keras lain, seperti pemuatan data, pemformatan, penyaringan, dan visualisasi.

Graphics Processing Units (GPU):

Awalnya dirancang untuk rendering grafis, GPU dirancang untuk pemrosesan paralel, menjadikannya ideal untuk melatih model AI yang memerlukan penanganan dataset besar. Beralih dari CPU ke GPU telah mengurangi waktu pelatihan dari minggu menjadi jam.

Karena ketersediaannya yang luas dan pengalaman para ahli TI dalam menggunakannya, GPU menjadi jenis perangkat keras komputasi pertama yang dipasang secara massal untuk mempercepat riset AI.

Sumber: Aorus

Keberhasilan GPU juga didorong oleh pengembangan CUDA oleh Nvidia, sebuah antarmuka pemrograman umum untuk GPU Nvidia, membuka pintu bagi penggunaan selain gaming. Hal ini dilakukan karena beberapa peneliti sudah menggunakan GPU untuk melakukan perhitungan alih‑alih superkomputer tradisional.

“Para peneliti menyadari bahwa dengan membeli kartu gaming yang disebut GeForce, Anda menambahkannya ke komputer, pada dasarnya Anda memiliki superkomputer pribadi.

Dinamik molekuler, pemrosesan seismik, rekonstruksi CT, pemrosesan gambar—banyak hal berbeda.”

Jensen Huang, dalam wawancara dengan Sequoia

Saat ini, GPU masih menjadi jenis perangkat keras AI yang paling diminati, dengan Nvidia hampir kesulitan memproduksi cukup unit untuk memenuhi permintaan raksasa teknologi yang membangun pusat data AI berskala gigawatt.

Ini juga menandai awal “era super GPU”, dengan rilis terbaru Nvidia GB200 NVL72.

Perangkat keras ini dirancang untuk berfungsi sebagai satu GPU raksasa langsung dari pabrik, alih‑alih harus menghubungkan banyak GPU kecil. Ini membuatnya jauh lebih kuat bahkan dibandingkan model H100 yang sebelumnya memecahkan rekor.

Sumber: Nvidia

Perangkat ini juga diharapkan jauh lebih efisien energi, sebuah poin krusial karena industri AI mungkin kehabisan energi sebelum kehabisan chip mengingat kecepatan pembangunan pusat data AI. Efisiensi komputasi & energi yang lebih tinggi berarti lebih sedikit panas buangan, yang sementara mengatasi masalah overheating.

Kebangkitan ASIC dan Perangkat Keras AI

Application-Specific Integrated Circuits (ASIC) adalah perangkat keras komputasi yang dirancang khusus untuk tugas komputasi tertentu, menjadikannya lebih khusus daripada GPU yang masih relatif umum.

Jadi mereka kurang fleksibel dan dapat diprogram dibandingkan perangkat keras serbaguna.

Secara umum, mereka cenderung lebih kompleks. Mereka juga biasanya lebih mahal, baik karena kurangnya ekonomi skala dalam produksi maupun biaya desain khusus.

Namun, mereka jauh lebih efisien pada tugas yang ditentukan, biasanya menghasilkan output lebih cepat dengan jauh lebih sedikit daya komputasi dan energi yang terbuang.

ASIC dan perangkat keras AI khusus lainnya semakin banyak digunakan, karena bidang ini semakin menyadari bahwa beberapa perhitungan tidak ideal dilakukan pada GPU melainkan memerlukan peralatan yang lebih khusus.

Tensor Processing Units (TPU)

TPU dikembangkan oleh Google (GOOGL ) khusus untuk melakukan perhitungan tensor (terkait kalkulus berbasis transformer). Mereka dioptimalkan untuk throughput tinggi dengan aritmetika presisi rendah.

Sumber: C#Corner

Hal ini memberi TPU kinerja tinggi, efisiensi, dan skalabilitas untuk pelatihan jaringan saraf besar.

TPU memiliki fitur khusus, seperti unit perkalian matriks (MXU) dan topologi interkoneksi proprietari, yang menjadikannya ideal untuk mempercepat pelatihan dan inference AI.

TPU mendukung Gemini, serta semua aplikasi AI Google seperti Search, Photos, dan Maps, melayani lebih dari 1 miliar pengguna.

Tipe perangkat keras ini dapat secara signifikan mempercepat pengembangan dan operasi jaringan saraf, di mana kesalahan sesekali kurang signifikan karena model ini sangat bergantung pada statistik dan sejumlah besar perhitungan.

Di antara tugas pengguna akhir, yang paling cocok untuk TPU adalah pembelajaran mendalam, pengenalan suara, dan klasifikasi gambar.

Neural Network Processors (NNP):

Juga terkait dengan Neural Processing Units (NPU) dan disebut chip neuromorfik, NPP khusus dalam komputasi jaringan saraf, dirancang meniru koneksi saraf di otak manusia. Mereka kadang disebut akselerator AI, meskipun istilah ini kurang terdefinisi dengan jelas.

NPU juga mengintegrasikan penyimpanan dan komputasi melalui bobot sinaptik. Jadi ia dapat menyesuaikan atau “belajar” seiring waktu, menghasilkan efisiensi operasional yang lebih baik.

NPU mencakup modul khusus untuk perkalian dan penjumlahan, fungsi aktivasi, operasi data 2D, dan dekompresi.

Modul perkalian dan penjumlahan khusus ini digunakan untuk melakukan operasi yang relevan dengan aplikasi jaringan saraf, seperti menghitung perkalian matriks dan penjumlahan, konvolusi, produk titik, dan fungsi lainnya.

Spesialisasi ini dapat membantu NPU menyelesaikan operasi dengan satu perhitungan saja alih‑alih ribuan pada perangkat keras umum. Misalnya, IBM mengklaim bahwa NPU dapat meningkatkan efisiensi perhitungan AI secara radikal dibandingkan GPU.

“Pengujian menunjukkan beberapa performa NPU lebih dari 100 kali lebih baik daripada GPU sebanding, dengan konsumsi daya yang sama.”

Karena efisiensi energi ini, NPU populer di antara produsen untuk dipasang pada perangkat pengguna, di mana mereka dapat membantu menjalankan tugas secara lokal untuk aplikasi AI generatif, contoh “edge computing”. (lihat bagian berikutnya untuk detail lebih lanjut).

Berbagai metode kini dieksplorasi untuk menciptakan chip neuromorfik:

• Memanfaatkan ferroelectricity yang masih muncul, fenomena yang masih kurang dipahami.
• Substrat aktif menggunakan vanadium atau titanium.
• Menggunakan memristor, jenis komponen elektronik baru, yang dapat melakukan tugas AI dengan 1/800^thdari konsumsi daya normal.

Auxiliary Processing Unit (XPUs)

XPU menggabungkan CPU (prosessor), GPU (kartu grafis / prosesor paralel), dan memori ke dalam satu perangkat elektronik.

Sumber: Broadcom

XPUs adalah istilah luas, mencakup banyak variasi konsep menggabungkan semua perangkat keras ke dalam unit mandiri, termasuk Data Processing Units (DPUs), Infrastructure Processing Units (IPUs), dan Function Accelerator Cards (FACs).

XPUs dianggap dapat menyelesaikan masalah yang semakin meningkat pada pusat data AI, yaitu kebutuhan konektivitas antar‑sub‑unit, hingga data lag menjadi faktor penting yang memperlambat komputasi, lebih dari daya komputasi yang tersedia.

Intinya, chip (GPU, TPU, NPP, dll.) menunggu data sebanyak mereka sebenarnya bekerja.

Pemimpin teknologi ini adalah Broadcom (AVGO ), yang kami bahas secara mendetail dalam laporan investasi khusus.

Field-Programmable Gate Arrays (FPGA):

FPGA adalah prosesor yang dapat diprogram, menjadikannya jauh lebih fleksibel dan dapat dikonfigurasi ulang dibandingkan ASIC yang lebih kaku. FPGA dapat disesuaikan untuk algoritma AI tertentu, berpotensi menawarkan kinerja lebih tinggi dan efisiensi energi.

Sumber: Microcontrollers Labs

Fleksibilitas ini datang dengan biaya, karena FPGA umumnya lebih kompleks, mahal, dan mengonsumsi lebih banyak listrik. Namun mereka masih dapat lebih efisien dibandingkan perangkat keras umum.

Hal ini menjadikan FPGA produk niche, di mana fleksibilitasnya menutupi kekurangan. Misalnya, pembelajaran mesin, visi komputer, dan pemrosesan bahasa alami dapat memperoleh manfaat dari kemampuan serbaguna FPGA.

High Bandwidth Memory (HBM):

Perkembangan paling penting dalam perangkat keras AI khusus telah berada di bidang daya komputasi, yang selama ini menjadi titik bottleneck dalam membangun kapasitas komputasi lebih besar untuk melatih AI baru.

Namun, sistem ini juga memerlukan dukungan yang sangat efisien, di mana memori menjadi salah satu yang penting. HBM menyediakan, seperti namanya, bandwidth yang lebih tinggi dibandingkan DRAM tradisional.

Hal ini dicapai dengan menumpuk beberapa die DRAM secara vertikal dan menghubungkannya dengan through-silicon vias (TSV). Generasi pertama HBM dikembangkan pada 2013.

Penyusunan vertikal menghemat ruang dan mengurangi jarak fisik yang harus ditempuh data, mempercepat transfer data, hal yang mutlak dalam komputasi AI.

HBM lebih kompleks untuk diproduksi dan lebih mahal daripada DRAM, tetapi manfaat kinerja dan efisiensi daya sering kali membenarkan biaya lebih tinggi untuk aplikasi AI.

Infrastruktur Pusat Data AI: Daya, Pendinginan & Konektivitas

Selain memori dan daya komputasi, sistem pendukung tambahan pada pusat data AI juga penting. Tanpa mereka, data tidak dapat mengalir cukup cepat, chip akan terlalu panas, atau daya yang tersedia tidak mencukupi.

Ini berarti, misalnya, perangkat keras konektivitas Broadcom juga sangat diuntungkan oleh pembangunan pusat data AI, begitu pula solusi khusus seperti pemasok peralatan pendingin, misalnya Vertiv (VRT ) atau Schneider Electric (SU.PA).

Pasokan daya juga dapat menjadi masalah, dan beberapa raksasa teknologi berusaha mengatasinya dengan berinvestasi pada energi nuklir, dengan langkah pertama oleh Microsoft pada 2024 (MSFT ), diikuti oleh banyak lainnya sejak saat itu.

Jika dikombinasikan dengan komitmen perusahaan teknologi untuk menurunkan jejak karbon AI, hal ini seharusnya sangat menguntungkan perusahaan di sektor energi nuklir atau terbarukan, seperti Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), atau Brookfield Energy Partners (BEP ) (ikuti tautan untuk laporan masing‑masing perusahaan).

Teknologi Komputasi AI yang Muncul

Komputasi Kuantum

Karena AI sangat haus akan daya komputasi, mungkin masa depan perangkat keras bidang ini tidak lagi bergantung pada solusi silikon yang ada saat ini.

Salah satu kemungkinan adalah komputasi kuantum dapat digunakan untuk mendeteksi pola jauh lebih efisien daripada komputasi klasik, sesuatu yang sudah dieksplorasi oleh peneliti.

Komputasi kuantum secara keseluruhan dapat digunakan untuk menyelesaikan perhitungan khusus yang hampir mustahil dengan komputasi biner. Ini kemungkinan akan diterapkan pada AI, tetapi komputer kuantum komersial pertama masih beberapa tahun lagi, dan jaringan kuantum besar masih lebih jauh lagi.

Photonics

Dengan menggunakan cahaya alih‑alih elektron untuk mengirim data, photonics dapat jauh lebih cepat daripada perangkat elektronik.

Karena komputer kuantum biasanya membawa data kuantum dengan foton yang terikat, ada banyak tumpang tindih antara komputasi kuantum dan photonics, dan chip kuantum‑photonik ganda pertama sudah diumumkan.

Organoid

Karena sebagian besar AI meniru jaringan saraf otak pada komputer, beberapa peneliti bertanya‑tanya apakah kita tidak dapat menggunakan … sel otak sebenarnya.

Ini adalah ide menarik, terutama karena beberapa riset menunjukkan bahwa otak sebenarnya adalah komputer kuantum organik.

Jenis “komputer” ini disebut organoid, dan pada dasarnya terdiri dari neuron yang ditumbuhkan di laboratorium pada chip komputer. Neuron‑neuron tersebut kemudian mengorganisir dendrit dan koneksi mereka sendiri sebagai respons terhadap rangsangan chip.

Teknologi ini masih baru dan bergantung pada pencetakan 3D bio.

Lainnya

Kami menelusuri alternatif lain untuk komputasi silikon dalam “10 Perusahaan Komputasi Non‑Silikon Teratas”, seperti vanadium dioksida, graphene, redox gating, atau bahan organik.

Masing‑masing menjanjikan menjadi jauh lebih cepat atau jauh lebih hemat energi dibandingkan komputasi berbasis silikon klasik. Namun, mereka masih relatif baru dan tidak mungkin merevolusi bidang AI pada skala komersial, setidaknya dalam 5‑10 tahun ke depan.

Cloud AI dan Edge AI: Tren Aksesibilitas

Cloud AI

Karena sistem AI paling kuat dibuat oleh perusahaan teknologi besar, mereka kebanyakan dapat diakses melalui cloud. Hal yang sama juga mulai berlaku untuk akses ke perangkat keras AI khusus itu sendiri.

Pemimpin tren ini adalah Coreweave (CRCW ), sebuah perusahaan yang beralih dari penyedia cloud ke penambangan cryptocurrency menggunakan GPU, hingga kini menyediakan komputasi AI on‑demand.

Hal ini menjadikan CoreWeave (CRWV ) mitra kunci bagi startup AI yang akan bersaing dengan raksasa teknologi, seperti Inflection AI dan klaster GPU $1,3 Miliar, dibiayai oleh putaran pendanaan baru.

“Dua bulan yang lalu, sebuah perusahaan mungkin belum ada, dan sekarang mereka memiliki pendanaan ventura $500 juta.

Dan hal terpenting yang harus mereka lakukan adalah mengamankan akses ke komputasi; mereka tidak dapat meluncurkan produk atau bisnis mereka tanpa itu,”

Brian Venturo – CTO CoreWeave

Karena pemain murni dalam perangkat keras AI menjadi waspada terhadap teknologi besar yang memproduksi GPU, TPU, XPU mereka sendiri dan beralih dari klien menjadi pesaing, kemungkinan perusahaan seperti CoreWeave akan mendapatkan prioritas akses ke rilis perangkat keras terbaru dari Nvidia dan lainnya.

Model bisnis ini kemungkinan akan sangat penting untuk pelatihan AI, yang membutuhkan kapasitas komputasi jauh lebih besar dibandingkan hanya menggunakan AI yang sudah dilatih.

Edge Computing & AI PC

Kasus lain komputasi AI yang berkembang cepat adalah kebutuhan untuk menjalankan komputasi sistem AI di lokasi, sedekat mungkin dengan situasi dunia nyata.

Ini menjadi keharusan bagi sistem yang tidak dapat mentolerir pemutusan AI jika koneksi gagal, atau ketika latensi bolak‑balik dengan cloud terlalu lambat.

Contoh yang baik adalah mobil otonom, yang diharapkan dapat memahami lingkungan mereka secara offline.

Jenis perhitungan ini disebut edge computing, dan sangat diuntungkan oleh perangkat keras yang lebih efisien dan hemat energi.

Ini dapat meningkatkan keandalan AI, dan seiring model menjadi lebih efisien, seperti loncatan maju DeepSeek, hal ini mungkin menjadi model penyebaran AI yang lebih umum di masa depan.

Untuk alasan yang sama, AI PC seperti yang baru‑baru ini diluncurkan oleh Nvidia, mungkin dalam jangka panjang cukup untuk menjalankan banyak aplikasi AI secara lokal, meningkatkan privasi dan keamanan dibandingkan selalu terhubung ke AI berbasis cloud.

Kesimpulan

Perangkat keras AI selama ini agak identik dengan GPU, karena kartu grafis jauh lebih efisien untuk pelatihan AI dibandingkan jenis perangkat keras lain seperti CPU. Hal ini membuat Nvidia dan banyak pemegang saham awalnya menjadi sangat kaya.

GPU, terutama “super GPU” yang difokuskan pada AI, kemungkinan akan tetap penting dalam pembangunan pusat data AI. Namun mereka akan berkembang menjadi hanya satu komponen dari sistem yang semakin kompleks dan khusus.

Operasi transformer akan dialihkan ke TPU, jaringan saraf ke NPP, tugas berulang ke ASIC khusus atau FPGA yang dikonfigurasi ulang.

Sementara itu, memori ber‑bandwidth tinggi, konektor telekomunikasi canggih, dan pendinginan ultra‑efisien akan menjaga semua fungsi pendukung di sekitar inti komputasi tetap berjalan.

Untuk komputasi edge dan AI yang lebih kecil dibandingkan LLM masif, komputasi lokal, mungkin didukung oleh XPU all‑in‑one, kemungkinan akan digunakan oleh ilmuwan, mobil otonom, dan pengguna yang peduli privasi atau sensor, berpotensi dengan model AI sumber‑buka.

Yang pasti, keuntungan dari menjual “pick dan sekop” perangkat keras AI dalam demam emas AI masih jauh dari selesai.

Setelah periode dominasi Nvidia, investor mungkin ingin mendiversifikasi risiko dengan menyebarkan portofolio perangkat keras AI mereka ke desain lain, dan bahkan mungkin ke perusahaan utilitas listrik yang akan menyediakan gigawatt berharga untuk menjalankan pusat data AI yang semakin besar dan banyak di dunia.