Yapay Zeka Donanımı Yatırımı: CPU’lerden XPUs’a

Yapay Zeka Donanımı Yatırımı: Kazma ve Kürek Yaklaşımı

Yapay zeka, ekonomimiz, üretken sistemlerimiz ve toplumumuzda son birkaç on yılın en önemli değişimi olmaya söz veriyor ve bu, internet tarafından getirilen radikal değişikliklere kıyasla önemsiz kalabilir.

Bu, sürücüler, tercümanlar, müşteri desteği, web tasarımcıları vb. gibi işlerin tamamının ortadan kalkmasına neden olabilir. Programcılar, giriş seviyesi avukatlar, teşhis uzmanları gibi diğer işler de talepte radikal bir azalma yaşayabilir.

Ayrıca, birçok diğer görev için ek değer ve verimlilik yaratmalıdır ve baskın yapay zeka yazılım şirketleri muhtemelen önce hayal bile edilemeyen piyasa değerlerine ulaşacaktır.

Tüm bu nedenlerle, sermaye piyasaları ve yatırımcılar yapay zeka tarafından büyülenmiş durumdadır ve teknoloji devleri ve Çinli teknoloji devleri gibi Alibaba ve startups gibi DeepSeek’in yapay zeka alanındaki ilerleyişine büyük ilgi gösteriyorlar.

Yapay zeka patlamasına yatırım yapmanın bir başka yolu, her altın rush’ta çalışan stratejiyi izlemek: altın aramayın, kazma ve kürek satın. Bu kesinlikle AI-optimized donanıma en iyi konumda olan şirketler için çalıştı, Nvidia, oyun grafik kartlarını AI eğitim çiplerine dönüştürerek dünyanın en değerli şirketi haline geldi ve 4T piyasa değerini aştı.

Yapay zeka, büyük bir iş fırsatı olduğu ve diğer önceki hesaplama görevlerinden farklı olarak çok özel donanıma ihtiyaç duyduğu için, yarı iletken endüstrisi şimdi yapay zeka programlarını eğitmek ve çalıştırmak için özel olarak tasarlanmış yeni donanım türleri geliştirmek için bir yarış içindedir.

Nvidia muhtemelen sektördeki en iyi şirketlerden biri olarak kalacak, ancak alternatifler şimdi ortaya çıkıyor ve yatırımcılar için ilgisini erken gösteren interessant fırsatlar sunabilir.

Neden Yapay Zeka Özel Donanıma İhtiyaç Duymaktadır

Çok Küçük Hesaplamalar

Yapay zeka alanındaki ilk çabalar, diğer programlar gibi aynı hesaplama kapasitesini kullandı, esas olarak işlemciler (Merkezi İşlem Birimi – CPU) üzerine odaklandı. CPU’lar hala önemlidir, ancak onlar yapay zeka için kullanılan çoğu yöntem için optimal değildir.

Sinir ağları ve benzeri yöntemler, bir çok karmaşık hesaplamadan ziyade birçok nispeten basit hesaplamaya ihtiyaç duyar. Bu nedenle, birçok küçük çipin paralel olarak çalışması, büyük ve güçlü CPU’lardan daha iyidir.

Bu, neden grafik kartlarının popüler hale geldiğinin büyük bir kısmı, çünkü grafik kartları doğası gereği paralel olarak binlerce küçük hesaplamayı gerçekleştirmek için tasarlanmıştır.

Bugünün yapay zeka eğitimi, büyük ölçüde sinir ağlarına dayanmaktadır, Nobel Fizik Ödülü’nü kazanan bir kavram.

Kaynak: Nobel Ödülü

Yapay zeka teknolojisindeki ikinci bir devrim, “transformer” larla geldi. Bunlar, geleneksel sinir ağlarının, herhangi bir doğal dilin ortak bir özelliği olan uzun veri dizilerini verimli bir şekilde işleyememe sorununu çözdü.

İlk olarak 2017 yılında Google araştırmacıları tarafından sunuldu, şu anda yapay zeka kapasitesindeki patlamanın temel nedenidir. Transformer’lar, ChatGPT gibi LLM’lerin (Büyük Dil Modelleri)核心sındadır.

Farklı Gereksinimler

Yapay zeka iş akışlarında önemli bir ayrım, ince ayar ve çıkarımın arasındaki farktır, her ikisi de farklı donanım gereksinimlerine sahiptir.

• İnce Ayar alanına özgü verilere dayalı bir modeli eğitmeyi içerir, önemli hesaplama gücü ve belleğe ihtiyaç duyar. Bu, çok teknik bir görevdir, genellikle yapay zeka biliminin çok sınırında.
• Çıkarım zaten eğitilmiş bir modeli kullanarak çıktılar oluşturmayı içerir, daha az hesaplama gücü gerektirir, ancak düşük gecikme ve maliyet verimliliği üzerinde daha fazla odaklanmayı gerektirir.
  • Bu, AI uzmanları tarafından daha rutin olarak yapılır, önceden var olan modelleri gerçek yaşam sorunlarını çözmek için kullanır.

Bu nedenle, enquanto maliyet her iki durumda da bir endişe kaynağı, eğitim genellikle mümkün olan en iyi donanıma ihtiyaç duyacak, kullanım görevleri ise donanım ve enerji tüketimi maliyetine daha fazla odaklanacaktır.

CPUs Vs GPUs

Merkezi İşlem Birimleri (CPUs):

CPUs, genel amaçlı ve özel olarak yapay zeka donanımı değildir. Ancak, AI sistemlerinde komutları çalıştırmak ve temel hesaplamaları gerçekleştirmek için hala önemlidir.

Çoğu yazılım, nihai kullanıcıların AI sistemi ile arayüzünü işler, CPU merkezlidir, bu da bireysel bilgisayarlar veya bulut tabanlı yazılımlar olabilir.

Kaynak: AnandTech

CPUs, çok basit AI’lar için de kullanılabilir, burada özel donanım gerçekten gerekmez. Bu, özellikle çıktının özellikle acil olmadığı ve CPU’ların nispeten yavaş AI işleme hızının bir sorun olmadığı durumlarda geçerlidir.

Küçük modeller ve küçük veri kümeleri ve hesaplamalar CPU’lar üzerinde iyi performans gösterebilir. CPU’ların normal bilgisayarlardaki yaygınlığı, ortalama bir kullanıcı için AI’ye özel donanım yatırımı yapmayan bir seçenek haline getirir.

CPU’lar ayrıca çok güvenilir ve stabil olduklarından, hata kriteri önemli olan kritik görevler için iyi bir seçimdir.

Son olarak, CPU’lar, AI eğitiminin bazı görevleri için, genellikle diğer donanım türleri ile işbirliği içinde, veri yükleme, biçimlendirme, filtreleme ve görselleştirme gibi görevler için yararlıdır.

Grafik İşlem Birimleri (GPUs):

Orijinal olarak grafik işleme için tasarlanan GPU’lar, paralel işlem için tasarlanmıştır, bu da onları büyük veri kümelerini işleyen AI modellerini eğitmek için ideal hale getirir. CPU’lardan GPU’lara geçmek, eğitim sürelerini haftalardan saatlere indirdi.

Genel olarak GPU’lar, AI araştırmasını ölçeklendirme için dizilere kurulan ilk hesaplama donanımı oldu.

Kaynak: Aorus

Ayrıca, GPU’ların başarısında, Nvidia tarafından geliştirilen CUDA’nın da payı var, bu, Nvidia’nın GPU’ları için genel amaçlı bir programlama arayüzüdür ve kapıları diğer kullanımlar için de açmıştır.

Bugün, GPU’lar hala en çok aranan AI donanımı türlerinden biri, Nvidia’nın AI eğitimine yönelik gigawatt ölçekli AI veri merkezlerini inşa eden teknoloji devlerine yetecek kadar üretmeye çalıştığı bir dönemde.

Bu, “süper GPU” döneminin başlangıcına işaret ediyor, Nvidia’nın GB200 NVL72’sinin yakın zamanda piyasaya sürülmesiyle.

Bu donanım, fabrikadan çıktığı gibi tek bir devasa GPU olarak tasarlandı, birçok küçük olanın ağından farklı olarak. Bu, önceki rekor kırıcı H100 modelinden daha güçlü ve daha enerji verimlidir.

Kaynak: Nvidia

Bu, AI endüstrisinin enerji tüketiminden önce enerjiye ulaşma konusunda zorlanabileceği bir noktada, aynı zamanda enerji verimliliği ve daha az atık ısı anlamına da gelecektir.

ASIC’ler ve AI Donanımının Yükselişi

Uygulama-Spesifik Entegre Devreler (ASIC’ler), belirli bir hesaplama görevi için tasarlanmış donanımlardır, bu da onları GPU’lardan daha özel hale getirir.

Onlar daha esnek ve programlanabilir değiller, genel amaçlı donanımdan daha kompleks ve pahalılar.

Ancak, verilen görevde çok daha verimlidirler, genellikle daha hızlı bir çıktı üretirler ve daha az hesaplama gücü ve enerji harcarlar.

ASIC’ler ve diğer AI özel donanımları, bazı hesaplamaların GPU’larda ideal olarak yapılmadığı, daha özel donanıma ihtiyaç duyduğu fark edildiğinden kullanımını artırmaktadır.

Tensor İşleme Birimleri (TPU’lar)

TPU’lar, Google tarafından özellikle tensor hesaplamaları (transformer tabanlı hesaplamalarla ilgili) gerçekleştirmek için geliştirilmiştir. Bunlar, yüksek performans, verimlilik ve ölçeklenebilirlik için optimize edilmiştir.

Kaynak: C#Corner

Bu donanım türü, nispeten küçük hataların önemli olmadığı, istatistik ve çok sayıda hesaplama ile çalışan modeller olan sinir ağlarının geliştirilmesini ve çalışmasını önemli ölçüde hızlandırabilir.

Son kullanıcı görevleri arasında, TPU’lar için en uygun olanlar derin öğrenme, konuşma tanıma ve görüntü sınıflandırmasıdır.

Sinir Ağları İşlem Birimleri (NPP’ler):

NPP’ler, sinir ağları hesabına özelleşmiş, insan beynindeki sinir bağlantılarını taklit etmeye tasarlanmış ve bazen de AI hızlandırıcı olarak adlandırılan neuromorfik çiplerdir.

Bir NPU, depolama ve hesaplama işlemlerini sinir ağırlıkları aracılığıyla birleştirecektir. Bu, zaman içinde “öğrenmeye” ve operasyonel verimliliği artırmaya olanak tanır.

Bir NPU, özel bir çarpma ve toplama modülünü, aktivasyon fonksiyonlarını, 2B veri işlemlerini ve diğer fonksiyonları içerir.

Özel çarpma ve toplama modülü, sinir ağı uygulamalarının işlenmesine ilişkin işlemleri gerçekleştirmek için kullanılır.

Özelleştirme, bir NPU’nun bir işlemci tarafından binlerce işlem yerine tek bir işlemle bir işlemi tamamlayabilmesini sağlar. Örneğin, IBM, NPU’nun AI hesabındaki verimliliği GPU’lara kıyasla radikal bir şekilde iyileştirebileceğini iddia etmektedir.

“Testler, bazı NPU performansının aynı güç tüketimi ile bir GPU’ya kıyasla 100 kat daha iyi olduğunu göstermiştir.”

Enerji verimliliği nedeniyle, NPP’ler, AI uygulamaları için yerel olarak görevleri gerçekleştirmelerine yardımcı olan üreticiler tarafından kullanıcı cihazlarına kurulmak için popülerdir, bu da “kenar hesaplama” olarak bilinen bir şeydir (aşağıdaki konuya ilişkin daha fazla bilgi için bkz.).

Şu anda, neuromorfik çiplerin oluşturulmasına ilişkin birçok yöntem araştırılıyor:

• İlk ferroelektriklikten yararlanmak, hala kötü anlaşılan bir olgu.
• Vanadyum veya titanyum kullanarak aktif substrate.
• Memristorleri kullanmak, yeni bir elektronik bileşen, normal güç tüketiminin 1/800’ünde AI görevlerini gerçekleştirebilir.

Ek İşlem Birimi (XPU):

XPU, CPU (işlemci), GPU (grafik kartı / paralel işlemciler) ve belleği aynı elektronik cihazda birleştirir.

Kaynak: Broadcom

XPU, CPU, GPU ve belleği birleştiren birçok varyasyonun geniş bir terimidir, Veri İşlem Birimleri (DPU’lar), Altyapı İşlem Birimleri (IPU’lar) ve İşlev Hızlandırıcı Kartları (FAC’ler) gibi.

XPUs, AI veri merkezlerinin büyüyen bir sorunu olan alt birimler arasındaki bağlantı ihtiyacını çözmektedir, bu da veri gecikmesinin hesaplama gücünden daha önemli bir faktör haline gelmektedir.

Aslında, çipler (GPU’lar, TPU’lar, NPP’ler vb.) veri bekliyor, hesaplama yapıyorlar.

XPU’ların lideri Broadcom’dur, bunun hakkında ayrıntılı bir yatırım raporunda daha önce konuştuğumuz gibi.

Alan Programlanabilir Kapı Dizileri (FPGA’lar):

FPGA’lar, programlanabilir işlemcilerdir, bu da onları daha esnek ve yeniden yapılandırılabilir yapan, daha katı ASIC’lerden daha esnektir.

FPGA’lar, özel AI algoritmaları için özelleştirilebilir, potansiyel olarak daha yüksek performans ve enerji verimliliği sunabilir.

Kaynak: Microcontrollers Labs

Esneklik, daha kompleks, pahalı ve daha fazla elektrik tüketen bir maliyetle gelir. Ancak, genel amaçlı donanımdan daha verimlidir.

Bu, onları bir niş ürün haline getirir, burada esneklik, dezavantajları telafi eder. Örneğin, makine öğrenimi, bilgisayar görüşü ve doğal dil işleme, FPGA’ların çok yönlülüğünden yararlanabilir.

Yüksek Bant Genişliği Hafızası (HBM):

AI merkezli özel donanımda en önemli gelişmeler, uzun süredir AI hesabının kilit noktası olan hesaplama gücünde gerçekleşti.

Ancak, bu sistemler, AI hesabının kilit noktası olan yüksek verimlilikli destek sistemlerine de ihtiyaç duyar, bunlardan biri de bellektir. HBM, adından da anlaşılacağı gibi, geleneksel DRAM’den daha yüksek bant genişliği sağlar.

Bu, birden fazla DRAM yongasının dikey olarak yığınlanması ve bunlar arasındaki iletişimin through-silicon vias (TSV) ile sağlanmasıyla elde edilir.
HBM’nin ilk nesli 2013 yılında geliştirilmiştir.

Dikey yığınlama, alanı tasarruf eder ve verilerin seyahat etmesi gereken fiziksel mesafeyi azaltır, bu da AI hesabında veri aktarımını hızlandırır.

HBM’ler, DRAM’den daha karmaşıktır ve pahalıdır, ancak AI uygulamaları için performans ve enerji verimliliği faydaları genellikle daha yüksek maliyeti haklı çıkarır.

Yapay Zeka Veri Merkezi Altyapısı: Güç, Soğutma ve Bağlantı

AI veri merkezlerinin temel bileşenleri arasında, sadece hesaplama gücü ve bellek değil, aynı zamanda yardımcı sistemler de bulunur. Bunlar olmadan, veriler yeterli hızda dolaşamaz, çipler aşırı ısınabilir veya mevcut güç yetersiz olabilir.

Bu, örneğin Broadcom’un bağlantı donanımının da AI veri merkezi kurulumundan büyük ölçüde yararlanacağı anlamına gelir, aynı zamanda özel soğutma çözümü sağlayan şirketler gibi Vertiv veya Schneider Electric de yararlanabilir.

Güç kaynağı da bir sorun haline gelebilir ve birçok teknoloji devi, bu sorunu çözmek için nükleer enerjiye bahis yapıyor, Microsoft’un 2024’te yaptığı ilk hamle ile başlayarak.

Birleşik bir karbon ayak izi taahhüdü ile birlikte, bu, nükleer veya yenilenebilir enerji sektöründeki şirketler gibi Cameco, GE Vernova, First Solar, NextEra veya Brookfield Energy Partners için büyük faydalar sağlayacaktır.

Yükselen AI Hesaplama Teknolojileri

Kuantum Hesaplama

Yapay zeka, hesaplama gücüne çok aç olduğu için, bu alanın gelecekteki donanımı, mevcut silikon çözümleriyle olmayabilir.

Mümkün bir seçenek, kuantum hesaplamasının, klasik hesaplama ile neredeyse imkansız olan hesaplamaları daha verimli bir şekilde gerçekleştirebilmesidir, araştırmacılar tarafından zaten keşfedilen bir şey.

Kuantum hesaplama, belirli hesaplamaları çözmek için kullanılabilir, sonunda yapay zeka için uygulanabilir. Ancak, ilk ticari kuantum bilgisayarlar hala birkaç yıl uzakta ve büyük bir kuantum ağı daha da uzak.

Fotonik

Verileri taşıyarak elektronlar yerine ışığı kullanan fotonik, elektronik cihazlardan çok daha hızlı olabilir.

Kuantum bilgisayarlar genellikle kuantum verilerini bağlı fotonlar ile taşındığından, kuantum hesaplama ve fotonik arasında önemli bir örtüşme vardır ve ilk kuantum-fotonik çip zaten açıklandı.

Organoidler

Çoğu yapay zeka, bilgisayarlarda beyinlerin sinir ağlarının işleyişini taklit ettiğinden, bazı araştırmacılar, neden … gerçek beyin hücreleri kullanamayalım diye merak ediyorlar.

Bu, özellikle bazı araştırmaların beynin aslında bir organik kuantum bilgisayarı olabileceğini öne sürdüğü için ilginç bir fikirdir.

Bu tür bir “bilgisayar”, organoid olarak adlandırılır ve esas olarak bir laboratuvarda bir bilgisayar çipi üzerinde yetiştirilen nöronlardan oluşur. Nöronlar daha sonra çip tarafından verilen uyaranlara yanıt olarak dendritleri ve bağlantıları kendiliğinden organize eder.

Bu teknoloji yeni ve bio-3D yazıcı ile çalışıyor.

Diğerleri

Alternatif silikon hesaplama yöntemlerini “En İyi 10 Silikon Olmayan Hesaplama Şirketi” başlıklı makalede keşfettik, vanadyum dioksit, grafen, redoks kapısı veya organik malzemeler gibi.

Her biri, klasik silikon tabanlı hesaplama ile karşılaştırıldığında çok daha hızlı veya çok daha az enerji yoğun olmayı vaat ediyor. Ancak, AI alanında comerciyaal ölçekte devrimsel bir değişiklik getirmeleri en az 5-10 yıl alacak.

Bulut AI ve Kenar AI: Erişim Eğilimleri

Bulut AI

En güçlü AI sistemleri, büyük teknoloji şirketleri tarafından yapıldığından, bunlar genellikle bulut aracılığıyla erişilebilirdir. Aynı şey, AI özel donanımına erişim için de geçerlidir.

Bu eğilimin lideri Coreweave, bir şirket olarak bulut sağlayıcıdan kripto madenciliğine, şimdi de AI hesabına geçiş yaptı.

Bu, CoreWeave’i, teknoloji devleriyle rekabet etmek isteyen yeni AI startups için, örneğin Inflection AI ve $1.3M’lik GPU kümesi için kritik bir ortak haline getirdi.

“İki ay önce, bir şirket olmayabilirdi ve şimdi 500 milyon dolarlık risk sermayesi fonuna sahip olabilir.

Ve en önemli şey, hesaplama erişimini güvence altına almaktır; ürünlerini veya işlerini başlatamazlar, önce bunu yapamazlar,”

CoreWeave CTO’su Brian Venturo

Saf AI donanımı oyuncuları, büyük teknoloji şirketlerinin kendi GPU’ları, TPU’ları, XPU’ları vb. üreterek müşteriden rakip haline geldiğinden endişe duyuyor.

Bu iş modeli, AI eğitimi için özellikle önemli olacak, AI eğitimi, AI kullanımından daha fazla hesaplama kapasitesi gerektirir.

Kenar Hesaplama ve AI Bilgisayarlar

AI hesabının hızlı bir şekilde evrim geçirdiği bir diğer durum, hesaplamaların gerçek yaşam durumlarına mümkün olduğunca yakın bir şekilde yapılması gerektiğidir.

Bu, bağlantısı kesildiğinde AI’dan mahrum kalma riski taşıyan veya bulut ile geri bildirim arasında gecikme tolere edilemeyen sistemler için bir gereksinimdir.

Örneğin, otonom araçlar, çevrelerini anlama görevini çevrimdışı olarak gerçekleştirmeleri beklenmektedir.

Bu tür bir hesaplama, kenar hesaplama olarak adlandırılır ve daha verimli ve daha az güç tüketen donanımdan yararlanmaktadır.

Bu, AI güvenilirliğini artırabilir ve modeller daha verimli hale geldikçe, örneğin DeepSeek’in atılımı gibi, bu, AI dağıtımının daha yaygın bir modeli haline gelebilir.

Aynı nedenle, Nvidia tarafından yakın zamanda piyasaya sürülen AI bilgisayarlar, birçok AI uygulamasını yerel olarak çalıştırmak için yeterli olabilir, bu da bulut bağlantılı AI’lere kıyasla gizliliği ve güvenliği artırır.

Sonuç

AI donanımı, uzun bir süre boyunca, AI eğitiminde CPU’lardan daha verimli olan grafik kartları ile eşanlamlı hale geldi. Bu, Nvidia ve erken yatırımcıları için bir servet yarattı.

GPU’lar, özellikle AI odaklı “süper GPU’lar”, AI veri merkezlerinin inşasında önemli olmaya devam edecek. Ancak, giderek daha karmaşık ve özel sistemlerin sadece bir bileşeni haline gelecekler.

Transformer operasyonları, TPU’lara gönderilecek, sinir ağları NPP’lere, tekrarlayan görevler özel ASIC’lere veya yeniden yapılandırılan FPGA’lara gönderilecek.

Aynı zamanda, yüksek bant genişliği belleği, gelişmiş telekomünikasyon konektörleri ve ultra verimli soğutma, hesaplama çekirdeğinin etrafındaki tüm yardımcı işlevleri çalışır durumda tutacak.

Kenar hesaplama ve büyük LLM’lerden daha küçük AI’ler için, yerel hesaplama, belki de tümleşik XPU’lar tarafından desteklenecektir, bilim adamları, otonom araçlar ve gizlilik veya sansür konusunda endişesi olan kullanıcılar tarafından kullanılacaktır, potansiyel olarak açık kaynaklı AI modelleri ile birlikte.

Ne olursa olsun, AI donanımının “kazma ve kürek” satışı, AI altın rush’tan elde edilen karlar henüz bitmedi.