Investir dans le matériel d’IA: des CPU aux XPU

Investir dans le matériel d’IA: approche des pioches et des pelles

AI promet d’être le changement le plus important de notre économie, de nos systèmes de production et de notre société au cours des dernières décennies, pouvant rendre même les changements radicaux apportés par Internet triviaux en comparaison.

Elle pourrait faire disparaître toute une catégorie d’emplois, notamment les conducteurs, les traducteurs, le support client, les concepteurs de sites web, etc. D’autres emplois pourraient connaître une réduction radicale de la demande, comme les programmeurs, les avocats débutants, les diagnosticiens, etc.

Elle devrait également créer beaucoup de valeur et de productivité supplémentaires pour de nombreuses autres tâches, les entreprises de logiciels d’IA dominantes étant probablement les premières à atteindre des capitalisations boursières auparavant inimaginables.

Pour toutes ces raisons, les marchés financiers et les investisseurs sont fascinés par l’IA et accordent une grande attention aux progrès des nombreux géants technologiques en IA, ainsi qu’à la forte concurrence émergeant des géants technologiques chinois comme Alibaba et des startups comme DeepSeek.

Une autre façon de profiter du boom de l’IA est de suivre la stratégie qui fonctionne à chaque ruée vers l’or: ne pas chercher l’or, mais vendre les pioches et les pelles. Cela a certainement fonctionné pour les entreprises qui se trouvaient au meilleur endroit pour vendre du matériel optimisé pour l’IA, avec Nvidia (NVDA ) ayant transformé ses cartes graphiques de jeu en puces d’entraînement d’IA, en faisant l’entreprise la plus précieuse du monde, ayant dépassé la stupéfiante capitalisation de 4 000 milliards de dollars (suivez le lien pour un rapport complet sur Nvidia).

Parce que l’IA nécessite du matériel très spécifique, généralement différent des autres formes précédentes de tâches informatiques, et représente une opportunité commerciale massive, l’industrie des semi-conducteurs est désormais engagée dans une course pour développer de nouvelles formes de matériel conçues spécifiquement pour l’entraînement et l’exécution de programmes d’IA.

Bien que Nvidia soit susceptible de rester l’une des principales entreprises du secteur, des alternatives émergent maintenant et pourraient offrir des opportunités intéressantes aux investisseurs qui y portent attention tôt.

Pourquoi l’IA a besoin de matériel spécialisé

De nombreux petits calculs

Les premiers efforts en IA utilisaient la même capacité de calcul que d’autres programmes, se concentrant principalement sur les processeurs (Central Processing Unit – CPUs). Les CPUs restent importants, mais il est rapidement apparu qu’ils ne sont pas optimaux pour la plupart des méthodes actuellement utilisées pour développer les IA.

Les réseaux neuronaux et d’autres méthodes similaires nécessitent de nombreux calculs relativement simples, plutôt qu’un seul calcul très complexe. Ainsi, de nombreux petits puces fonctionnant en parallèle sont généralement meilleurs que de gros CPUs puissants.

C’est en grande partie la raison pour laquelle les GPU sont rapidement devenus plus populaires, les cartes graphiques étant intrinsèquement conçues pour exécuter des milliers de petits calculs en parallèle.

L’entraînement IA d’aujourd’hui repose largement sur les réseaux neuronaux, un concept qui a remporté le Prix Nobel de Physique en 2024, une récompense que nous avons détaillée dans un article dédié à l’époque.

Source: Nobel Prize

Une deuxième révolution dans la technologie de l’IA est arrivée avec les “transformers”. Ils résolvent l’incapacité des réseaux neuronaux traditionnels à traiter efficacement de longues séquences de données, une caractéristique commune à toute langue naturelle.

Exigences différentes

• Fine-tuning implique l’entraînement d’un modèle sur des données spécifiques à un domaine, nécessitant une puissance de calcul et une mémoire importantes. C’est une tâche très technique, souvent à la pointe de la science de l’IA.
• Inference se concentre sur l’utilisation d’un modèle déjà entraîné pour générer des sorties, nécessitant moins de puissance de calcul mais une plus grande attention à la faible latence et à l’efficacité des coûts.
  • Cela est plus couramment fait par des experts en IA déployant des modèles préexistants pour résoudre des problèmes réels.

Ainsi, bien que les coûts soient évidemment une préoccupation tant pour le fine‑tuning/l’entraînement que pour l’inférence/l’utilisation de l’IA, l’entraînement nécessitera souvent le meilleur matériel possible, tandis que les tâches d’utilisation se concentreront davantage sur le coût du matériel et la consommation d’énergie lors du choix de l’option matérielle optimale.

CPU vs GPU

Unités centrales de traitement (CPU):

Les CPU sont polyvalents et ne sont pas spécifiquement du matériel IA. Ils restent cependant essentiels pour exécuter les instructions et effectuer les calculs de base dans les systèmes IA.

La plupart des logiciels gérant l’interface avec les utilisateurs finaux d’un système IA seront également centrés sur le CPU, que ce soit sur des ordinateurs individuels ou des logiciels basés sur le cloud.

Source: AnandTech

Les CPU peuvent également être utilisés pour des IA très simples, où le matériel dédié n’est pas réellement requis. Cela est particulièrement vrai lorsque la sortie n’est pas particulièrement urgente, et que le traitement IA relativement plus lent des CPU n’est pas un problème.

Ainsi, les petits modèles avec de petites séries de données et de calculs peuvent bien fonctionner sur les CPU. L’omniprésence des CPU dans les ordinateurs classiques en fait également une bonne option pour un utilisateur moyen qui ne souhaite pas investir dans du matériel spécifique à l’IA.

Les CPU sont également très fiables et stables, ce qui en fait un bon choix pour les tâches critiques où aucune erreur n’est un critère important.

Enfin, les CPU sont utiles pour certaines tâches de l’entraînement IA, généralement en collaboration avec d’autres types de matériel, comme le chargement de données, le formatage, le filtrage et la visualisation.

Unités de traitement graphique (GPU):

Conçus à l’origine pour le rendu graphique, les GPU sont destinés au traitement parallèle, ce qui les rend idéaux pour l’entraînement de modèles IA nécessitant la gestion de grands ensembles de données. Passer des CPU aux GPU a réduit les temps d’entraînement de semaines à heures.

En raison de leur disponibilité généralisée et de l’expérience des spécialistes IT à travailler avec eux, les GPU ont été le premier type de matériel informatique à être installé en série pour faire évoluer la recherche IA.

Source: Aorus

Also instrumental in GPUs’ success was the development of CUDA by Nvidia, a general-purpose programming interface for NVIDIA’s GPUs, opening the door for other uses than gaming. This was done because some researchers were already using GPUs to perform calculations instead of the usual supercomputers.

“Researchers realized that by buying this gaming card called GeForce, you add it to your computer, you essentially have a personal supercomputer.

Molecular dynamics, seismic processing, CT reconstruction, image processing—a whole bunch of different things.

Jensen Huang, in an interview with Sequoia

Aujourd’hui, les GPU restent parmi les types de matériel IA les plus recherchés, Nvidia peinant à produire suffisamment pour satisfaire la demande des géants technologiques construisant des centres de données IA à l’échelle du gigawatt.

C’est également le début de l’« ère du super GPU », avec la récente sortie par Nvidia du GB200 NVL72.

Ce matériel est conçu pour agir comme un GPU massif unique dès la sortie d’usine, au lieu de devoir mettre en réseau de nombreux petits. Il le rend bien plus puissant même que le modèle H100, qui était auparavant record.

Source: Nvidia

Cela devrait également être beaucoup plus efficace sur le plan énergétique, un point crucial alors que l’industrie IA pourrait manquer d’énergie avant de manquer de puces à la vitesse à laquelle les centres de données IA sont construits. Plus d’efficacité de calcul & énergie signifie moins de chaleur résiduelle, ce qui résout temporairement le problème de surchauffe.

L’essor des ASIC et du matériel d’IA

Les circuits intégrés spécifiques à une application (ASIC) sont du matériel informatique conçu spécifiquement pour une tâche de calcul donnée, les rendant encore plus spécialisés que les GPU encore relativement généralistes.

Ils sont donc moins flexibles et programmables que le matériel à usage général.

En règle générale, ils tendent à être plus complexes. Ils sont également généralement plus coûteux, tant en raison d’un manque d’économies d’échelle pour leur production que du coût des conceptions personnalisées.

Ils sont, cependant, beaucoup plus efficaces pour la tâche qui leur est assignée, produisant généralement un résultat plus rapidement avec beaucoup moins de puissance de calcul et d’énergie gaspillées.

Les ASIC et autres matériels spécifiques à l’IA gagnent en utilisation, le domaine constatant progressivement que certains calculs ne sont pas idéalement effectués sur GPU mais nécessitent un équipement plus spécialisé.

Unités de traitement tensoriel (TPU)

Les TPU ont été développés par Google (GOOGL ) spécifiquement pour effectuer des calculs tensoriels (liés au calcul basé sur les transformers). Ils sont optimisés pour un débit élevé et une arithmétique à faible précision.

Source: C#Corner

Cela confère aux TPU de hautes performances, efficacité et évolutivité pour l’entraînement de grands réseaux neuronaux.

Les TPU possèdent des fonctionnalités spécialisées, telles que l’unité de multiplication matricielle (MXU) et une topologie d’interconnexion propriétaire, qui les rendent idéaux pour accélérer l’entraînement et l’inférence IA.

Les TPU alimentent Gemini, ainsi que toutes les applications IA de Google comme Search, Photos et Maps, servant plus d’un milliard d’utilisateurs.

Ce type de matériel peut accélérer considérablement le développement et le fonctionnement des réseaux neuronaux, où une erreur occasionnelle est moins significative, les modèles reposant fortement sur les statistiques et un grand nombre de calculs dès le départ.

Parmi les tâches utilisateur les plus adaptées aux TPU figurent l’apprentissage profond, la reconnaissance vocale et la classification d’images.

Processeurs de réseaux neuronaux (NNP):

Également liés aux unités de traitement neuronal (NPU) et appelés puces neuromorphiques, les NPP sont spécialisés dans le calcul de réseaux neuronaux, conçus pour imiter les connexions neuronales du cerveau humain. Ils sont parfois appelés accélérateurs IA, bien que ce terme soit moins bien défini.

Un NPU intègre également le stockage et le calcul via les poids synaptiques. Il peut donc s’ajuster ou “apprendre” au fil du temps, améliorant ainsi l’efficacité opérationnelle.

Un NPU comprend des modules spécifiques pour la multiplication et l’addition, les fonctions d’activation, les opérations de données 2D et la décompression.

Le module spécialisé de multiplication et d’addition est utilisé pour exécuter des opérations pertinentes au traitement des applications de réseaux neuronaux, telles que le calcul de multiplication matricielle et d’addition, la convolution, le produit scalaire et d’autres fonctions.

Cette spécialisation peut aider un NPU à accomplir une opération avec un seul calcul au lieu de plusieurs milliers avec un matériel généraliste. Par exemple, IBM affirme que le NPU peut améliorer radicalement l’efficacité du calcul IA comparé aux GPU.

“Les tests ont montré que certaines performances de NPU sont plus de 100 fois supérieures à celles d’un GPU comparable, avec la même consommation d’énergie.”

Grâce à cette efficacité énergétique, les NPU sont populaires auprès des fabricants pour les installer dans les appareils utilisateurs, où ils peuvent aider à exécuter localement des tâches pour les applications IA génératives, un exemple d’« edge computing ». (voir ci‑dessous pour plus de détails).

De nombreuses méthodes sont actuellement explorées pour créer des puces neuromorphiques:

• Exploiter la ferroélectricité incipiente, un phénomène encore mal compris.
• Substrat actif utilisant du vanadium ou du titane.
• Utiliser les memristors, un nouveau type de composant électronique, qui peut effectuer des tâches IA à 1/800^e de la consommation d’énergie normale.

Uuxiliaire Traitement Unit (XPUs)

Les XPU fusionnent le CPU (processeur), le GPU (carte graphique / processeurs parallèles) et la mémoire dans le même dispositif électronique.

Source: Broadcom

XPUs est un terme large, englobant de nombreuses variantes de ce concept d’intégration de tout le matériel dans des unités autonomes, incluant les Data Processing Units (DPUs), les Infrastructure Processing Units (IPUs) et les Function Accelerator Cards (FACs).

Les XPUs sont perçus comme une solution au problème croissant des centres de données IA, à savoir le besoin grandissant de connectivité entre les sous‑unités, au point où le retard des données devient un facteur important ralentissant le calcul, plus que la puissance de calcul disponible.

Essentiellement, les puces (GPU, TPU, NPP, etc.) attendent les données autant qu’elles travaillent réellement.

Un leader de cette technologie est Broadcom (AVGO ), que nous avons détaillé dans un rapport d’investissement dédié.

Réseaux de portes programmables sur le terrain (FPGA):

Les FPGA sont des processeurs programmables, les rendant nettement plus flexibles et reconfigurables que les ASIC plus rigides. Les FPGA peuvent être personnalisés pour des algorithmes IA spécifiques, offrant potentiellement de meilleures performances et une meilleure efficacité énergétique.

Source: Microcontrollers Labs

Cette flexibilité a un coût, les FPGA étant généralement plus complexes, plus chers et consommant davantage d’électricité. Ils peuvent toutefois rester plus efficaces que le matériel généraliste.

Cela en fait un produit de niche, où leur flexibilité compense les inconvénients. Par exemple, l’apprentissage automatique, la vision par ordinateur et le traitement du langage naturel peuvent bénéficier de la polyvalence des FPGA.

Mémoire à large bande passante (HBM):

Les développements les plus importants du matériel IA sur mesure ont concerné la puissance de calcul, pendant longtemps le goulot d’étranglement pour construire davantage de capacité de calcul afin d’entraîner de nouvelles IA.

Cependant, ces systèmes ont également besoin de systèmes d’assistance à haute efficacité, dont la mémoire est un élément important. La HBM fournit, comme son nom l’indique, une bande passante supérieure à la DRAM traditionnelle.

Elle est obtenue en empilant plusieurs puces DRAM verticalement et en les reliant par des vias à travers le silicium (TSV). La première génération de HBM a été développée en 2013.

L’empilement vertical économise de l’espace et réduit la distance physique que les données doivent parcourir, accélérant le transfert de données, indispensable dans le calcul IA.

Les HBM sont plus complexes à fabriquer et plus coûteuses que la DRAM, mais les avantages en termes de performances et d’efficacité énergétique justifient souvent le coût plus élevé pour les applications IA.

Infrastructure des centres de données IA: énergie, refroidissement & connectivité

Outre la mémoire et la puissance de calcul, les systèmes auxiliaires des centres de données IA sont également importants. Sans eux, les données ne peuvent pas circuler assez rapidement, les puces surchaufferaient ou l’alimentation disponible serait insuffisante.

Cela signifie que, par exemple, le matériel de connectivité Broadcom bénéficie grandement de l’expansion des centres de données IA, tout comme les fournisseurs de solutions spécialisées comme les équipements de refroidissement, par exemple Vertiv (VRT ) ou Schneider Electric (SU.PA).

L’alimentation pourrait également devenir un problème, et plusieurs géants technologiques tentent de le résoudre en misant sur l’énergie nucléaire, avec le premier mouvement de Microsoft en 2024, suivi depuis par de nombreux autres.

Associé à un engagement des entreprises technologiques à réduire l’empreinte carbone de l’IA, cela devrait grandement profiter aux entreprises du secteur de l’énergie nucléaire ou renouvelable, comme Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), ou Brookfield Energy Partners (BEP ) (suivez les liens pour un rapport sur chaque entreprise).

Technologies informatiques IA émergentes

Informatique quantique

Parce que l’IA a un appétit vorace en puissance de calcul, il est possible que l’avenir du matériel du domaine ne repose pas sur les solutions silicium actuellement disponibles.

Une possibilité est que l’informatique quantique puisse être utilisée pour détecter des motifs beaucoup plus efficacement que le calcul classique ne le pourrait jamais, quelque chose déjà exploré par des chercheurs.

L’informatique quantique dans son ensemble pourrait être utilisée pour résoudre certains calculs spécifiques presque impossibles avec le calcul binaire. Cela sera probablement appliqué à l’IA, mais les premiers ordinateurs quantiques commerciaux sont encore à quelques années, et un réseau quantique large encore plus lointain.

Photonique

Utiliser la lumière au lieu des électrons pour transporter les données, la photonique pourrait être beaucoup plus rapide que les dispositifs électroniques.

Comme les ordinateurs quantiques transportent généralement des données quantiques avec des photons intriqués, il existe également beaucoup de chevauchements entre l’informatique quantique et la photonique, et le premier puce quantique‑photonique dual a déjà été annoncé.

Organoïdes

Alors que la plupart des IA reproduisent dans les ordinateurs le fonctionnement des réseaux neuronaux du cerveau, certains chercheurs se demandent s’il ne serait pas possible d’utiliser… de vraies cellules cérébrales.

C’est une idée intrigante, surtout que certaines recherches pourraient indiquer que le cerveau est en fait un ordinateur quantique organique.

Ce type d’« ordinateur » s’appelle organoïde, et consiste essentiellement en des neurones cultivés en laboratoire sur une puce informatique. Les neurones s’auto‑organisent alors leurs dendrites et connexions en réponse au stimulus de la puce.

Cette technologie est encore nouvelle et repose sur l’impression 3D bio‑chimique.

Autres

Nous avons exploré d’autres alternatives à l’informatique silicium dans « Top 10 Non‑Silicon Computing Companies », telles que le dioxyde de vanadium, le graphène, le gating redox ou les matériaux organiques.

Chacune promet d’être soit beaucoup plus rapide, soit beaucoup moins énergivore que l’informatique classique basée sur le silicium. Elles sont toutefois encore relativement nouvelles et peu susceptibles de révolutionner le domaine de l’IA à l’échelle commerciale, du moins pour les 5‑10 prochaines années.

IA cloud et IA en périphérie: tendances d’accessibilité

IA cloud

Comme les systèmes IA les plus puissants sont créés par de grandes entreprises technologiques, ils sont principalement accessibles via le cloud. Il en va de même pour l’accès au matériel spécialisé IA lui‑même.

Le leader de cette tendance est Coreweave (CRCW ), une entreprise qui est passée de fournisseur de cloud à l’exploitation minière de cryptomonnaies avec des GPU, pour aujourd’hui fournir du calcul IA à la demande.

Cela a fait de CoreWeave un partenaire clé des startups IA émergentes cherchant à concurrencer les géants technologiques, comme Inflection AI et son cluster GPU de 1,3 milliard $, financé par une nouvelle levée de fonds.

“Il y a deux mois, une entreprise pouvait ne pas exister, et aujourd’hui elle dispose de 500 millions de dollars de financement en capital-risque.

Et la chose la plus importante pour elle est d’assurer l’accès au calcul ; elle ne peut pas lancer son produit ou son activité tant qu’elle ne l’a pas.

Brian Venturo – CTO de CoreWeave

Alors que les acteurs purs du matériel IA deviennent méfiants face aux grands groupes qui produisent leurs propres GPU, TPU, XPU, etc., et passent de clients à concurrents, il est probable que des entreprises comme CoreWeave obtiennent un accès prioritaire aux dernières sorties matérielles de Nvidia et d’autres.

Ce modèle économique sera probablement particulièrement important pour l’entraînement IA, qui exige beaucoup plus de capacité de calcul que l’utilisation d’IA déjà entraînées.

Informatique en périphérie & PC IA

Un autre cas d’informatique IA qui évolue rapidement est le besoin d’effectuer le calcul des systèmes IA sur site, le plus près possible des situations réelles.

Cela est indispensable pour les systèmes qui ne pourraient pas tolérer d’être déconnectés de l’IA si la connexion échoue, ou lorsque la latence aller‑retour avec le cloud est trop lente.

Un bon exemple sont les voitures autonomes, qui doivent comprendre leur environnement hors ligne.

Ce type de calcul s’appelle l’edge computing, et bénéficie grandement d’un matériel plus efficace et moins énergivore.

Il peut augmenter la fiabilité de l’IA, et à mesure que les modèles deviennent plus efficaces, illustré par le bond en avant de DeepSeek, il pourrait devenir un modèle de déploiement IA plus répandu à l’avenir.

Pour la même raison, les PC IA comme celui récemment lancé par Nvidia, pourraient à long terme suffire à exécuter de nombreuses applications IA localement, augmentant la confidentialité et la sécurité comparées aux IA toujours connectées au cloud.

Conclusion

Le matériel IA a, pendant un certain temps, été en partie synonyme de GPU, les cartes graphiques étant beaucoup plus efficaces pour l’entraînement IA que d’autres types de matériel comme les CPU. Cela a fait la fortune de Nvidia et de nombreux de ses premiers actionnaires.

Les GPU, en particulier les « super GPU » axés IA, resteront probablement importants dans la construction des centres de données IA. Mais ils évolueront pour ne devenir qu’un des composants de systèmes de plus en plus complexes et spécialisés.

Les opérations de transformers seront envoyées aux TPU, les réseaux neuronaux aux NPP, les tâches répétitives aux ASIC dédiés ou aux FPGA reconfigurés.

Entre‑temps, la mémoire à large bande passante, les connecteurs de télécommunication avancés et le refroidissement ultra‑efficace maintiendront toutes les fonctions auxiliaires autour du cœur de calcul en fonctionnement.

Pour l’edge computing et les IA plus petites que les LLM massifs, le calcul local, peut‑être alimenté par des XPU tout‑en‑un, sera probablement utilisé par les scientifiques, les voitures autonomes et les utilisateurs soucieux de la confidentialité ou de la censure, potentiellement avec des modèles IA open‑source.

Ce qui est sûr, c’est que les profits provenant de la vente des « pioches et pelles » du matériel IA dans la ruée vers l’or de l’IA sont loin d’être terminés.

Après une période de domination de Nvidia, les investisseurs pourraient vouloir diversifier les risques en répartissant leur portefeuille matériel IA vers d’autres conceptions, et peut‑être même les entreprises de services publics qui fourniront les précieux gigawatts nécessaires au fonctionnement des centres de données IA de plus en plus grands et nombreux dans le monde.