Invertir en hardware de IA: De CPUs a XPUs

Invertir en hardware de IA: Enfoque de picos y palas

AI is promising to be the most important change in our economy, productive systems, and society in the past few decades, potentially making even the radical changes brought by the Internet trivial in comparison.

Se prevé que la IA sea el cambio más importante en nuestra economía, sistemas productivos y sociedad en las últimas décadas, llegando a hacer que incluso los cambios radicales provocados por Internet parezcan triviales en comparación.

Podría hacer desaparecer toda una categoría de empleos, incluidos conductores, traductores, soporte al cliente, diseñadores web, etc. Otros empleos podrían ver una reducción radical en la demanda, como programadores, abogados de nivel inicial, diagnósticos, etc.

También debería crear mucho valor y productividad adicional para muchas otras tareas, y es probable que las principales empresas de software de IA sean las primeras en alcanzar capitalizaciones de mercado previamente inimaginables.

Por todas estas razones, los mercados de capital y los inversores están fascinados con la IA y prestan mucha atención al progreso de los gigantes tecnológicos en IA, así como a la fuerte competencia que surge de los gigantes tecnológicos chinos como Alibaba y startups como DeepSeek.

Otra forma de participar en la fiebre de la IA es seguir la estrategia que funciona en cada fiebre del oro: no buscar el oro, sino vender los picos y las palas. Esto ha funcionado claramente para las empresas que se encontraban en la mejor posición para vender hardware optimizado para IA, con Nvidia (NVDA ) que convirtió sus tarjetas gráficas de juego en chips de entrenamiento de IA, convirtiéndose en la empresa más valiosa del mundo, superando la asombrosa capitalización de mercado de $4T (siga el enlace para obtener un informe completo sobre Nvidia).

Porque la IA requiere hardware muy específico, mayormente diferente de otras formas previas de tareas informáticas, y representa una oportunidad de negocio masiva, la industria de semiconductores está ahora en una carrera por desarrollar nuevas formas de hardware diseñadas específicamente para entrenar y ejecutar programas de IA.

Si bien es probable que Nvidia siga siendo una de las principales empresas del sector, ahora están surgiendo alternativas que podrían ofrecer oportunidades interesantes para los inversores que presten atención temprana.

¿Por qué la IA necesita hardware especializado

Muchos cálculos pequeños

Initial efforts in AI used the same computing capacity as other programs, focusing mostly on processors (Central Processing Unit – CPUs). CPUs are still important, but it quickly appeared that they are not optimal for most of the methods used currently to develop AIs.

Los primeros esfuerzos en IA utilizaban la misma capacidad de cómputo que otros programas, enfocándose mayormente en los procesadores (Unidad Central de Procesamiento – CPUs). Las CPUs siguen siendo importantes, pero pronto se dio cuenta de que no son óptimas para la mayoría de los métodos que se usan actualmente para desarrollar IAs.

Las redes neuronales y otros métodos similares requieren muchos cálculos relativamente simples, en lugar de un cálculo muy complejo. Por lo tanto, muchos chips más pequeños trabajando en paralelo suelen ser mejores que CPUs masivas y potentes.

Esto explica en gran parte por qué las GPUs se volvieron rápidamente más populares, ya que las tarjetas gráficas están diseñadas inherentemente para realizar miles de cálculos pequeños en paralelo.

El entrenamiento de IA actual se basa en gran medida en redes neuronales, un concepto que ganó el Premio Nobel de Física en 2024, una recompensa que cubrimos en detalle en un artículo dedicado en ese momento.

Fuente: Nobel Prize

Una segunda revolución en la tecnología de IA llegó con los “transformers”. Resuelven la incapacidad de procesar eficientemente secuencias largas de datos, una característica común de cualquier lenguaje natural.

Introducidos por primera vez en 2017 por investigadores de Google, son la causa raíz de la actual explosión en la capacidad de IA. Los transformers están en el núcleo de productos de IA como los LLM (Modelos de Lenguaje Extenso), incluido ChatGPT.

Requisitos diferentes

Una distinción importante en los flujos de trabajo de IA es la diferencia entre el ajuste fino (fine-tuning) y la inferencia, ambos con requisitos de hardware distintos.

• Ajuste fino implica entrenar un modelo con datos específicos de dominio, requiriendo una potencia de cómputo y memoria significativas. Es una tarea muy técnica, a menudo en el límite de la ciencia de IA.
• Inferencia se centra en usar un modelo ya entrenado para generar resultados, demandando menos potencia computacional pero con mayor énfasis en baja latencia y eficiencia de costos.
  • Esto lo realizan más rutinariamente expertos en IA que despliegan modelos preexistentes para resolver problemas del mundo real.

Así, aunque los costos son obviamente una preocupación tanto para el ajuste fino/entrenamiento como para la inferencia/uso de IA, el entrenamiento a menudo requerirá el mejor hardware posible, mientras que las tareas de uso se centrarán más en el costo del hardware y el consumo de energía al elegir la mejor opción.

CPUs vs GPUs

Unidades de Procesamiento Central (CPUs):

CPUs are general-purpose and not specifically AI hardware. They are, however, still essential for executing instructions and performing basic computations in AI systems.

Las CPUs son de propósito general y no son hardware específico para IA. Sin embargo, siguen siendo esenciales para ejecutar instrucciones y realizar cálculos básicos en los sistemas de IA.

La mayor parte del software que gestiona la interfaz con los usuarios finales de un sistema de IA también será centrado en CPU, ya sea en computadoras individuales o en software basado en la nube.

Fuente: AnandTech

Las CPUs también pueden usarse para IAs muy simples, donde no se requiere hardware dedicado. Esto es especialmente cierto cuando la salida no es particularmente urgente y el procesamiento de IA relativamente más lento de las CPUs no representa un problema.

Así, los modelos pequeños con lotes de datos y cálculos reducidos pueden funcionar bien en CPUs. La omnipresencia de las CPUs en computadoras habituales también las convierte en una buena opción para un usuario promedio que no desea invertir en hardware específico para IA.

Las CPUs también son muy fiables y estables, lo que las convierte en una buena elección para tareas críticas donde la ausencia de errores es un criterio importante.

Por último, las CPUs son útiles para algunas tareas del entrenamiento de IA, generalmente en colaboración con otros tipos de hardware, como carga de datos, formateo, filtrado y visualización.

Unidades de Procesamiento Gráfico (GPUs):

Originally designed for graphics rendering, GPUs are designed for parallel processing, making them ideal for training AI models that require handling large datasets. Switching from CPUs to GPUs has reduced training times from weeks to hours.

Originalmente diseñadas para renderizado gráfico, las GPUs están diseñadas para procesamiento paralelo, lo que las hace ideales para entrenar modelos de IA que requieren manejar grandes conjuntos de datos. Cambiar de CPUs a GPUs ha reducido los tiempos de entrenamiento de semanas a horas.

Debido a su amplia disponibilidad y a la experiencia de los especialistas en TI para trabajar con ellas, las GPUs fueron el primer tipo de hardware informático instalado en serie para escalar la investigación en IA.

Fuente: Aorus

Also instrumental in GPUs’ success was the development of CUDA by Nvidia, a general-purpose programming interface for NVIDIA’s GPUs, opening the door for other uses than gaming. This was done because some researchers were already using GPUs to perform calculations instead of the usual supercomputers.

“Researchers realized that by buying this gaming card called GeForce, you add it to your computer, you essentially have a personal supercomputer.

Molecular dynamics, seismic processing, CT reconstruction, image processing—a whole bunch of different things.”

Jensen Huang, en una entrevista con Sequoia

Today, GPUs are still among the most sought-after types of AI hardware, with Nvidia barely managing to produce enough to satisfy the demand of tech giants building gigawatt-scale AI data centers.

Hoy, las GPUs siguen siendo uno de los tipos de hardware de IA más demandados, y Nvidia apenas logra producir lo suficiente para satisfacer la demanda de los gigantes tecnológicos que construyen centros de datos de IA a escala de gigavatios.

También marca el inicio de la “era de super GPU”, con el reciente lanzamiento por parte de Nvidia del GB200 NVL72.

Este hardware está diseñado para actuar como una única GPU masiva directamente de fábrica, en lugar de tener que interconectar muchas pequeñas. Lo hace mucho más potente que incluso el modelo H100, que previamente batió récords.

Fuente: Nvidia

Esto también debería ser mucho más eficiente energéticamente, un punto crucial ya que la industria de IA podría quedarse sin energía antes de quedarse sin chips, dada la velocidad a la que se están construyendo los centros de datos de IA. Además, mayor eficiencia de cómputo y energía implica menos calor residual, lo que también resuelve temporalmente el problema de sobrecalentamiento.

El auge de los ASIC y el hardware de IA

Application-Specific Integrated Circuits (ASICs) are computing hardware designed specifically for a given computing task, making them even more specialized than still relatively generalist GPUs.

Los circuitos integrados de aplicación específica (ASICs) son hardware de cómputo diseñados específicamente para una tarea de cálculo determinada, lo que los hace aún más especializados que las GPUs, que siguen siendo relativamente generalistas.

Por lo tanto, son menos flexibles y programables que el hardware de propósito general.

En regla, tienden a ser más complejos. También suelen ser más costosos, tanto por la falta de economías de escala en su producción como por el costo de los diseños personalizados.

Sin embargo, son mucho más eficientes en su tarea específica, normalmente producen resultados más rápido con mucho menos consumo de energía y potencia de cómputo desperdiciada.

Los ASIC y otros hardware específicos para IA están aumentando su uso, ya que el campo está notando progresivamente que algunos cálculos no se realizan idealmente en GPUs y requieren equipos más especializados.

Unidades de Procesamiento de Tensores (TPUs)

Los TPUs fueron desarrollados por Google (GOOGL ) específicamente para realizar cálculos de tensores (relacionados con cálculos basados en transformers). Están optimizados para alto rendimiento y aritmética de baja precisión.

Fuente: C#Corner

Esto otorga a los TPUs alto rendimiento, eficiencia y escalabilidad para el entrenamiento de grandes redes neuronales.

Los TPUs poseen características especializadas, como la unidad de multiplicación de matrices (MXU) y una topología de interconexión propietaria, que los hacen ideales para acelerar el entrenamiento y la inferencia de IA.

Los TPUs impulsan Gemini y todas las aplicaciones de IA de Google, como Search, Photos y Maps, sirviendo a más de 1 mil millones de usuarios.

Este tipo de hardware puede acelerar significativamente el desarrollo y funcionamiento de redes neuronales, donde el error ocasional es menos relevante, ya que estos modelos dependen en gran medida de estadísticas y de un gran número de cálculos.

Entre las tareas de usuario final, las más adecuadas para los TPUs son el aprendizaje profundo, el reconocimiento de voz y la clasificación de imágenes.

Procesadores de Redes Neuronales (NNPs):

Also linked to Neural Processing Units (NPUs) and called neuromorphic chips, NPPs are specialized in neural network computation, designed to mimic the neural connections in the human brain. They are also sometimes called an AI accelerator, although this term is less well-defined.

También vinculados a Unidades de Procesamiento Neural (NPUs) y llamados chips neuromórficos, los NPP son especializados en el cálculo de redes neuronales, diseñados para imitar las conexiones neuronales del cerebro humano. También se les llama a veces aceleradores de IA, aunque este término está menos definido.

Una NPU también integrará almacenamiento y cómputo a través de pesos sinápticos. Así puede ajustarse o “aprender” con el tiempo, lo que lleva a una mayor eficiencia operativa.

Una NPU incluye módulos específicos para multiplicación y suma, funciones de activación, operaciones de datos 2D y descompresión.

El módulo especializado de multiplicación y suma se utiliza para ejecutar operaciones relevantes al procesamiento de aplicaciones de redes neuronales, como cálculo de multiplicación y suma de matrices, convolución, producto punto y otras funciones.

La especialización puede ayudar a una NPU a completar una operación con un solo cálculo en lugar de varios miles con hardware generalista. Por ejemplo, IBM afirma que la NPU puede mejorar radicalmente la eficiencia del cálculo de IA en comparación con las GPUs.

“Las pruebas han demostrado que el rendimiento de algunas NPUs es más de 100 veces superior al de una GPU comparable, con el mismo consumo de energía.”

Debido a esta eficiencia energética, las NPUs son populares entre los fabricantes para instalarlas en dispositivos de usuario, donde pueden ayudar a realizar localmente tareas para aplicaciones de IA generativa, un ejemplo de “computación en el borde”. (ver más abajo sobre ese tema).

Actualmente se están explorando muchos métodos para crear chips neuromórficos:

• Aprovechar la ferroelectricidad incipiente, un fenómeno aún poco comprendido.
• Sustrato activo usando vanadio o titanio.
• Usar memristores, un nuevo tipo de componente electrónico, que puede realizar tareas de IA a 1/800^thde la potencia normal.

Auxiliar Procesamiento Unidad (XPUs)

XPU merges together CPU (processor), GPU (graphics card / parallel processors), and memory into the same electronic device.

XPU combina en un mismo dispositivo electrónico la CPU (procesador), la GPU (tarjeta gráfica / procesadores paralelos) y la memoria.

Fuente: Broadcom

XPUs es un término amplio, que abarca muchas variaciones de este concepto de integrar todo el hardware en unidades autónomas, incluyendo Unidades de Procesamiento de Datos (DPUs), Unidades de Procesamiento de Infraestructura (IPUs) y Tarjetas Aceleradoras de Funciones (FACs).

Se considera que los XPUs resuelven un problema creciente de los centros de datos de IA, que es la creciente necesidad de conectividad entre las subunidades, al punto de que la latencia de datos se convierte en un factor importante que ralentiza el cómputo, más que la potencia de cálculo disponible.

Esencialmente, los chips (GPUs, TPUs, NPPs, etc.) están esperando los datos tanto como están trabajando.

Un líder de esta tecnología es Broadcom (AVGO ), que discutimos en detalle en un informe de inversión dedicado.

Matrices de Puertas Programables en Campo (FPGAs):

FPGAs are programmable processors, making them significantly more flexible and reconfigurable than the more rigid ASICs. FPGAs can be customized for specific AI algorithms, potentially offering higher performance and energy efficiency.

Los FPGAs son procesadores programables, lo que los hace significativamente más flexibles y reconfigurables que los ASICs más rígidos. Los FPGAs pueden personalizarse para algoritmos de IA específicos, ofreciendo potencialmente mayor rendimiento y eficiencia energética.

Fuente: Microcontrollers Labs

La flexibilidad tiene un costo, ya que los FPGAs suelen ser más complejos, caros y consumen más electricidad. Sin embargo, aún pueden ser más eficientes que el hardware generalista.

Esto los convierte en un producto algo de nicho, donde su flexibilidad compensa las desventajas. Por ejemplo, el aprendizaje automático, la visión por computadora y el procesamiento de lenguaje natural pueden beneficiarse de la versatilidad de los FPGAs.

Memoria de Alto Ancho de Banda (HBM):

The most important developments in custom AI-centric hardware have been in the field of computing power, for a long time the chokepoint in building more computing capacity to train new AIs.

Los desarrollos más importantes en hardware personalizado centrado en IA han sido en el campo de la potencia de cómputo, que durante mucho tiempo ha sido el cuello de botella para construir mayor capacidad de cálculo para entrenar nuevas IAs.

Aún así, estos sistemas también necesitan sistemas de soporte de alta eficiencia, entre los cuales la memoria es importante. HBM ofrece, como indica su nombre, mayor ancho de banda que la DRAM tradicional.

Se logra apilando múltiples chips DRAM verticalmente y conectándolos mediante vías a través del silicio (TSVs). La primera generación de HBM se desarrolló en 2013.

El apilamiento vertical ahorra espacio y reduce la distancia física que los datos deben recorrer, acelerando la transferencia de datos, algo imprescindible en el cómputo de IA.

Los HBM son más complejos de fabricar y más caros que la DRAM, pero los beneficios de rendimiento y eficiencia energética a menudo justifican el mayor costo para aplicaciones de IA.

Infraestructura de centros de datos de IA: Energía, refrigeración y conectividad

Besides the memory and computing power, the auxiliary systems of AI data centers are also important. Without them, the data cannot circulate fast enough, the chips would overheat, or the power available would be insufficient.

Además de la memoria y la potencia de cálculo, los sistemas auxiliares de los centros de datos de IA también son importantes. Sin ellos, los datos no pueden circular lo suficientemente rápido, los chips se sobrecalentarían o la energía disponible sería insuficiente.

Esto significa que, por ejemplo, el hardware de conectividad de Broadcom también se beneficia enormemente del crecimiento de los centros de datos de IA, al igual que soluciones especializadas como proveedores de equipos de refrigeración, por ejemplo, Vertiv (VRT ) o Schneider Electric (SU.PA).

El suministro de energía también podría convertirse en un problema, y varios gigantes tecnológicos están intentando abordarlo apostando por la energía nuclear, con el primer movimiento de Microsoft en 2024, seguido por muchos otros desde entonces.

Combinado con el compromiso de reducir la huella de carbono de la IA por parte de las empresas tecnológicas, esto debería beneficiar enormemente a las compañías del sector energético nuclear o renovable, como Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), o Brookfield Energy Partners (BEP ) (siga los enlaces para un informe sobre cada empresa).

Tecnologías emergentes de cómputo de IA

Computación cuántica

Because AI is so hungry for computing power, it is possible that the future of the field’s hardware is not even with the currently available silicon solutions.

Debido a que la IA demanda tanta potencia de cómputo, es posible que el futuro del hardware del sector no se base en las soluciones de silicio disponibles actualmente.

Una posibilidad es que la computación cuántica pueda usarse para detectar patrones mucho más eficientemente que la computación clásica, algo ya explorado por investigadores.

La computación cuántica en su conjunto podría usarse para resolver cálculos específicos que son casi imposibles con la computación binaria. Es probable que esto se aplique finalmente a la IA, pero las primeras computadoras cuánticas comerciales aún están a varios años de distancia, y una gran red cuántica aún más lejos.

Fotónica

Using light instead of electrons to carry data, photonics could be much quicker than electronic devices.

Al usar luz en lugar de electrones para transportar datos, la fotónica podría ser mucho más rápida que los dispositivos electrónicos.

Debido a que las computadoras cuánticas suelen transportar datos cuánticos con fotones entrelazados, existe también una gran superposición entre la computación cuántica y la fotónica, y el primer chip cuántico-fotónico dual ya ha sido anunciado.

Organoides

As most AI replicates in computers the functioning of the brain’s neural networks, some researchers are wondering if we could not instead use … actual brain cells.

Como la mayoría de la IA replica en computadoras el funcionamiento de las redes neuronales del cerebro, algunos investigadores se preguntan si podríamos usar… células cerebrales reales.

Esta es una idea intrigante, especialmente porque algunas investigaciones podrían indicar que el cerebro es en realidad una computadora cuántica orgánica.

Este tipo de “computadora” se llama organoides, y esencialmente consiste en neuronas cultivadas en laboratorio sobre un chip informático. Las neuronas luego autoorganizan sus dendritas y conexiones en respuesta al estímulo del chip.

Esta tecnología aún es nueva y se basa en la bioimpresión 3D.

Otros

We explored other alternatives to silicon computing in “Top 10 Non-Silicon Computing Companies”, such as vanadium dioxide, graphene, redox gating, or organic materials.

Exploramos otras alternativas a la computación de silicio en “Top 10 Non-Silicon Computing Companies”, como el dióxido de vanadio, el grafeno, la compuerta redox o materiales orgánicos.

Cada una promete ser mucho más rápida o mucho menos intensiva en energía que la computación clásica basada en silicio. Sin embargo, siguen siendo relativamente nuevas y es poco probable que revolucionen el campo de la IA a escala comercial, al menos durante los próximos 5‑10 años.

IA en la nube y IA en el borde: Tendencias de accesibilidad

IA en la nube

As the most powerful AI systems are made by large tech companies, they are mostly accessible through the cloud. The same is becoming true for access to AI-specialized hardware itself.

Como los sistemas de IA más potentes son creados por grandes empresas tecnológicas, la mayoría son accesibles a través de la nube. Lo mismo está ocurriendo para el acceso al hardware especializado en IA.

El líder de esta tendencia es Coreweave (CRCW ), una empresa que pasó de ser proveedor de nube a la minería de criptomonedas usando GPUs, y hoy ofrece cómputo de IA bajo demanda.

Esto convirtió a CoreWeave en un socio clave de las nuevas startups de IA que intentan competir con los gigantes tecnológicos, como Inflection AI and its $1.3B GPU cluster, funded by a fresh funding round.

“Hace dos meses, una empresa podría no haber existido, y ahora puede tener $500 millones de financiación de capital de riesgo.

Y lo más importante para ellos es asegurar el acceso al cómputo; no pueden lanzar su producto o su negocio hasta que lo tengan,”

Brian Venturo – CoreWeave CTO

A medida que el jugador puro en hardware de IA se vuelve cauteloso ante la producción de sus propias GPUs, TPUs, XPUs, etc., por parte de los gigantes tecnológicos y evoluciona de cliente a competidor, es probable que empresas como CoreWeave obtengan acceso prioritario a los últimos lanzamientos de hardware de Nvidia y otros.

Este modelo de negocio probablemente será especialmente importante para el entrenamiento de IA, que exige mucho más capacidad de cómputo que simplemente usar IAs ya entrenadas.

Computación en el borde y PC de IA

Another case of AI computing that is quickly evolving is the need to have the computing of AI systems done on-site, as close as possible to real-life situations.

Otro caso de cómputo de IA que está evolucionando rápidamente es la necesidad de que el procesamiento de los sistemas de IA se realice in situ, lo más cerca posible de situaciones reales.

Esto es indispensable para sistemas que podrían no tolerar estar desconectados de la IA si la conexión falla, o cuando la latencia de ida y vuelta con la nube es demasiado lenta.

Un buen ejemplo son los coches autónomos, que se espera comprendan su entorno sin conexión.

Este tipo de cálculo se denomina computación en el borde, y se beneficia enormemente de hardware más eficiente y con menor consumo energético.

Puede aumentar la fiabilidad de la IA, y a medida que los modelos se vuelvan más eficientes, como lo ilustra el gran avance de DeepSeek, podría convertirse en un modelo más frecuente de despliegue de IA en el futuro.

Por la misma razón, los PC de IA, como el recientemente lanzado por Nvidia, podrían a largo plazo ser suficientes para ejecutar muchas aplicaciones de IA localmente, aumentando la privacidad y la seguridad en comparación con estar siempre conectados a IAs en la nube.

Conclusión

AI hardware has, for a while, been somewhat synonymous with GPUs, as graphics cards were a lot more efficient at AI training than other types of hardware like CPUs. This made the fortune of Nvidia and of many of its early shareholders.

El hardware de IA ha sido, durante un tiempo, casi sinónimo de GPUs, ya que las tarjetas gráficas eran mucho más eficientes en el entrenamiento de IA que otros tipos de hardware como las CPUs. Esto generó la fortuna de Nvidia y de muchos de sus primeros accionistas.

Las GPUs, especialmente las “super GPUs” enfocadas en IA, probablemente seguirán siendo importantes en la construcción de centros de datos de IA. Pero evolucionarán hasta convertirse en solo uno de los componentes de sistemas cada vez más complejos y especializados.

Las operaciones de transformers se enviarán a los TPUs, las redes neuronales a los NPP, las tareas repetitivas a ASICs dedicados o a FPGAs reconfigurados.

Mientras tanto, la memoria de alto ancho de banda, los conectores de telecomunicaciones avanzados y la refrigeración ultraeficiente mantendrán en funcionamiento todas las funciones auxiliares alrededor del núcleo de cómputo.

Para la computación en el borde y IAs más pequeñas que los enormes LLMs, la computación local, quizás impulsada por XPUs todo-en-uno, probablemente será utilizada por científicos, coches autónomos y usuarios preocupados por la privacidad o la censura, potencialmente con modelos de IA de código abierto.

Lo que es seguro es que las ganancias por vender los “picos y palas” del hardware de IA en la fiebre del oro de la IA están lejos de terminar.

Después de un período de dominación por parte de Nvidia, los inversores podrían querer diversificar riesgos ampliando su cartera de hardware de IA a otros diseños, e incluso a las compañías de servicios eléctricos que proporcionarán los preciosos gigavatios para operar los cada vez más grandes y numerosos centros de datos de IA en el mundo.