Consumo de energía descontrolado – Usando IA para mejorar la IA

Creciendo rápidamente, el mercado de inteligencia artificial (IA) está proyectado para alcanzar $1.8 trillion al final de esta década. 

Aunque la fiebre por la IA comenzó a ganar tracción temprana en 2021, solo el año pasado la IA realmente encontró su gran avance. De hecho, su crecimiento fue tal que todo lo relacionado con la IA, desde soluciones hasta su uso, comenzó a dispararse, impulsando la inversión en IA generativa a niveles estratosféricos. 

Cuando sistemas de IA generativa como ChatGPT demostraron nuevas capacidades, todos quisieron una porción de este pastel de rápido crecimiento. Además, la mayor parte de esta inversión privada se está realizando en EE. UU.

Respaldando estas herramientas populares están los modelos fundacionales como GPT‑4 en el caso de ChatGPT de OpenAI. Estos grandes modelos multipropósito requieren conjuntos de datos masivos y vastos recursos para su entrenamiento. Los modelos fundacionales sirven como punto de partida para desarrollar modelos de aprendizaje automático (ML) que impulsan aplicaciones novedosas de manera rentable y más rápida.

El gigante tecnológico Google ha lanzado varios modelos fundacionales; Imagen, Muse y Parti son modelos de texto‑a‑imagen, MedLM para la industria de la salud, el modelo de codificación llamado Codey y el modelo universal de voz Chirp.

Estos modelos consumen cantidades sin precedentes de memoria, incluyendo mucha más memoria para almacenar y recuperar los datos del mundo real con los que operan. Por ejemplo, GPT‑3 se entrenó con aproximadamente 500 mil millones de palabras y utiliza 175 mil millones de parámetros. Esto ha provocado que la demanda de energía de la IA se dispare.

En los últimos años, el impacto ambiental de la IA se ha reportado ampliamente. A finales del año pasado, un análisis revisado por pares intentó cuantificar esta demanda. 

Después de discutir los enormes costos energéticos de la minería de criptomonedas, Alex de Vries, científico de datos del banco central de los Países Bajos y candidato a doctorado en la Vrije University Amsterdam, ha dirigido su atención a la última tendencia tecnológica: la adopción de IA. Según su última evaluación, NVIDIA enviará 1.5 millones de unidades de servidores de IA al año para 2027. Cuando operen a plena capacidad, se proyecta que estos servidores consuman al menos 85.4 teravatios‑hora de electricidad al año. 

De Vries estima que la IA podría ser potencialmente peor que las redes de Prueba de Trabajo (PoW) como Bitcoin. Sin embargo, estas son solo estimaciones, y los expertos señalan que estas cifras no son completas y dependen de múltiples factores.

En diciembre pasado, Sasha Luccioni de la empresa de IA Hugging Face y sus colegas de la firma y de la Universidad Carnegie Mellon también realizaron pruebas en 88 modelos diferentes. Ejecutaron la tarea 1 000 veces y descubrieron que la mayoría de las tareas usan una pequeña cantidad de energía, como 0.047 kWh, para generar texto. Sin embargo, las cifras fueron mucho mayores para los modelos de generación de imágenes, que usaron un promedio de 2.907 kWh por 1 000 inferencias. Como referencia, señalaron que un smartphone promedio consume 0.012 kWh al cargarse.

Mientras tanto, un artículo reciente estimó que los grandes modelos de lenguaje utilizan alrededor de 1 300 megavatios‑hora de electricidad, lo que equivale al consumo energético de 130 hogares en EE. UU al año.

La Agencia Internacional de Energía también señaló en su informe a principios de este año que la demanda de IA y criptomonedas provocará un aumento considerable del consumo eléctrico de los centros de datos en el futuro cercano. Se espera que el incremento pase de 460 teravatios‑hora en 2022 a entre 620 y 1 050 TWh en 2026.

Esto ha llamado la atención de los reguladores, que ahora advierten sobre el creciente costo de la IA. Según el senador de Massachusetts Edward Markey (D):

“El desarrollo de la próxima generación de herramientas de IA no puede hacerse a costa de la salud de nuestro planeta.” 

Esto se produjo después de que él, junto con otros senadores y representantes, presentara un proyecto de ley que exige al gobierno federal evaluar la huella ambiental de la IA y desarrollar un sistema estandarizado para reportar futuros impactos. En Europa, la Ley de IA ya ha sido aprobada, lo que obliga a los poderosos modelos fundacionales a reportar su uso de recursos, consumo energético y otros impactos.

En medio de todo esto, la Organización Internacional de Normalización emitirá criterios más adelante este año para medir el uso de materiales, consumo de agua y eficiencia energética para la “IA sostenible”. 

Making AI More Efficient 

Para ser viables a gran escala, los modelos de IA deben volverse más eficientes energéticamente y capaces de ejecutarse en dispositivos con limitaciones de energía que consumen significativamente menos potencia que los centros de datos. 

Estos centros de datos requieren enormes cantidades de energía para mantener los ordenadores en funcionamiento, la mayor parte de la cual proviene de combustibles fósiles. Esto genera emisiones significativas de CO2e. Para abordar esto, investigadores y organizaciones han estado trabajando en hacer la IA más eficiente. 

Una empresa destacada que ha logrado avances significativos en la búsqueda de una solución a este problema es la especialista en optimización de código con sede en Londres, TurinTech. TurinTech está avanzando mediante una combinación de aprendizaje profundo y algoritmos evolutivos. Este sistema adapta continuamente un modelo existente basándose en nueva información en lugar de regenerarlo desde cero. 

Según Harvey Lewis de Ernst and Young UK, los algoritmos evolutivos o genéticos y los métodos estadísticos bayesianos pueden hacer que el aprendizaje profundo sea más eficiente, y el hardware especializado puede reducir su costo.

Otro método sugerido es conectar la IA basada en datos con otras aportaciones científicas o humanas sobre el dominio de la aplicación. Pushkar P. Apte, director de iniciativas estratégicas en CITRIS, y Costas J. Spanos, director de CITRIS, escribieron sobre cuatro formas de lograr esto:

• Sinergizar la IA con leyes científicas.
• Aumentar los datos con conocimientos expertos humanos.
• Utilizar dispositivos para explicar cómo la IA toma decisiones.
• Usar otros modelos para predecir el comportamiento.

Más recientemente, la startup EnCharge logró un avance en IA que podría mejorar drásticamente el consumo energético de estos modelos de IA al realizar predicciones. La empresa utilizó su financiación de DARPA para reducir el uso de memoria al realizar parte del trabajo en circuitería de memoria analógica, que puede ejecutar acumulaciones de multiplicación de matrices en paralelo con bajo consumo energético en lugar de transistores tradicionales. 

“Así es como se resuelve el problema del movimiento de datos.” 

– Naveen Verma, CEO de EnCharge AI y profesor del Departamento de Ingeniería Eléctrica en Princeton 

Añadió además que, en lugar de comunicar bits individuales, el resultado reducido se comunica en forma de la acumulación de numerosas multiplicaciones paralelas.

EnCharge AI ha logrado procesar 150 billones de operaciones por segundo por vatio. Sin embargo, la computación analógica es extremadamente difícil de lograr, y los intentos anteriores no han sido fructíferos.

Mientras tanto, investigación del profesor asistente de tenure-track Raghavendra Selvan del Departamento de Ciencias de la Computación de la UCPH el año pasado exploró diferentes formas de reducir la huella de carbono del ML. A nivel micro, los algoritmos pueden hacerse más rápidos y eficientes para reducir el uso de recursos. Según él, esto podría lograrse investigando cómo reducir la cantidad de bits utilizados en los cálculos y cómo disminuir los cálculos redundantes. 

También sugirió evaluar la necesidad de todos los datos almacenados. Así, a nivel macro, al observar cuándo y dónde se realizan los cálculos (muchos de los cuales no son críticos en tiempo), se pueden elegir horas fuera de pico para entrenar los sistemas de IA, reduciendo los costos de las sesiones de entrenamiento y su huella de carbono. 

Using AI to Make AI Better 

Ahora, Selvan ha creado un punto de referencia para diseñar modelos de IA que consumen mucho menos energía sin afectar su rendimiento. Sin embargo, esto requiere utilizar la cantidad de energía consumida y la huella de carbono como estándar para diseñar y entrenar estos modelos de IA.

Para ello, se estudiaron 429 000 modelos de subtipos de IA. Estas redes neuronales convolucionales, que se utilizan para traducción de idiomas, reconocimiento facial, detección de objetos y análisis de imágenes médicas, se estima que requieren hasta 263 000 kWh de energía solo para entrenarse. 

Para ponerlo en perspectiva, 263 000 kWh es aproximadamente la misma energía que consume el ciudadano danés promedio en más de cuatro décadas. Una computadora tardaría un siglo en completar todo este entrenamiento. 

Este uso colosal de energía ha llevado a la industria a trabajar para hacerlo amigable con el clima; sin embargo, el desarrollo de modelos de IA energéticamente eficientes aún no se ha convertido en una realidad. Según Selvan, quien está investigando posibilidades para reducir la huella de carbono de la IA:

“Hoy, los desarrolladores se centran estrechamente en construir modelos de IA que sean efectivos en términos de la precisión de sus resultados.” 

Comparó este comportamiento con un coche, que se considera bueno solo porque lleva a la gente a su destino rápidamente sin considerar su consumo de combustible. Añadió además:

“Como resultado, los modelos de IA a menudo son ineficientes en cuanto al consumo de energía.” 

Su nuevo estudio, realizado con el estudiante de CS Pedram Bakhtiarifard, pretende cambiar esto demostrando que es posible limitar una gran cantidad de CO2e mientras se mantiene la precisión de un modelo de IA intacta.

Para lograr esto, los investigadores de la UCPH señalaron que necesitamos un modelo energéticamente eficiente desde el principio. Esto implica considerar los costos climáticos al diseñar y durante el proceso intensivo en energía de entrenar modelos de IA. Selvan dijo que de esta manera, la huella de carbono puede reducirse en “cada fase del ‘ciclo de vida’ del modelo”, lo que incluye tanto el entrenamiento como el despliegue del modelo.

Así, los investigadores calcularon la energía que se necesita para entrenar cientos de miles de estos modelos de IA. Curiosamente, los investigadores de la UCPH no entrenaron los modelos, sino que los estimaron usando otro modelo de IA. De esta forma, pudieron ahorrar la gran mayoría, el 99 %, de la energía que de otro modo habría requerido.

Ahora, basándose en sus cálculos, el equipo ha presentado una colección de referencia de modelos de IA que rinden aproximadamente al mismo nivel pero usan menos energía para completar una tarea.

Según el estudio, ajustar los modelos o usar otros tipos de modelos puede ahorrar hasta un 80 % de energía durante las etapas de entrenamiento y aplicación. En cuanto al rendimiento, ha habido poco o ningún compromiso (solo un 1 % o incluso menos). Estos números son en realidad conservadores, según los investigadores. 

“Consideren nuestros resultados como un libro de recetas para los profesionales de IA. Las recetas no solo describen el rendimiento de diferentes algoritmos, sino también cuán eficientes son energéticamente.” 

– Bakhtiarifard

Añadió además que al simplemente intercambiar un ingrediente en el diseño del modelo por otro, “a menudo podemos lograr el mismo resultado”. Esto significa que los practicantes no necesitan entrenar cada modelo primero; pueden simplemente elegir uno basándose tanto en el rendimiento como en el consumo energético.

Dado que varios modelos se entrenan antes de encontrar la opción más adecuada para una tarea particular, lo que hace que el desarrollo de IA sea “extremadamente intensivo en energía”, Bakhtiarifard dijo, “sería más amigable con el clima elegir el modelo correcto desde el principio”, y además, elegir aquel que no consuma una potencia significativa durante la fase de entrenamiento.

Aunque en áreas como los coches autónomos y la medicina la precisión del modelo es crítica para la seguridad, y por tanto no podemos comprometer el rendimiento allí, los investigadores señalaron que esto no debería disuadirnos de intentar lograr una alta eficiencia energética en otros dominios. 

El estudio, según ellos, muestra que se puede encontrar un mejor compromiso con la eficiencia energética como estándar en el desarrollo de modelos de IA, como ocurre en muchos sectores. Según Selvan:

“La IA tiene un potencial asombroso. Pero si queremos garantizar un desarrollo de IA sostenible y responsable, necesitamos un enfoque más holístico que no solo tenga en cuenta el rendimiento del modelo, sino también el impacto climático.” 

El punto de referencia, llamado EC‑NAS, es de código abierto y puede ser utilizado por otros científicos y empresas para avanzar en la investigación de búsqueda de arquitectura neuronal (NAS). El estudio dijo que la utilización de algoritmos de optimización multi‑objetivo logra un equilibrio entre el uso de energía y la precisión. “Con sus métricas diversas, EC‑NAS invita a más investigaciones para desarrollar modelos energéticamente eficientes y ambientalmente sostenibles”, afirmó el estudio..

AI-based Energy Solutions

Ahora, echemos un vistazo a las empresas que están abordando el sector energético mediante tecnología y trabajando activamente en ofrecer soluciones energéticas basadas en IA:

#1. GE Renewable Energy

La empresa utiliza tecnología de IA/ML desarrollada internamente para predecir con precisión y optimizar los costos logísticos del proceso de logística de turbinas eólicas. Este año, GE lanzó Proficy para fabricantes con el fin de lograr sostenibilidad mientras ayuda a maximizar la rentabilidad. También desplegó CERius impulsado por IA para mejorar la precisión de los informes.

A principios de este mes, General Electric se dividió en tres compañías separadas, centradas en aviación, energía y atención médica, y comenzó a cotizar en NYSE como entidades distintas. Por lo tanto, su división de energía ahora se llama GE Vernova (GEV) y tiene una capitalización de mercado de $36 billion como sus acciones cotizando a 131.75. En 2023, la empresa aseguró su mayor pedido para apoyar un proyecto eólico en EE. UU que suministrará 2.4 GW al proyecto SunZia. Goldman Sachs proyecta que la compañía tendrá un EBITDA de $4bln para 2026.

#2. Schneider Electric

La empresa francesa de $34.2bln aprovecha la IA para mejorar la eficiencia y la productividad, así como para abordar el desafío del cambio climático. El uso de IA de Schneider Electric gira en torno a la visualización de datos e ingeniería, la optimización y simulación, y la modelización de la fiabilidad. 

La compañía registró €36 mil millones en ingresos para el año fiscal 2023, lo que representa un aumento del 13 %. Schneider Electric también reportó un ingreso neto de €4 mil millones y un flujo de caja libre de €4.6 mil millones. 

Conclusion

La IA es la revolución tecnológica de esta década. Dado que la integración de la IA ha demostrado reducir costos y aumentar los ingresos de las empresas, al tiempo que brinda mejores ganancias de eficiencia para los trabajadores, está claramente más que una palabra de moda. Los sistemas de IA están superando a los humanos en una variedad de tareas, aunque seguimos siendo mejores que ellos en tareas cognitivas complejas.

Sin embargo, conlleva su propio conjunto de riesgos en términos de privacidad, sesgos algorítmicos y, como discutimos arriba, el impacto ambiental negativo. Una encuesta global sobre actitudes hacia la IA también muestra que la gente está nerviosa respecto a esta nueva tecnología, aunque la mayoría la ve cambiando sus vidas cotidianas en los próximos años. La generación más joven es más optimista sobre la IA. 

A medida que la IA sigue convirtiéndose en una parte importante de nuestras vidas, gobiernos, científicos y empresas se están uniendo para abordar sus riesgos. Los reguladores ya han comenzado a focalizar la industria, con más de 30 países que han aprobado al menos una ley relacionada con la IA en los últimos siete años. A medida que se produzcan más avances tecnológicos, veremos que la IA se vuelve más eficiente y transforma nuestro mundo. 

Haga clic aquí para aprender todo sobre la inversión en inteligencia artificial.