Consommation d’énergie incontrôlée – Utiliser l’IA pour améliorer l’IA

Croissant rapidement, le marché de l’intelligence artificielle (IA) est prévu d’atteindre $1.8 trillion by the end of this decade. 

Alors que la frénésie de l’IA a commencé à gagner du terrain dès 2021, c’est seulement l’année dernière que l’IA a réellement trouvé son essor. En fait, sa croissance était telle que tout ce qui concerne l’IA, des solutions à l’utilisation, a commencé à exploser, poussant les investissements dans l’IA générative à des sommets. 

Lorsque des systèmes d’IA générative comme ChatGPT ont démontré de nouvelles capacités, tout le monde a voulu une part de cette part de marché en pleine expansion. De plus, la plupart de ces investissements privés se font aux États-Unis.

Sous-jacents à ces outils populaires se trouvent des modèles de base tels que GPT-4 dans le cas de ChatGPT d’OpenAI. Ces grands modèles polyvalents nécessitent d’énormes ensembles de données et d’importantes ressources pour l’entraînement. Les modèles de base servent de point de départ pour développer des modèles d’apprentissage automatique (ML) qui alimentent de nouvelles applications de manière rentable et plus rapide.

Le géant technologique Google a publié plusieurs modèles de base ; Imagen, Muse, et Parti sont des modèles texte‑à‑image, MedLM pour le secteur de la santé, le modèle de codage appelé Codey, et le modèle universel de parole Chirp.

Ces modèles consomment des quantités de mémoire sans précédent, y compris beaucoup plus de mémoire pour stocker et récupérer les données du monde réel sur lesquelles ils opèrent. Par exemple, GPT-3 est entraîné sur environ 500 milliards de mots et utilise 175 milliards de paramètres. Cela a entraîné une flambée de la demande énergétique de l’IA.

Au cours des dernières années, l’impact environnemental de l’IA a été largement signalé. Fin de l’année dernière, une analyse évaluée par des pairs a tenté de quantifier cette demande. 

Après avoir discuté des coûts énergétiques énormes de l’exploitation minière de cryptomonnaies, Alex de Vries, data scientist à la banque centrale des Pays‑Bas et doctorant à l’Université Vrije d’Amsterdam, a tourné son attention vers la dernière tendance technologique: l’adoption de l’IA. Selon son évaluation la plus récente, NVIDIA expédiera 1.5 million d’unités de serveurs IA par an d’ici 2027. Fonctionnant à pleine capacité, ces serveurs devraient consommer au moins 85.4 terawatt-hours of electricity annually. 

De Vries estime que l’IA pourrait potentiellement être pire que les réseaux Proof-of-Work (PoW) comme le Bitcoin. Cependant, ce ne sont que des estimations, les experts notant que ces chiffres ne sont pas complets et sont conditionnels.

En décembre dernier, Sasha Luccioni de la société d’IA Hugging Face et ses collègues de l’entreprise et de l’Université Carnegie Mellon ont également testé 88 modèles différents. Ils ont exécuté la tâche 1,000 fois et ont constaté que la plupart des tâches utilisent une petite quantité d’énergie, comme 0.047 kWh, pour générer du texte. Cependant, les chiffres étaient beaucoup plus élevés pour les modèles de génération d’images, qui utilisaient en moyenne 2.907 kWh pour 1,000 inferences. Pour mettre cela en perspective, ils ont noté qu’un smartphone moyen consomme 0.012 kWh pour se charger.

Par ailleurs, un récent article a estimé que les grands modèles de langage utilisent environ 1,300 megawatt hours of electricity, which is equivalent to the power consumed by 130 homes in the US annually.

L’Agence internationale de l’énergie a également signalé dans son rapport publié plus tôt cette année que la demande d’IA et de cryptomonnaies entraînera une augmentation considérable de la consommation d’électricité des centres de données dans un avenir proche. Cette hausse devrait passer de 460 terawatt hours in 2022 to between 620 and 1,050 TWh in 2026.

Cela a attiré l’attention des régulateurs, qui avertissent désormais du coût croissant de l’IA. Selon le sénateur du Massachusetts Edward Markey (D):

“Le développement de la prochaine génération d’outils d’IA ne peut se faire au détriment de la santé de notre planète.” 

Cela est intervenu après qu’il ait, avec d’autres sénateurs et représentants, présenté un projet de loi obligeant le gouvernement fédéral à évaluer l’empreinte environnementale de l’IA et à développer un système standardisé de reporting des impacts futurs. En Europe, la loi sur l’IA a déjà été adoptée, obligeant les modèles de base puissants à déclarer leur utilisation de ressources, leur consommation d’énergie et d’autres impacts.

Parallèlement, l’Organisation internationale de normalisation publiera plus tard cette année des critères de mesure de l’utilisation des matériaux, de la consommation d’eau et de l’efficacité énergétique pour une “IA durable”. 

Rendre l’IA plus efficace 

Pour être viables à grande échelle, les modèles d’IA doivent devenir plus économes en énergie et capables de fonctionner sur des appareils à contraintes énergétiques qui utilisent nettement moins d’énergie que les centres de données. 

Ces centres de données nécessitent d’énormes quantités d’énergie pour maintenir les ordinateurs en fonctionnement, énergie provenant principalement de combustibles fossiles. Cela engendre d’importantes émissions de CO2e. Pour y remédier, chercheurs et organisations travaillent à rendre l’IA plus efficace. 

Une entreprise de premier plan qui a réalisé des progrès significatifs dans la recherche d’une solution à ce problème est la société londonienne spécialisée en optimisation de code TurinTech. TurinTech progresse grâce à une combinaison d’apprentissage profond et d’algorithmes évolutionnaires. Ce système adapte continuellement un modèle existant en fonction de nouvelles informations au lieu de le régénérer à partir de zéro. 

Selon Harvey Lewis d’Ernst and Young UK, les algorithmes évolutionnaires ou génétiques et les méthodes statistiques bayésiennes peuvent rendre l’apprentissage profond plus efficace, et le matériel spécialisé peut réduire son coût.

Une autre méthode suggérée consiste à connecter l’IA guidée par les données à d’autres apports scientifiques ou humains concernant le domaine d’application. Pushkar P. Apte, directeur des initiatives stratégiques chez CITRIS, et Costas J. Spanos, directeur de CITRIS, ont écrit sur quatre façons d’y parvenir:

• Synergiser l’IA avec les lois scientifiques.
• Augmenter les données avec les connaissances d’experts humains.
• Utiliser des dispositifs pour expliquer comment l’IA prend des décisions.
• Utiliser d’autres modèles pour prédire le comportement.

Plus récemment, la startup EnCharge a réalisé une percée en IA qui pourrait améliorer considérablement la consommation énergétique de ces modèles d’IA lors des prédictions. L’entreprise a utilisé son financement DARPA pour réduire l’utilisation de mémoire en effectuant une partie du travail dans des circuits de mémoire analogique, capables d’effectuer des accumulations de multiplication de matrices en parallèle à faible énergie au lieu de transistors traditionnels. 

“C’est ainsi que l’on résout le problème de déplacement des données.” 

– Naveen Verma, PDG d’EnCharge AI et professeur au Département de génie électrique de Princeton 

Il a ajouté que plutôt que de communiquer des bits individuels, le résultat réduit est transmis sous forme d’accumulation de nombreuses multiplications parallèles.

EnCharge AI a pu traiter 150 trillion operations per second per watt. However, Analog computing is extremely difficult to achieve, and previous attempts haven’t been fruitful.

Par ailleurs, des recherches menées par le professeur assistant en voie de titularisation Raghavendra Selvan du Département d’informatique de l’UCPH l’année dernière ont exploré différentes manières de réduire l’empreinte carbone du ML. À un niveau micro, les algorithmes peuvent être rendus plus rapides et plus efficaces afin de réduire l’utilisation des ressources. Il a noté que cela pourrait être réalisé en cherchant à réduire le nombre de bits utilisés pour les calculs et en éliminant les calculs redondants. 

Il a également suggéré d’évaluer la nécessité de toutes les données stockées. Ainsi, à un niveau macro, en examinant quand et où les calculs (dont beaucoup ne sont pas critiques en temps) sont effectués, on peut choisir des heures hors pointe pour entraîner les systèmes d’IA afin de réduire les coûts des sessions d’entraînement et leur empreinte carbone. 

Utiliser l’IA pour améliorer l’IA 

Aujourd’hui, Selvan a créé un benchmark pour concevoir des modèles d’IA qui consomment beaucoup moins d’énergie sans affecter leurs performances. Cependant, cela nécessite d’utiliser la consommation d’énergie et l’empreinte carbone comme norme pour concevoir et entraîner ces modèles d’IA.

Pour cela, 429,000 des modèles d’IA de sous-type ont été étudiés. Ces réseaux de neurones convolutifs, utilisés pour la traduction linguistique, la reconnaissance faciale, la détection d’objets et l’analyse d’images médicales, sont estimés nécessiter jusqu’à 263,000 kWh d’énergie simplement pour l’entraînement. 

Pour mettre cela en perspective, 263,000 kWh correspondent à peu près à l’énergie consommée par le citoyen moyen danois sur une période de plus de quatre décennies. Un ordinateur mettrait un siècle à accomplir tout cet entraînement. 

Cette consommation énergétique colossale pousse l’industrie à travailler à la rendre respectueuse du climat ; cependant, le développement de modèles d’IA économes en énergie n’est pas encore une réalité. Selon Selvan, qui explore les possibilités de réduire l’empreinte carbone de l’IA:

“Aujourd’hui, les développeurs se concentrent étroitement sur la construction de modèles d’IA efficaces en termes de précision de leurs résultats.” 

Il a comparé ce comportement à une voiture, considérée bonne simplement parce qu’elle amène rapidement à destination sans prendre en compte sa consommation de carburant. Il a ajouté:

“En conséquence, les modèles d’IA sont souvent inefficaces en termes de consommation d’énergie.” 

Sa nouvelle étude, réalisée avec l’étudiant en informatique Pedram Bakhtiarifard, vise à changer cela en démontrant qu’il est possible de limiter considérablement les émissions de CO2e tout en conservant la précision d’un modèle d’IA.

Pour y parvenir, les chercheurs de l’UCPH ont souligné qu’il faut un modèle économe en énergie dès le départ. Cela signifie prendre en compte les coûts climatiques lors de la conception et pendant le processus énergivore d’entraînement des modèles d’IA. Selvan a déclaré que de cette façon, l’empreinte carbone peut être réduite à chaque phase du « cycle de vie » du modèle, incluant à la fois l’entraînement et le déploiement.

Ainsi, les chercheurs ont calculé l’énergie nécessaire pour entraîner des centaines de milliers de ces modèles d’IA. Curieusement, les chercheurs de l’UCPH n’ont pas entraîné les modèles mais les ont estimés à l’aide d’un autre modèle d’IA. De cette façon, ils ont pu économiser la grande majorité, soit 99 %, de l’énergie qui aurait autrement été nécessaire.

Aujourd’hui, sur la base de leurs calculs, l’équipe a présenté une collection de référence de modèles d’IA qui offrent des performances similaires tout en consommant moins d’énergie pour accomplir une tâche.

Selon l’étude, ajuster les modèles ou utiliser d’autres types de modèles peut permettre d’économiser jusqu’à 80 % d’énergie pendant les phases d’entraînement et d’application. En ce qui concerne les performances, il y a eu peu ou pas de compromis (à peine 1 % ou moins). Ces chiffres sont en réalité conservateurs, selon les chercheurs. 

“Considérez nos résultats comme un livre de recettes pour les professionnels de l’IA. Les recettes ne décrivent pas seulement les performances de différents algorithmes, mais aussi leur efficacité énergétique.” 

– Bakhtiarifard

Il a ajouté qu’en échangeant simplement un ingrédient dans la conception du modèle par un autre, on « peut souvent obtenir le même résultat ». Cela signifie que les praticiens n’ont pas besoin d’entraîner chaque modèle d’abord ; ils peuvent simplement choisir l’un d’eux en fonction à la fois des performances et de la consommation d’énergie.

Étant donné que plusieurs modèles sont entraînés avant de trouver l’option la plus adaptée à une tâche particulière, rendant le développement de l’IA « extrêmement énergivore », Bakhtiarifard a déclaré que « il serait plus respectueux du climat de choisir le bon modèle dès le départ », et en plus, de choisir celui qui ne consomme pas d’énergie significative pendant la phase d’entraînement.

Alors que dans des domaines comme les voitures autonomes et la médecine, la précision du modèle est cruciale pour la sécurité, et il ne faut donc pas compromettre les performances, les chercheurs ont noté que cela ne doit pas nous décourager d’essayer d’atteindre une haute efficacité énergétique dans d’autres domaines. 

L’étude, selon eux, montre qu’un meilleur compromis peut être trouvé en faisant de l’efficacité énergétique une norme dans le développement des modèles d’IA, comme c’est le cas dans de nombreux secteurs. Selon Selvan:

“L’IA a un potentiel incroyable. Mais si nous voulons garantir un développement durable et responsable de l’IA, nous avons besoin d’une approche plus holistique qui ne se concentre pas uniquement sur la performance du modèle, mais aussi sur l’impact climatique.” 

Le benchmark, nommé EC-NAS, est open-source et peut être utilisé par d’autres scientifiques et entreprises pour faire progresser la recherche en recherche d’architecture neuronale (NAS). L’étude indique que l’utilisation d’algorithmes d’optimisation multi‑objectifs permet de trouver un équilibre entre consommation d’énergie et précision. « Avec ses métriques diversifiées, EC‑NAS invite à davantage de recherches pour développer des modèles économes en énergie et respectueux de l’environnement », a déclaré l’étude.

Solutions énergétiques basées sur l’IA

Voyons maintenant les entreprises qui s’attaquent au secteur de l’énergie en utilisant la technologie et travaillent activement à proposer des solutions énergétiques basées sur l’IA :

#1. GE Renewable Energy

L’entreprise utilise la technologie IA/ML développée en interne pour prédire avec précision et rationaliser les coûts logistiques du processus de logistique des éoliennes. Cette année, GE a lancé Proficy pour les fabricants afin d’atteindre la durabilité tout en aidant à maximiser la rentabilité. Elle a également déployé CERius alimenté par l’IA pour améliorer la précision des rapports.

Plus tôt ce mois-ci, General Electric s’est scindée en trois sociétés distinctes, axées respectivement sur l’aviation, l’énergie et les soins de santé, et a commencé à être cotée en bourse sur le NYSE en tant qu’entités séparées. Ainsi, son aile énergie s’appelle désormais GE Vernova (GEV) et possède une capitalisation boursière de $36 billion as its shares trade at 131.75. En 2023, l’entreprise a obtenu son plus gros contrat pour soutenir un projet éolien américain qui fournira 2.4 GW au projet SunZia. Goldman Sachs prévoit que l’entreprise aura un EBITDA de $4bln by 2026.

#2. Schneider Electric

L’entreprise française de 34.2bln dollars exploite l’IA pour améliorer l’efficacité et la productivité ainsi que pour relever le défi du changement climatique. L’utilisation de l’IA par Schneider Electric tourne autour de la visualisation des données et de l’ingénierie, de l’optimisation et de la simulation, et de la modélisation de la fiabilité. 

L’entreprise a enregistré €36 billion in revenues for the fiscal year 2023, which is an increase of 13%. Schneider Electric also reported a net income of €4 billion and a free cash flow of €4.6 billion. 

Conclusion

L’IA est la révolution technologique de cette décennie. Étant donné que l’intégration de l’IA a démontré qu’elle réduit les coûts et augmente les revenus des entreprises tout en offrant de meilleurs gains d’efficacité aux travailleurs, il est clairement plus qu’un simple mot à la mode. Les systèmes d’IA surpassent réellement les humains sur un éventail de tâches, bien que nous restions supérieurs sur les tâches cognitives complexes.

Cependant, elle comporte ses propres risques en termes de confidentialité, de biais algorithmiques et, comme nous l’avons évoqué précédemment, d’impact environnemental négatif. Une enquête mondiale sur les attitudes envers l’IA montre également que les gens sont inquiets face à cette nouvelle technologie, bien que la majorité voie son influence sur leur quotidien dans les années à venir. La génération plus jeune est plus optimiste quant à l’IA. 

Alors que l’IA continue de devenir une partie importante de nos vies, gouvernements, scientifiques et entreprises s’unissent pour répondre à ses risques. Les régulateurs ont déjà commencé à cibler l’industrie, avec plus de 30 pays ayant adopté au moins une loi liée à l’IA au cours des sept dernières années. À mesure que les avancées technologiques se multiplient, nous verrons l’IA devenir plus efficace et transformer notre monde. 

Cliquez ici pour tout savoir sur l’investissement dans l’intelligence artificielle.