Consommation d'énergie non contrôlée – Utiliser l'IA pour améliorer l'IA

En croissance rapide, le marché de l’intelligence artificielle (IA) est projetée pour atteindre 1.8 XNUMX milliards de dollars d’ici la fin de cette décennie. 

Alors que la folie de l’IA a commencé à gagner du terrain dès 2021, ce n'est que l'année dernière que l'IA a vraiment trouvé sa percée. En fait, sa croissance a été telle que tout ce qui touche à l’IA, des solutions à l’utilisation, a commencé à monter en flèche, poussant les investissements dans l’IA générative à des sommets. 

Lorsque les systèmes d’IA générative comme ChatGPT ont démontré de nouvelles capacités, tout le monde a voulu avoir une part de ce gâteau en croissance rapide. En outre, la plupart de ces investissements privés se font aux États-Unis.

Ces outils populaires reposent sur des modèles fondamentaux, tels que GPT-4 dans le cas de ChatGPT d'OpenAI. Ces grands modèles polyvalents nécessitent des ensembles de données volumineux et d'importantes ressources d'entraînement. Les modèles fondamentaux servent de point de départ au développement de modèles d'apprentissage automatique (ML) qui propulsent des applications innovantes de manière rentable et plus rapide.

Le géant de la technologie Google a libéré plusieurs modèles de fondations ; Imagen, Muse et Parti sont des modèles texte-image, MedLM pour le secteur de la santé, le modèle de codage appelé Codey et le modèle vocal universel Chirp.

Ces modèles consomment des quantités de mémoire sans précédent, notamment pour stocker et récupérer les données réelles sur lesquelles ils opèrent. Par exemple, GPT-3 est entraîné sur environ 500 milliards de mots et utilise 175 milliards de paramètres. Cela a entraîné une explosion de la demande énergétique de l'IA.

Au cours des dernières années, l’impact environnemental de l’IA a été largement évoqué. À la fin de l’année dernière, une analyse évaluée par des pairs a tenté de quantifier cette demande. 

Après avoir évoqué les énormes coûts énergétiques de extraction de crypto-monnaieAlex de Vries, data scientist à la banque centrale des Pays-Bas et doctorant à l'Université libre d'Amsterdam, s'est intéressé à la dernière tendance technologique : l'adoption de l'IA. sa dernière évaluation, NVIDIA expédiera 1.5 million d'unités de serveurs IA par an d'ici 2027. Lorsqu'ils fonctionnent à pleine capacité, ces serveurs devraient consommer au moins 85.4 térawattheures d'électricité par an. 

De Vries estime que l’IA pourrait potentiellement être pire que les réseaux de preuve de travail (PoW) comme Bitcoin. Il ne s’agit toutefois que d’estimations, les experts soulignant que ces chiffres ne sont pas complets et sont contingents.

En décembre dernier, Sasha Luccioni de la société d'IA Hugging Face et ses collègues de la société et de l'Université Carnegie Mellon ont également effectué des tests sur 88 modèles différents. Ils ont exécuté la tâche 1,000 XNUMX fois et trouvé que la plupart des tâches utilisent une petite quantité d'énergie, comme 0.047 kWh, pour générer du texte. Cependant, les chiffres se sont révélés beaucoup plus élevés pour les modèles de génération d’images, qui utilisaient en moyenne 2.907 kWh pour 1,000 0.012 inférences. Pour situer le contexte, ils ont noté qu’un smartphone moyen utilise XNUMX kWh pour se recharger.

Pendant ce temps, une récente papier estime que les grands modèles linguistiques consomment environ 1,300 130 mégawattheures d'électricité, ce qui équivaut à l'énergie consommée par XNUMX foyers aux États-Unis chaque année.

L'Agence internationale de l'énergie a également noté dans son rapport publié plus tôt cette année, la demande en matière d’IA et de cryptographie entraînera une augmentation considérable de la consommation d’électricité des centres de données dans un avenir proche. L’augmentation devrait passer de 460 térawattheures en 2022 à entre 620 et 1,050 2026 TWh en XNUMX.

Cela a attiré l’attention des régulateurs, qui mettent désormais en garde contre la hausse du coût de l’IA. Selon le sénateur Edward Markey (D) du Massachusetts :

« Le développement de la prochaine génération d’outils d’IA ne peut se faire au détriment de la santé de notre planète. » 

Cette décision fait suite au dépôt, avec d'autres sénateurs et représentants, d'un projet de loi obligeant le gouvernement fédéral à évaluer l'empreinte environnementale de l'IA et à développer un système standardisé de reporting des impacts futurs. En Europe, la loi sur l'IA, déjà adoptée, oblige les modèles de base performants à rendre compte de leur utilisation des ressources, de leur consommation énergétique et de leurs autres impacts.

Au milieu de tout cela, l’Organisation internationale de normalisation publiera plus tard cette année des critères pour mesurer l’utilisation des matériaux, la consommation d’eau et l’efficacité énergétique pour une « IA durable ». 

Rendre l'IA plus efficace 

Pour être viables à grande échelle, les modèles d’IA doivent devenir plus économes en énergie et capables de fonctionner sur des appareils à consommation énergétique limitée qui consomment beaucoup moins d’énergie que les centres de données. 

Ces centres de données nécessitent d’énormes quantités d’énergie pour faire fonctionner les ordinateurs, qui proviennent principalement de combustibles fossiles. Cela entraîne d’importantes émissions de CO2e. Pour résoudre ce problème, les chercheurs et les organisations s’efforcent de rendre l’IA plus efficace. 

TurinTech, spécialiste de l'optimisation de code basé à Londres, est une entreprise de premier plan qui a fait des progrès significatifs dans la recherche d'une solution à ce problème. TurinTech progresse grâce à un mélange d’algorithmes d’apprentissage profond et évolutifs. Ce système adapte en permanence un modèle existant en fonction de nouvelles informations au lieu de le régénérer à partir de zéro. 

Selon Harvey Lewis d'Ernst and Young UK, les algorithmes évolutionnaires ou génétiques et les méthodes statistiques bayésiennes peuvent rendre l'apprentissage profond plus efficace, et le matériel spécialisé peut en réduire le coût.

Une autre méthode suggérée consiste à relier l'IA pilotée par les données à d'autres données scientifiques ou humaines concernant le domaine d'application. Pushkar P. Apte, directeur des initiatives stratégiques chez CITRIS, et Costas J. Spanos, directeur de CITRIS, écrit environ quatre façons d’y parvenir :

• Synergie de l’IA avec les lois scientifiques.
• Augmenter les données avec des informations humaines expertes.
• Utiliser des appareils pour expliquer comment l’IA prend des décisions.
• Utiliser d'autres modèles pour prédire le comportement.

Plus récemment, la startup EnCharge a réalisé une percée en matière d'IA qui pourrait considérablement améliorer la consommation d'énergie de ces modèles d'IA lors de l'exécution de prédictions. La société a utilisé son financement DARPA pour réduire l'utilisation de la mémoire en effectuant une partie du travail sur les circuits de mémoire analogique, qui peuvent effectuer des accumulations par multiplication matricielle en parallèle à faible énergie au lieu des transistors traditionnels. 

« C’est ainsi que l’on résout le problème du déplacement des données. » 

– Naveen Verma, PDG d'EnCharge AI et professeur au Département de génie électrique de Princeton 

Il a en outre ajouté qu'au lieu de communiquer des bits individuels, le résultat réduit est communiqué sous la forme d'une accumulation de lots de multiplications parallèles.

EnCharge AI a été capable de traiter 150 XNUMX milliards d'opérations par seconde et par watt. Cependant, le calcul analogique est extrêmement difficile à réaliser, et les tentatives précédentes n'ont pas été fructueuses.

Par ailleurs,  Une étude Raghavendra Selvan, professeur assistant titulaire au département d'informatique de l'UCPH, a exploré l'an dernier différentes pistes pour réduire l'empreinte carbone du ML. À l'échelle micro, les algorithmes peuvent être rendus plus rapides et plus efficaces afin de réduire l'utilisation des ressources. Cela, a-t-il noté, pourrait être réalisé en étudiant comment réduire le nombre de bits utilisés pour effectuer les calculs et comment réduire les calculs redondants. 

Il a en outre suggéré d'évaluer la nécessité de toutes les données stockées. Ainsi, au niveau macro, en examinant quand et où les calculs (dont beaucoup ne sont pas critiques en termes de temps) sont effectués, des heures creuses peuvent être choisies pour la formation des systèmes d'IA afin de réduire les coûts des sessions de formation et leur empreinte carbone. 

Utiliser l'IA pour améliorer l'IA 

Aujourd’hui, Selvan a créé une référence pour la conception de modèles d’IA qui consomment beaucoup moins d’énergie sans affecter leurs performances. Cependant, cela nécessite d’utiliser la quantité d’énergie utilisée et l’empreinte carbone comme norme pour concevoir et former ces modèles d’IA.

Pour cela, 429,000 263,000 modèles de sous-types d’IA ont été étudiés. On estime que ces réseaux neuronaux convolutifs, utilisés pour la traduction linguistique, la reconnaissance faciale, la détection d'objets et l'analyse d'images médicales, nécessitent jusqu'à XNUMX XNUMX kWh d'énergie pour simplement s'entraîner. 

Pour faire un parallèle, 263,000 XNUMX kWh représentent à peu près la quantité d’énergie consommée par le citoyen danois moyen sur une période de plus de quatre décennies. Il faudrait un siècle à un ordinateur pour compléter toute cette formation. 

Cette consommation énergétique colossale incite l'industrie à s'efforcer de la rendre plus respectueuse du climat ; cependant, le développement de modèles d'IA économes en énergie n'est pas encore une réalité. Selon Selvan, qui étudie les possibilités de réduction de l'empreinte carbone de l'IA :

"Aujourd'hui, les développeurs se concentrent uniquement sur la création de modèles d'IA efficaces en termes de précision de leurs résultats." 

Il a comparé ce comportement à celui d'une voiture, considérée comme une bonne voiture simplement parce qu'elle permet d'arriver rapidement à destination, sans tenir compte de sa consommation de carburant. Il a ajouté :

« En conséquence, les modèles d’IA sont souvent inefficaces en termes de consommation énergétique. » 

Son nouveau étude, réalisé avec l'étudiant CS Pedram Bakhtiarifard, vise à changer cela en démontrant qu'il est possible de limiter beaucoup de CO2e tout en gardant intacte la précision d'un modèle d'IA.

Pour y parvenir, les chercheurs de l'UCPH ont souligné la nécessité d'un modèle économe en énergie dès le départ. Cela implique de prendre en compte les coûts climatiques dès la conception et pendant le processus énergivore d'entraînement des modèles d'IA. Selvan a expliqué que cela permettrait de réduire l'empreinte carbone à chaque phase du cycle de vie du modèle, incluant l'entraînement et le déploiement.

Les chercheurs ont donc calculé l'énergie nécessaire à l'entraînement de centaines de milliers de ces modèles d'IA. Il est intéressant de noter que les chercheurs de l'UCPH n'ont pas entraîné les modèles, mais ont plutôt estimé à l'aide d'un autre modèle d'IA. Ils ont ainsi pu économiser une grande partie (99 %) de l'énergie nécessaire autrement.

Désormais, sur la base de leurs calculs, l’équipe a présenté une collection de référence de modèles d’IA qui fonctionnent à peu près au même niveau mais consomment moins d’énergie pour accomplir une tâche.

Selon l'étude, l'ajustement des modèles ou l'utilisation d'autres types de modèles peuvent permettre d'économiser jusqu'à 80 % d'énergie pendant les étapes de formation et d'application. Quant aux performances, il y a eu peu ou pas de compromis (seulement 1 %, voire moins). Ces chiffres sont en réalité conservateurs, selon les chercheurs. 

« Considérez nos résultats comme un livre de recettes pour les professionnels de l'IA. Ces recettes ne décrivent pas seulement les performances des différents algorithmes, mais aussi leur efficacité énergétique. » 

– Bakhtiarifard

Il a ajouté qu'en remplaçant simplement un élément de la conception du modèle par un autre, nous pouvons souvent obtenir le même résultat. Cela signifie que les praticiens n'ont pas besoin de commencer par entraîner chaque modèle ; ils peuvent simplement en choisir un en fonction de ses performances et de sa consommation d'énergie.

Étant donné que plusieurs modèles sont formés avant de trouver l'option la plus adaptée à une tâche particulière, ce qui rend le développement de l'IA « extrêmement énergivore », a déclaré Bakhtiarifard, « il serait plus respectueux du climat de choisir le bon modèle dès le départ », et en plus de cela, de choisir celui qui ne consomme pas beaucoup d'énergie pendant la phase de formation.

Bien que dans des domaines comme les voitures autonomes et la médecine, la précision du modèle soit essentielle pour la sécurité, nous ne pouvons pas faire de compromis sur les performances dans ce domaine, ont noté les chercheurs, mais cela ne devrait pas nous dissuader d'essayer d'atteindre une efficacité énergétique élevée dans d'autres domaines. 

L’étude, selon eux, montre qu’un meilleur compromis peut être trouvé en faisant de l’efficacité énergétique une norme dans le développement de modèles d’IA, comme c’est le cas dans de nombreux secteurs. Selon Selvan :

« L’IA a un potentiel incroyable. Mais si nous voulons garantir un développement durable et responsable de l’IA, nous avons besoin d’une approche plus globale qui tienne compte non seulement des performances des modèles, mais également de l’impact climatique. 

Le benchmark, nommé EC-NAS, est open source et peut être utilisé par d'autres scientifiques et entreprises pour faire progresser la recherche en matière de recherche d'architecture neuronale (NAS). L'étude indique que l'utilisation d'algorithmes d'optimisation multi-objectifs établit un équilibre entre la consommation d'énergie et la précision. "Grâce à ses diverses mesures, EC-NAS invite à poursuivre les recherches sur le développement de modèles économes en énergie et respectueux de l'environnement", indique l'étude..

Solutions énergétiques basées sur l'IA

Examinons maintenant les entreprises qui s’attaquent au secteur de l’énergie en utilisant la technologie et qui travaillent activement à proposer des solutions énergétiques basées sur l’IA :

# 1. GE Renewable Energy

L'entreprise utilise la technologie IA/ML développée en interne pour prédire et rationaliser avec précision les coûts logistiques du processus logistique des éoliennes. Cette année, GE a lancé Proficy pour permettre aux fabricants d'atteindre la durabilité tout en contribuant à maximiser la rentabilité. L'entreprise a également déployé CERius, basé sur l'IA, pour améliorer la précision des rapports.

Plus tôt ce mois-ci, General Electric s'est scindée en trois sociétés distinctes, axées sur l'aviation, l'énergie et les soins de santé, et a commencé à négocier sur le NYSE en tant qu'entités distinctes. Ainsi, sa branche énergétique s'appelle désormais GE Vernova (GEV) et a une capitalisation boursière de 36 milliards de dollars alors que ses actions se négocient à 131.75. En 2023, l'entreprise sécurisé sa plus grosse commande pour soutenir un projet éolien américain qui fournira 2.4 GW au projet SunZia. Goldman Sachs prévoit que l'entreprise aura un EBITDA de 4 milliards de dollars d'ici 2026.

# 2. Schneider Electric

L'entreprise française, dont le chiffre d'affaires s'élève à 34.2 milliards de dollars, exploite l'IA pour améliorer son efficacité et sa productivité, et relever le défi du changement climatique. Schneider Electric utilise l'IA pour la visualisation et l'ingénierie des données, l'optimisation et la simulation, ainsi que la modélisation de la fiabilité. 

L'entreprise a enregistré 36 milliards d'euros de chiffre d'affaires pour l'exercice 2023, soit une hausse de 13 %. Schneider Electric a également réalisé un résultat net de 4 milliards d'euros et un cash-flow libre de 4.6 milliards d'euros. 

Conclusion

L'IA est la révolution technologique de cette décennie. Son intégration a démontré sa capacité à réduire les coûts et à augmenter les revenus des entreprises, tout en offrant de meilleurs gains d'efficacité aux employés. Il s'agit donc bien plus qu'un simple mot à la mode. Les systèmes d'IA surpassent les humains sur de nombreuses tâches, même si nous restons supérieurs à eux dans les tâches cognitives complexes.

Cependant, cela comporte son propre ensemble de risques en termes de confidentialité, de biais algorithmiques et, comme nous l’avons évoqué ci-dessus, d’impact environnemental négatif. Une enquête mondiale sur les attitudes à l’égard de l’IA montre également que les gens sont nerveux face à cette nouvelle technologie, même si la majorité d’entre eux estiment qu’elle changera leur vie quotidienne dans les années à venir. La jeune génération est plus optimiste à l’égard de l’IA. 

Alors que l'IA prend une place importante dans nos vies, gouvernements, scientifiques et entreprises s'unissent pour faire face à ses risques. Les régulateurs ont déjà commencé à cibler ce secteur : plus de 30 pays ont adopté au moins une loi relative à l'IA au cours des sept dernières années. Grâce aux avancées technologiques, l'IA gagnera en efficacité et transformera notre monde. 

Cliquez ici pour tout savoir sur l’investissement dans l’intelligence artificielle.