Unkontrollierter Energieverbrauch – KI einsetzen, um KI zu verbessern

Wächst schnell, der Markt für künstliche Intelligenz (KI) ist prognostiziert bis zum Ende dieses Jahrzehnts auf $1.8 trillion zu erreichen. 

Während die KI-Manie 2021 erste Anklänge fand, war es erst im letzten Jahr, dass KI wirklich ihren Durchbruch erzielte. Tatsächlich war das Wachstum so stark, dass alles, was mit KI zu tun hat, von Lösungen bis zur Nutzung, in die Höhe schoss und die Investitionen in generative KI in die Höhe trieben. 

Als generative KI-Systeme wie ChatGPT neue Fähigkeiten zeigten, wollte jeder ein Stück dieses schnell wachsenden Kuchens. Außerdem findet der Großteil dieser privaten Investitionen in den USA statt.

Den Grundstein für diese beliebten Werkzeuge bilden Grundmodelle wie GPT-4 im Fall von OpenAIs ChatGPT. Diese großen, vielseitigen Modelle benötigen massive Datensätze und enorme Ressourcen für das Training. Grundmodelle dienen als Ausgangspunkt für die Entwicklung von Machine-Learning (ML)-Modellen, die neuartige Anwendungen kostengünstig und schneller ermöglichen.

Der Technologieriese Google hat veröffentlicht mehrere Grundmodelle; Imagen, Muse und Parti sind Text-zu-Bild-Modelle, MedLM für die Gesundheitsbranche, das Codierungsmodell namens Codey und das universelle Sprachmodell Chirp.

Diese Modelle verbrauchen beispiellose Mengen an Speicher, einschließlich deutlich mehr Speicher zum Speichern und Abrufen der realen Daten, auf denen sie operieren. Zum Beispiel wurde GPT-3 mit etwa 500 Milliarden Wörtern trainiert und verwendet 175 Milliarden Parameter. Dies hat zu einem sprunghaften Anstieg des Energiebedarfs von KI geführt.

In den letzten Jahren wurde die Umweltbelastung durch KI breit berichtet. Ende letzten Jahres versuchte eine peer‑reviewte Analyse, diesen Bedarf zu quantifizieren. 

Nachdem die enormen Energiekosten des Kryptowährungs-Mining diskutiert wurden, hat Alex de Vries, Datenwissenschaftler bei der Zentralbank der Niederlande und Doktorand an der Vrije University Amsterdam, seine Aufmerksamkeit dem neuesten Technologietrend gewandt: der KI‑Einführung. Laut seiner neuesten Bewertung wird NVIDIA (NVDA ) bis 2027 jährlich 1.5 Millionen KI‑Servereinheiten ausliefern. Bei voller Auslastung sollen diese Server mindestens 85.4 Terawattstunden Strom pro Jahr verbrauchen. 

De Vries schätzt, dass KI potenziell schlechter sein könnte als Proof-of-Work (PoW)-Netzwerke wie Bitcoin. Allerdings handelt es sich dabei nur um Schätzungen, wobei Experten anmerken, dass diese Zahlen nicht vollständig und von Bedingungen abhängig sind.

Im Dezember letzten Jahres führten Sasha Luccioni von der KI‑Firma Hugging Face und ihre Kolleginnen und Kollegen von der Firma sowie der Carnegie Mellon University Tests mit 88 verschiedenen Modellen durch. Sie wiederholten die Aufgabe 1.000‑mal und stellten fest, dass die meisten Aufgaben nur wenig Energie verbrauchen, etwa 0.047 kWh, um Text zu erzeugen. Bei Bildgenerierungsmodellen waren die Werte jedoch deutlich höher und lagen im Durchschnitt bei 2.907 kWh pro 1.000 Inferenzvorgängen. Zum Vergleich bemerkten sie, dass ein durchschnittliches Smartphone 0.012 kWh zum Aufladen benötigt.

Unterdessen schätzte ein aktuelles Papier, dass große Sprachmodelle etwa 1,300 Megawattstunden Strom verbrauchen, was dem Jahresverbrauch von 130 US‑Haushalten entspricht.

Die Internationale Energieagentur stellte in ihrem Bericht Anfang dieses Jahres fest, dass die Nachfrage nach KI und Krypto in naher Zukunft zu einem deutlich höheren Stromverbrauch von Rechenzentren führen wird. Der Anstieg wird voraussichtlich von 460 Terawattstunden im Jahr 2022 auf zwischen 620 und 1,050 TWh im Jahr 2026 steigen.

Dies hat die Aufsichtsbehörden aufmerksam gemacht, die nun vor den steigenden Kosten von KI warnen. Laut dem Senator aus Massachusetts, Edward Markey (D):

“Die Entwicklung der nächsten Generation von KI‑Werkzeugen darf nicht auf Kosten der Gesundheit unseres Planeten kommen.”

Dies erfolgte, nachdem er zusammen mit anderen Senatoren und Abgeordneten ein Gesetz eingebracht hatte, das die Bundesregierung verpflichtet, den ökologischen Fußabdruck von KI zu bewerten und ein standardisiertes System zur Meldung zukünftiger Auswirkungen zu entwickeln. In Europa ist der KI‑Act bereits verabschiedet worden, der leistungsstarke Grundmodelle verpflichtet, ihren Ressourcenverbrauch, Energieverbrauch und weitere Auswirkungen zu melden.

Inmitten all dessen wird die Internationale Organisation für Normung (ISO) später in diesem Jahr Kriterien zur Messung des Materialverbrauchs, des Wasserverbrauchs und der Energieeffizienz für „nachhaltige KI“ herausgeben.

KI effizienter machen 

Um in großem Maßstab praktikabel zu sein, müssen KI‑Modelle energieeffizienter werden und auf energiebegrenzten Geräten laufen können, die deutlich weniger Strom verbrauchen als Rechenzentren. 

Diese Rechenzentren benötigen enorme Energiemengen, um die Computer am Laufen zu halten, wobei der Strom überwiegend aus fossilen Brennstoffen stammt. Das verursacht erhebliche CO2e‑Emissionen. Um dem entgegenzuwirken, arbeiten Forschende und Organisationen daran, KI effizienter zu machen.

Ein prominentes Unternehmen, das bedeutende Fortschritte bei der Lösung dieses Problems erzielt hat, ist das in London ansässige Code‑Optimierungsspezialisten‑Unternehmen TurinTech. TurinTech macht Fortschritte durch eine Kombination aus Deep Learning und evolutionären Algorithmen. Dieses System passt ein bestehendes Modell kontinuierlich anhand neuer Informationen an, anstatt es von Grund auf neu zu generieren.

Laut Harvey Lewis von Ernst and Young UK können evolutionäre bzw. genetische Algorithmen und Bayessche statistische Methoden Deep Learning effizienter machen, und spezialisierte Hardware kann dessen Kosten senken.

Eine weitere vorgeschlagene Methode besteht darin, datengetriebene KI mit anderen wissenschaftlichen oder menschlichen Eingaben zum Anwendungsbereich zu verbinden. Pushkar P. Apte, Direktor für strategische Initiativen bei CITRIS, und Costas J. Spanos, Direktor von CITRIS, schrieben über vier Wege, dies zu erreichen:

• KI mit wissenschaftlichen Gesetzen synergisieren.
• Daten mit Experten‑Human‑Insights ergänzen.
• Geräte einsetzen, um zu erklären, wie KI Entscheidungen trifft.
• Andere Modelle verwenden, um Verhalten vorherzusagen.

Kürzlich erzielte das Startup EnCharge einen KI‑Durchbruch, der den Energieverbrauch dieser KI‑Modelle bei Vorhersagen dramatisch verbessern könnte. Das Unternehmen nutzte seine DARPA‑Finanzierung, um den Speicherverbrauch zu reduzieren, indem ein Teil der Arbeit in analoger Speicher‑Schaltung durchgeführt wird, die Matrix‑Multiplikations‑Akkumulationen parallel bei geringem Energieverbrauch statt mit herkömmlichen Transistoren ausführen kann.

“So löst man das Problem der Datenbewegung.”

– Naveen Verma, CEO von EnCharge AI und Professor an der Abteilung für Elektrotechnik der Princeton 

Er fügte weiter hinzu, dass anstelle der Übermittlung einzelner Bits das reduzierte Ergebnis in Form der Akkumulation vieler paralleler Multiplikationen kommuniziert wird.

EnCharge AI konnte 150 Billionen Operationen pro Sekunde pro Watt verarbeiten. Allerdings ist analoges Rechnen extrem schwer zu realisieren, und frühere Versuche waren nicht erfolgreich.

Unterdessen untersuchte Forschung des Tenure‑Track‑Assistenzprofessors Raghavendra Selvan von der Abteilung für Informatik der UCPH im letzten Jahr verschiedene Wege, den CO2‑Fußabdruck von ML zu senken. Auf Mikroebene können Algorithmen schneller und effizienter gemacht werden, um den Ressourcenverbrauch zu reduzieren. Dies, so bemerkte er, könnte durch die Reduzierung der für Berechnungen verwendeten Bit‑Anzahl und durch die Verringerung redundanter Berechnungen erreicht werden.

Er schlug zudem vor, den Bedarf an allen gespeicherten Daten zu prüfen. Auf Makroebene kann durch die Betrachtung von Zeitpunkt und Ort der Berechnungen (von denen viele nicht zeitkritisch sind) die Nutzung von Nebenzeiten für das Training von KI‑Systemen gewählt werden, um die Kosten der Trainingssitzungen und deren CO2‑Fußabdruck zu reduzieren.

KI einsetzen, um KI zu verbessern 

Jetzt hat Selvan einen Benchmark entwickelt, um KI‑Modelle zu entwerfen, die deutlich weniger Energie verbrauchen, ohne ihre Leistung zu beeinträchtigen. Dies erfordert jedoch, dass der Energieverbrauch und der CO2‑Fußabdruck als Standard für das Design und das Training dieser KI‑Modelle verwendet werden.

Dafür wurden 429.000 KI‑Subtyp‑Modelle untersucht. Diese Convolutional Neural Networks, die für Sprachübersetzung, Gesichtserkennung, Objekterkennung und medizinische Bildanalyse eingesetzt werden, benötigen schätzungsweise bis zu 263.000 kWh Energie allein für das Training.

Zum Vergleich: 263.000 kWh entsprechen etwa dem Energieverbrauch eines durchschnittlichen dänischen Bürgers über mehr als vier Jahrzehnte. Ein Computer würde ein Jahrhundert benötigen, um dieses gesamte Training abzuschließen.

Dieser enorme Energieverbrauch veranlasst die Branche, ihn klimafreundlich zu gestalten; jedoch ist die Entwicklung energieeffizienter KI‑Modelle noch nicht Realität. Laut Selvan, der nach Möglichkeiten zur Reduzierung des CO2‑Fußabdrucks von KI sucht:

“Heute konzentrieren sich Entwickler eng darauf, KI‑Modelle zu bauen, die in Bezug auf die Genauigkeit ihrer Ergebnisse effektiv sind.”

Er verglich dieses Verhalten mit einem Auto, das als gut gilt, weil es einen schnell ans Ziel bringt, ohne den Kraftstoffverbrauch zu berücksichtigen. Er fügte weiter hinzu:

“Infolgedessen sind KI‑Modelle oft ineffizient im Energieverbrauch.”

Seine neue Studie, durchgeführt mit dem Informatikstudenten Pedram Bakhtiarifard, zielt darauf ab, dies zu ändern, indem sie zeigt, dass es möglich ist, eine große Menge CO2e zu begrenzen und gleichzeitig die Präzision eines KI‑Modells beizubehalten.

Um dies zu erreichen, stellten die UCPH‑Forscher fest, dass wir von Anfang an ein energieeffizientes Modell benötigen. Das bedeutet, die Klimakosten bereits beim Design und während des energieintensiven Trainings von KI‑Modellen zu berücksichtigen. Selvan sagte, dass auf diese Weise der CO2‑Fußabdruck in “jeder Phase des Lebenszyklus des Modells” reduziert werden kann, was sowohl das Training als auch die Bereitstellung des Modells umfasst.

Die Forscher berechneten also den Energieaufwand, der für das Training von Hunderttausenden dieser KI‑Modelle nötig ist. Interessanterweise trainierten die UCPH‑Forscher die Modelle nicht selbst, sondern schätzten den Aufwand mithilfe eines anderen KI‑Modells. Auf diese Weise konnten sie den Großteil, 99 %, der sonst benötigten Energie einsparen.

Auf Basis ihrer Berechnungen hat das Team eine Benchmark‑Sammlung von KI‑Modellen vorgestellt, die etwa das gleiche Leistungsniveau erreichen, aber weniger Energie für die Aufgabenerfüllung benötigen.

Laut der Studie kann das Anpassen von Modellen oder die Verwendung anderer Modelltypen bis zu 80 % Energie während der Trainings- und Anwendungsphasen einsparen. Was die Leistung betrifft, gibt es kaum oder keinen Kompromiss (nur 1 % oder sogar weniger). Diese Zahlen sind laut den Forschern tatsächlich konservativ.

“Betrachten Sie unsere Ergebnisse als ein Rezeptbuch für KI‑Fachleute. Die Rezepte beschreiben nicht nur die Leistung verschiedener Algorithmen, sondern auch deren Energieeffizienz.”

– Bakhtiarifard

Er erklärte weiter, dass durch den einfachen Austausch einer Komponente im Design des Modells gegen eine andere oft das gleiche Ergebnis erzielt werden kann. Das bedeutet, Praktiker müssen nicht jedes Modell zuerst trainieren; sie können stattdessen eines auswählen, das sowohl in Leistung als auch im Energieverbrauch überzeugt.

Da mehrere Modelle trainiert werden, bevor die am besten geeignete Option für eine bestimmte Aufgabe gefunden wird, was die KI‑Entwicklung “extrem energieintensiv” macht, sagte Bakhtiarifard, “es wäre klimafreundlicher, das richtige Modell von Anfang an zu wählen”, und zusätzlich das Modell zu wählen, das während der Trainingsphase keinen erheblichen Strom verbraucht.

Während in Bereichen wie selbstfahrenden Autos und der Medizin die Modellpräzision für die Sicherheit entscheidend ist und wir dort nicht an der Leistung sparen können, stellten die Forscher fest, dass uns das nicht davon abhalten sollte, in anderen Bereichen hohe Energieeffizienz zu erreichen.

Die Studie zeigt laut ihnen, dass ein besserer Kompromiss gefunden werden kann, wenn Energieeffizienz ein Standard in der KI‑Modellentwicklung ist, wie in vielen Sektoren. Laut Selvan:

“KI hat ein erstaunliches Potenzial. Aber wenn wir eine nachhaltige und verantwortungsvolle KI‑Entwicklung sicherstellen wollen, benötigen wir einen ganzheitlicheren Ansatz, der nicht nur die Modellleistung, sondern auch die Klimaauswirkungen berücksichtigt.”

Der Benchmark, genannt EC-NAS, ist Open‑Source und kann von anderen Wissenschaftlern und Unternehmen genutzt werden, um die Forschung im Bereich der neuronalen Architektursuche (NAS) voranzutreiben. Die Studie stellte fest, dass der Einsatz von Multi‑Objective‑Optimierungsalgorithmen ein Gleichgewicht zwischen Energieverbrauch und Genauigkeit schafft. “Mit seinen vielfältigen Metriken lädt EC‑NAS zu weiterer Forschung an energieeffizienten und umweltverträglichen Modellen ein,” heißt es in der Studie.

KI-basierte Energiesysteme

Werfen wir nun einen Blick auf die Unternehmen, die den Energiesektor mit Technologie angehen und aktiv KI‑basierte Energiesysteme anbieten:

#1. GE Renewable Energy

Das Unternehmen nutzt intern entwickelte KI/ML‑Technologie, um die Logistikkosten für den Windturbinen‑Logistikprozess genau vorherzusagen und zu optimieren. In diesem Jahr hat GE Proficy für Hersteller eingeführt, um Nachhaltigkeit zu erreichen und gleichzeitig die Rentabilität zu maximieren. Außerdem wurde das KI‑gestützte CERius eingesetzt, um die Berichtsgenauigkeit zu steigern.

Anfang dieses Monats hat General Electric (GE.TO ) sich in drei separate Unternehmen aufgeteilt, die sich auf Luftfahrt, Energie und Gesundheitswesen konzentrieren, und begann, an der NYSE als eigenständige Einheiten zu handeln. Daher heißt die Energiesparte jetzt GE Vernova (GEV ) (GEV) und hat eine Marktkapitalisierung von $36 billion as its shares trade at 131.75. Im Jahr 2023 hat das Unternehmen gesichert seinen größten Auftrag gesichert, um ein US‑Windprojekt zu unterstützen, das 2.4 GW für das SunZia‑Projekt liefern wird. Goldman Sachs (GS ) prognostiziert, dass das Unternehmen bis 2026 ein EBITDA von $4bln erreichen wird.

#2. Schneider Electric

Das französische Unternehmen mit einem Wert von $34.2bln nutzt KI, um Effizienz und Produktivität zu steigern und gleichzeitig die Herausforderung des Klimawandels anzugehen. Der KI‑Einsatz von Schneider Electric (SND.DE ) dreht sich um Datenvisualisierung und Engineering, Optimierung und Simulation sowie Zuverlässigkeitsmodellierung. 

Das Unternehmen verzeichnete für das Geschäftsjahr 2023 einen Umsatz von €36 billion, was einem Anstieg von 13 % entspricht. Schneider Electric meldete zudem einen Nettogewinn von €4 billion und einen freien Cashflow von €4.6 billion. 

Fazit

KI ist die technologische Revolution dieses Jahrzehnts. Da gezeigt wurde, dass die Integration von KI Kosten senkt und den Umsatz von Unternehmen steigert, während sie den Arbeitern bessere Effizienzgewinne bietet, ist sie eindeutig mehr als nur ein Modewort. KI‑Systeme übertreffen Menschen tatsächlich in einer Reihe von Aufgaben, obwohl wir bei komplexen kognitiven Aufgaben immer noch besser sind.

Allerdings bringt sie eigene Risiken mit sich, etwa in Bezug auf Datenschutz, algorithmische Voreingenommenheiten und, wie oben diskutiert, die negativen Umweltauswirkungen. Eine globale Umfrage zu den Einstellungen gegenüber KI zeigt, dass die Menschen nervös gegenüber dieser neuen Technologie sind, obwohl die Mehrheit erwartet, dass sie ihr tägliches Leben in den kommenden Jahren verändern wird. Die jüngere Generation ist optimistischer gegenüber KI. 

Während KI weiterhin einen großen Teil unseres Lebens einnimmt, arbeiten Regierungen, Wissenschaftler und Unternehmen zusammen, um ihre Risiken zu adressieren. Regulierungsbehörden haben bereits begonnen, die Branche zu adressieren, wobei über 30 Länder in den letzten sieben Jahren mindestens ein KI‑bezogenes Gesetz verabschiedet haben. Mit fortschreitender technologischer Entwicklung werden wir sehen, dass KI effizienter wird und unsere Welt transformiert. 

Klicken Sie hier, um alles über Investitionen in künstliche Intelligenz zu erfahren.