(AGENPARL) - Roma, 6 Ottobre 2023

[lid] Nella corsa per rendere l’intelligenza artificiale più grande e migliore, il Lincoln Laboratory sta sviluppando modi per ridurre la potenza, allenarsi in modo efficiente e rendere trasparente l’uso dell’energia.

Durante la ricerca di voli su Google, potresti aver notato che la stima delle emissioni di carbonio di ogni volo viene ora presentata accanto al relativo costo. È un modo per informare i clienti sul loro impatto ambientale e per consentire loro di tenere conto di queste informazioni nel loro processo decisionale.

Un simile tipo di trasparenza non esiste ancora per l’industria informatica, nonostante le sue emissioni di carbonio superino quelle dell’intero settore aereo. Ad aumentare questa domanda di energia sono i modelli di intelligenza artificiale. Modelli enormi e popolari come ChatGPT segnalano una tendenza all’intelligenza artificiale su larga scala, rafforzando le previsioni secondo cui i data center assorbiranno fino al 21% della fornitura elettrica mondiale entro il 2030.

Il Lincoln Laboratory Supercomputing Center (LLSC) del MIT sta sviluppando tecniche per aiutare i data center a ridurre il consumo di energia. Le loro tecniche spaziano da modifiche semplici ma efficaci, come l’hardware che limita la potenza, all’adozione di nuovi strumenti in grado di interrompere tempestivamente l’addestramento dell’IA. Fondamentalmente, hanno scoperto che queste tecniche hanno un impatto minimo sulle prestazioni del modello.

In un quadro più ampio, il loro lavoro sta mobilitando la ricerca sull’informatica verde e promuovendo una cultura della trasparenza. “L’informatica consapevole dell’energia non è realmente un’area di ricerca, perché tutti conservano i propri dati”, afferma Vijay Gadepally, membro senior del LLSC che guida le attività di ricerca consapevole dell’energia. “Qualcuno deve iniziare e speriamo che altri seguano.”

Ridurre il potere e raffreddarsi

Come molti data center, LLSC ha registrato un aumento significativo del numero di lavori di intelligenza artificiale in esecuzione sul suo hardware. Notando un aumento nel consumo di energia, gli informatici della LLSC erano curiosi di sapere come gestire i lavori in modo più efficiente. Il green computing è un principio del centro, che è alimentato interamente da energia priva di carbonio.

L’addestramento di un modello di intelligenza artificiale, il processo mediante il quale apprende modelli da enormi set di dati, richiede l’utilizzo di unità di elaborazione grafica (GPU), che sono hardware assetati di energia. Ad esempio, si stima che le GPU che hanno addestrato GPT-3 (il precursore di ChatGPT) abbiano consumato 1.300 megawattora di elettricità, più o meno uguale a quella utilizzata da 1.450 famiglie medie statunitensi al mese .

Mentre la maggior parte delle persone cerca le GPU per la loro potenza di calcolo, i produttori offrono modi per limitare la quantità di potenza che una GPU può assorbire. “Abbiamo studiato gli effetti del potere limite e abbiamo scoperto che potremmo ridurre il consumo energetico di circa il 12% – 15% , a seconda del modello”, afferma Siddharth Samsi, un ricercatore del LLSC.

Il compromesso per limitare la potenza sta aumentando il tempo di attività: le GPU impiegheranno circa il 3% in più per completare un’attività, un aumento che, secondo Gadepally, è “appena percettibile” considerando che i modelli vengono spesso addestrati nell’arco di giorni o addirittura mesi. In uno dei loro esperimenti in cui hanno addestrato il popolare modello linguistico BERT, limitando la potenza della GPU a 150 watt si è registrato un aumento di due ore nel tempo di addestramento (da 80 a 82 ore), ma si è risparmiato l’equivalente di una settimana di energia di una famiglia statunitense.

Il team ha quindi creato un software che collega questa capacità di limitazione della potenza al sistema di pianificazione ampiamente utilizzato, Slurm. Il software consente ai proprietari dei data center di impostare limiti nel proprio sistema o lavoro per lavoro.

“Possiamo implementare questo intervento oggi e lo abbiamo fatto su tutti i nostri sistemi”, afferma Gadepally.

Sono emersi anche benefici collaterali. Da quando sono stati introdotti i vincoli energetici, le GPU sui supercomputer LLSC hanno funzionato a una temperatura più bassa di circa 30 gradi Fahrenheit e a una temperatura più costante, riducendo lo stress sul sistema di raffreddamento. L’utilizzo del dispositivo di raffreddamento dell’hardware può potenzialmente anche aumentare l’affidabilità e la durata del servizio. Ora possono prendere in considerazione l’idea di ritardare l’acquisto di nuovo hardware – riducendo il “carbonio incorporato” del centro, o le emissioni create attraverso la produzione di attrezzature – fino a quando l’efficienza ottenuta utilizzando il nuovo hardware non compenserà questo aspetto dell’impronta di carbonio. Stanno anche trovando modi per ridurre le esigenze di raffreddamento programmando strategicamente i lavori da eseguire di notte e durante i mesi invernali.

“I data center possono utilizzare oggi questi approcci facili da implementare per aumentare l’efficienza, senza richiedere modifiche al codice o all’infrastruttura”, afferma Gadepally.

Dare questo sguardo olistico alle operazioni di un data center per trovare opportunità di riduzione può richiedere molto tempo. Per rendere questo processo più semplice per gli altri, il team – in collaborazione con il professor Devesh Tiwari e Baolin Li della Northeastern University – ha recentemente sviluppato e pubblicato un quadro completo per analizzare l’impronta di carbonio dei sistemi informatici ad alte prestazioni. I professionisti del sistema possono utilizzare questo quadro di analisi per acquisire una migliore comprensione di quanto sia sostenibile il loro sistema attuale e considerare i cambiamenti per i sistemi di prossima generazione.  

Modificare il modo in cui i modelli vengono addestrati e utilizzati

Oltre ad apportare modifiche alle operazioni del data center, il team sta escogitando modi per rendere più efficiente lo sviluppo del modello di intelligenza artificiale.

Quando addestrano i modelli, gli sviluppatori di intelligenza artificiale spesso si concentrano sul miglioramento della precisione e si basano su modelli precedenti come punto di partenza. Per ottenere l’output desiderato, devono capire quali parametri utilizzare e per farlo bene può essere necessario testare migliaia di configurazioni. Questo processo, chiamato ottimizzazione degli iperparametri, è un’area che i ricercatori LLSC hanno trovato matura per ridurre gli sprechi energetici. 

“Abbiamo sviluppato un modello che fondamentalmente esamina la velocità con cui una determinata configurazione sta imparando”, afferma Gadepally. Dato questo tasso, il loro modello prevede la probabile performance. I modelli con prestazioni inferiori vengono interrotti in anticipo. “Possiamo darvi subito una stima molto accurata del fatto che il modello migliore sarà tra i primi 10 modelli su 100 in circolazione”, afferma.

Nei loro studi, questa interruzione anticipata ha portato a risparmi notevoli: una riduzione dell’80% nell’energia utilizzata per l’addestramento del modello. Hanno applicato questa tecnica a modelli sviluppati per la visione artificiale, l’elaborazione del linguaggio naturale e le applicazioni di progettazione dei materiali.

“Secondo me, questa tecnica ha il potenziale più grande per far progredire il modo in cui i modelli di intelligenza artificiale vengono addestrati”, afferma Gadepally.

La formazione è solo una parte delle emissioni di un modello di intelligenza artificiale. Il maggiore contributo alle emissioni nel tempo è l’inferenza del modello, o il processo di esecuzione del modello in tempo reale, come quando un utente chatta con ChatGPT. Per rispondere rapidamente, questi modelli utilizzano hardware ridondante, sempre in funzione, in attesa che un utente faccia una domanda.

Un modo per migliorare l’efficienza dell’inferenza è utilizzare l’hardware più appropriato. Sempre con la Northeastern University, il team ha creato un ottimizzatore che abbina un modello con il mix di hardware più efficiente in termini di emissioni di carbonio, come GPU ad alta potenza per le parti computazionalmente intense dell’inferenza e unità di elaborazione centrale (CPU) a basso consumo per le parti meno impegnative. -aspetti impegnativi. Questo lavoro ha recentemente vinto il premio per il miglior articolo al Simposio internazionale ACM sul calcolo parallelo e distribuito ad alte prestazioni.

L’utilizzo di questo ottimizzatore può ridurre il consumo di energia del 10-20% pur rispettando lo stesso “obiettivo di qualità del servizio” (la rapidità di risposta del modello).

Questo strumento è particolarmente utile per i clienti cloud, che noleggiano sistemi dai data center e devono selezionare l’hardware tra migliaia di opzioni. “La maggior parte dei clienti sopravvaluta ciò di cui hanno bisogno; scelgono hardware troppo potente solo perché non conoscono di meglio”, afferma Gadepally.

Crescente consapevolezza del green computing

L’energia risparmiata implementando questi interventi riduce anche i costi associati allo sviluppo dell’intelligenza artificiale, spesso in un rapporto uno a uno. In effetti, il costo viene solitamente utilizzato come indicatore del consumo energetico. Considerati questi risparmi, perché un numero maggiore di data center non investe in tecniche ecologiche?

“Penso che sia un po’ un problema di disallineamento degli incentivi”, dice Samsi. “C’è stata una tale corsa per costruire modelli più grandi e migliori che quasi ogni considerazione secondaria è stata messa da parte.”

Sottolineano che mentre alcuni data center acquistano crediti di energia rinnovabile, queste non sono sufficienti a coprire la crescente domanda di energia. La maggior parte dei data center che alimentano l’elettricità proviene da combustibili fossili e l’acqua utilizzata per il raffreddamento contribuisce a stressare i bacini idrografici. 

Possono esistere esitazioni anche perché non sono stati condotti studi sistematici sulle tecniche di risparmio energetico. Ecco perché il team ha spinto la propria ricerca in luoghi sottoposti a revisione paritaria oltre che in repository open source. Alcuni grandi attori del settore, come Google DeepMind, hanno applicato l’apprendimento automatico per aumentare l’efficienza dei data center, ma non hanno reso il loro lavoro disponibile affinché altri possano implementarlo o replicarlo. 

Le principali conferenze sull’intelligenza artificiale stanno ora spingendo per dichiarazioni etiche che considerino come l’intelligenza artificiale potrebbe essere utilizzata in modo improprio. Il team vede l’aspetto climatico come un argomento di etica dell’IA a cui non è stata ancora prestata molta attenzione, ma anche questo sembra cambiare lentamente. Alcuni ricercatori stanno ora rivelando l’impronta di carbonio derivante dall’addestramento dei modelli più recenti e anche l’industria sta mostrando un cambiamento nella trasparenza energetica, come in questo recente rapporto di Meta AI.

Riconoscono inoltre che la trasparenza è difficile senza strumenti in grado di mostrare agli sviluppatori di intelligenza artificiale il loro consumo. La rendicontazione rientra nella tabella di marcia di LLSC per quest’anno. Vogliono essere in grado di mostrare a ogni utente LLSC, per ogni lavoro, quanta energia consuma e come questa quantità si confronta con quella degli altri, in modo simile ai report sull’energia domestica.

Parte di questo impegno richiede una collaborazione più stretta con i produttori di hardware per rendere più semplice e accurata la rimozione di questi dati dall’hardware. Se i produttori riuscissero a standardizzare il modo in cui i dati vengono letti, gli strumenti di risparmio energetico e di reporting potrebbero essere applicati su diverse piattaforme hardware. È in corso una collaborazione tra i ricercatori LLSC e Intel per lavorare proprio su questo problema.

Anche gli sviluppatori di intelligenza artificiale che sono consapevoli dell’intenso fabbisogno energetico dell’IA, non possono fare molto da soli per frenare questo consumo di energia. Il team LLSC desidera aiutare altri data center ad applicare questi interventi e fornire agli utenti opzioni consapevoli dal punto di vista energetico. La loro prima partnership è con l’aeronautica americana, sponsor di questa ricerca, che gestisce migliaia di data center. L’applicazione di queste tecniche può incidere notevolmente sul consumo energetico e sui costi.

“Stiamo mettendo il controllo nelle mani degli sviluppatori di intelligenza artificiale che vogliono ridurre la loro impronta”, afferma Gadepally. “Ho davvero bisogno di addestrare gratuitamente modelli poco promettenti? Sono disposto a far funzionare le mie GPU più lentamente per risparmiare energia? Per quanto ne sappiamo, nessun altro centro di supercalcolo ti consente di considerare queste opzioni. Usando i nostri strumenti, oggi, puoi decidere.”

Visita questa pagina web per vedere le pubblicazioni del gruppo relative all’informatica consapevole dell’energia e i risultati descritti in questo articolo.