本文深入探討了一種全面的方法，闡明了如何準(zhǔn)確估計(jì)與人工智能應(yīng)用相關(guān)的碳足跡。它解釋了人工智能對(duì)環(huán)境的影響，這是當(dāng)今世界的一個(gè)關(guān)鍵考慮因素。

圖片來自編輯

人工智能應(yīng)用程序擁有無與倫比的計(jì)算能力，可以以前所未有的速度推動(dòng)進(jìn)步。然而，這些工具的運(yùn)營嚴(yán)重依賴能源密集型數(shù)據(jù)中心，導(dǎo)致缺乏能源敏感性，這大大增加了它們的碳足跡。令人驚訝的是，這些人工智能應(yīng)用已經(jīng)占全球溫室氣體排放量的2.5%至3.7%，超過了航空業(yè)的排放量。

不幸的是，這種碳足跡正在快速增長。

目前，迫切需要測量機(jī)器學(xué)習(xí)應(yīng)用程序的碳足跡，正如彼得·德魯克（Peter Drucker）的智慧所強(qiáng)調(diào)的那樣，“你無法管理你無法衡量的東西。目前，在量化人工智能對(duì)環(huán)境的影響方面存在嚴(yán)重缺乏清晰度，我們無法獲得精確的數(shù)字。

除了測量碳足跡外，人工智能行業(yè)的領(lǐng)導(dǎo)者還必須積極關(guān)注優(yōu)化碳足跡。這種雙重方法對(duì)于解決圍繞人工智能應(yīng)用的環(huán)境問題和確保更可持續(xù)的前進(jìn)道路至關(guān)重要。

哪些因素會(huì)影響 AI 應(yīng)用程序的碳足跡

機(jī)器學(xué)習(xí)的使用增加需要增加數(shù)據(jù)中心，其中許多數(shù)據(jù)中心耗電，因此具有顯著的碳足跡。2021 年，數(shù)據(jù)中心的全球用電量為 0.9% 至 1.3%。

2021 年的一項(xiàng)研究估計(jì)，到 1.86 年，這種使用量可以增加到 2030%。這個(gè)數(shù)字代表了數(shù)據(jù)中心能源需求的增長趨勢。

? 數(shù)據(jù)中心的能源消耗趨勢和使用份額

值得注意的是，能源消耗越高，碳足跡就越高。數(shù)據(jù)中心在處理過程中會(huì)發(fā)熱，并可能出現(xiàn)故障，甚至因過熱而停止運(yùn)行。因此，它們需要冷卻，這需要額外的能量。數(shù)據(jù)中心消耗的電力中約有40%用于空調(diào)。

計(jì)算 AI 應(yīng)用的碳強(qiáng)度

鑒于人工智能的使用足跡越來越大，這些工具的碳強(qiáng)度需要考慮在內(nèi)。目前，關(guān)于這一主題的研究僅限于對(duì)少數(shù)模型的分析，并沒有充分解決所述模型的多樣性問題。

這是一種進(jìn)化的方法和一些有效的工具來計(jì)算人工智能系統(tǒng)的碳強(qiáng)度。

人工智能碳強(qiáng)度估算方法

軟件碳強(qiáng)度（SCI）標(biāo)準(zhǔn)是估算AI系統(tǒng)碳強(qiáng)度的有效方法。與采用歸因碳核算方法的傳統(tǒng)方法不同，它使用結(jié)果計(jì)算方法。

結(jié)果方法試圖計(jì)算干預(yù)或決定（例如產(chǎn)生額外單元的決定）引起的排放量的邊際變化。而歸因是指核算平均強(qiáng)度數(shù)據(jù)或排放的靜態(tài)清單。

Jesse Doge等人發(fā)表的一篇關(guān)于“測量云實(shí)例中人工智能的碳強(qiáng)度”的論文采用了這種方法來引入更明智的研究。由于大量的 AI 模型訓(xùn)練是在云計(jì)算實(shí)例上進(jìn)行的，因此它可以成為計(jì)算 AI 模型碳足跡的有效框架。本文改進(jìn)了以下估計(jì)的SCI公式：

這是從以下方面提煉出來的：

源自

哪里：

E：軟件系統(tǒng)消耗的能量，主要是圖形處理單元 - GPU 是專門的 ML 硬件。

我：為數(shù)據(jù)中心供電的電網(wǎng)基于位置的邊際碳排放量。

男：嵌入或隱含碳，即在使用、創(chuàng)建和處置硬件期間排放的碳。

R：功能單元，在本例中是一個(gè)機(jī)器學(xué)習(xí)訓(xùn)練任務(wù)。

C= O+M，其中 O 等于 E*I

本文使用該公式來估計(jì)單個(gè)云實(shí)例的用電量。在基于深度學(xué)習(xí)的 ML 系統(tǒng)中，主要電力消耗歸功于 GPU，該公式中包含 GPU。他們在具有兩個(gè)Intel Xeon E5-2630 v3 CPU（2.4GHz）和256GB RAM（16x16GB DIMM）的商品服務(wù)器中使用單個(gè)NVIDIA TITAN X GPU（12 GB）訓(xùn)練了一個(gè)BERT-base模型，以試驗(yàn)該公式的應(yīng)用。下圖顯示了此實(shí)驗(yàn)的結(jié)果：

? 能耗和服務(wù)器組件之間的拆分

GPU占能耗的74%。盡管該論文的作者仍然聲稱它被低估了，但包含GPU是朝著正確方向邁出的一步。這不是傳統(tǒng)估算技術(shù)的重點(diǎn)，這意味著在估算中忽略了碳足跡的主要貢獻(xiàn)者。顯然，SCI提供了一種更健康、更可靠的碳強(qiáng)度計(jì)算方法。

測量云計(jì)算實(shí)時(shí)碳足跡的方法

AI 模型訓(xùn)練通常在云計(jì)算實(shí)例上進(jìn)行，因?yàn)樵剖蛊渚哂徐`活性、可訪問性和成本效益。云計(jì)算提供了大規(guī)模部署和訓(xùn)練 AI 模型的基礎(chǔ)設(shè)施和資源。這就是為什么云計(jì)算上的模型訓(xùn)練正在逐漸增加的原因。

測量云計(jì)算實(shí)例的實(shí)時(shí)碳強(qiáng)度以確定適合緩解工作的領(lǐng)域非常重要。會(huì)計(jì)基于時(shí)間和特定位置的每單位能源邊際排放量可以幫助計(jì)算運(yùn)營碳排放量，正如 2022 年的一篇論文所做的那樣。

開源工具云碳足跡 （CCF） 軟件也可用于計(jì)算云實(shí)例的影響。

提高人工智能應(yīng)用的碳效率

以下是優(yōu)化人工智能系統(tǒng)碳強(qiáng)度的 7 種方法。

1. 編寫更好、更高效的代碼

優(yōu)化的代碼可以通過減少內(nèi)存和處理器使用量將能耗降低 30%。編寫碳效率代碼涉及優(yōu)化算法以加快執(zhí)行速度，減少不必要的計(jì)算，以及選擇節(jié)能硬件以更少的功耗執(zhí)行任務(wù)。

開發(fā)人員可以使用分析工具來確定其代碼中的性能瓶頸和優(yōu)化區(qū)域。這個(gè)過程可以帶來更節(jié)能的軟件。此外，請考慮實(shí)現(xiàn)能源感知編程技術(shù)，其中代碼旨在適應(yīng)可用資源并確定節(jié)能執(zhí)行路徑的優(yōu)先級(jí)。

2. 選擇更高效的型號(hào)

選擇正確的算法和數(shù)據(jù)結(jié)構(gòu)至關(guān)重要。開發(fā)人員應(yīng)選擇能夠最大程度地降低計(jì)算復(fù)雜性并因此降低能耗的算法。如果更復(fù)雜的模型只能產(chǎn)生 3-5% 的改進(jìn)，但訓(xùn)練時(shí)間要多 2-3 倍;然后選擇更簡單、更快速的型號(hào)。

模型蒸餾是另一種將大型模型壓縮為較小版本的技術(shù)，以使其在保留基本知識(shí)的同時(shí)更有效。這可以通過訓(xùn)練一個(gè)小模型來模仿大模型或從神經(jīng)網(wǎng)絡(luò)中刪除不必要的連接來實(shí)現(xiàn)。

3. 調(diào)整模型參數(shù)

使用雙目標(biāo)優(yōu)化來平衡模型性能（例如準(zhǔn)確性）和能耗，從而調(diào)整模型的超參數(shù)。這種雙目標(biāo)方法可確保您不會(huì)為了另一個(gè)而犧牲一個(gè)，從而使您的模型更加高效。

利用參數(shù)高效微調(diào) （PEFT） 等技術(shù)，其目標(biāo)是獲得類似于傳統(tǒng)微調(diào)的性能，但可訓(xùn)練參數(shù)的數(shù)量減少。這種方法涉及微調(diào)模型參數(shù)的一小部分，同時(shí)凍結(jié)大多數(shù)預(yù)先訓(xùn)練的大型語言模型（LLM），從而顯著減少計(jì)算資源和能耗。

4. 壓縮數(shù)據(jù)并使用低能耗存儲(chǔ)

實(shí)施數(shù)據(jù)壓縮技術(shù)以減少傳輸?shù)臄?shù)據(jù)量。壓縮數(shù)據(jù)需要較少的能量來傳輸，并且占用的磁盤空間也較小。在模型服務(wù)階段，使用緩存可以幫助減少對(duì)在線存儲(chǔ)層的調(diào)用，從而減少

此外，選擇正確的存儲(chǔ)技術(shù)可以帶來顯著的收益。例如。AWS Glacier 是一種高效的數(shù)據(jù)存檔解決方案，如果不需要頻繁訪問數(shù)據(jù)，則比使用 S3 更具可持續(xù)性。

5. 清潔能源模型培訓(xùn)

如果您使用云服務(wù)進(jìn)行模型訓(xùn)練，您可以選擇運(yùn)行計(jì)算的區(qū)域。為此選擇一個(gè)使用可再生能源的地區(qū)，您可以減少多達(dá) 30 倍的排放量。AWS 博客文章概述了針對(duì)業(yè)務(wù)優(yōu)化和可持續(xù)發(fā)展目標(biāo)之間的平衡。

另一個(gè)選項(xiàng)是選擇運(yùn)行模型的適當(dāng)時(shí)機(jī)。在一天中的某些時(shí)間;能源更清潔，這些數(shù)據(jù)可以通過付費(fèi)服務(wù)（如電力地圖）獲取，該服務(wù)提供對(duì)不同地區(qū)電力碳強(qiáng)度的實(shí)時(shí)數(shù)據(jù)和未來預(yù)測。

6. 使用專門的數(shù)據(jù)中心和硬件進(jìn)行模型訓(xùn)練

選擇更高效的數(shù)據(jù)中心和硬件可以對(duì)碳強(qiáng)度產(chǎn)生巨大影響。特定于ML的數(shù)據(jù)中心和硬件的能源效率可以比一般數(shù)據(jù)中心和硬件高1.4-2和2-5倍。

7. 使用無服務(wù)器部署，如 AWS Lambda、Azure Functions

傳統(tǒng)部署要求服務(wù)器始終在線，這意味著 24x7 全天候能耗。AWS Lambda 和 Azure Functions 等無服務(wù)器部署以最小的碳強(qiáng)度運(yùn)行良好。

結(jié)語

人工智能行業(yè)正在經(jīng)歷指數(shù)級(jí)增長，滲透到商業(yè)和日常生活的方方面面。然而，這種擴(kuò)張是有代價(jià)的——迅速增長的碳足跡有可能使我們進(jìn)一步遠(yuǎn)離將全球氣溫上升限制在1°C的目標(biāo)。

這種碳足跡不僅僅是當(dāng)前的問題;它的影響可能會(huì)代代相傳，影響到那些對(duì)它的創(chuàng)造沒有責(zé)任的人。因此，必須采取果斷行動(dòng)來減少與人工智能相關(guān)的碳排放，并探索利用其潛力的可持續(xù)途徑。確保人工智能的好處不會(huì)以犧牲環(huán)境和子孫后代的福祉為代價(jià)至關(guān)重要。

Ankur Gupta是一位工程領(lǐng)導(dǎo)者，在可持續(xù)發(fā)展，運(yùn)輸，電信和基礎(chǔ)設(shè)施領(lǐng)域擁有十年的經(jīng)驗(yàn);目前擔(dān)任優(yōu)步的工程經(jīng)理一職。在這個(gè)職位上，他在推動(dòng)優(yōu)步車輛平臺(tái)的發(fā)展方面發(fā)揮著關(guān)鍵作用，通過整合尖端的電動(dòng)和聯(lián)網(wǎng)車輛，引領(lǐng)零排放的未來。

原文標(biāo)題：Greening AI: 7 Strategies to Make Applications More Sustainable

原文鏈接：
https://www.kdnuggets.com/greening-ai-7-strategies-to-make-applications-more-sustainable

作者：Ankur Gupta

編譯：LCR