哥本哈根兩學生開發新模型，預測深度學習演算法碳排放量

在日常生活中，我們大多數人都在不知不覺中與一種先進的人工智慧方法——深度學習親密接觸：當我們使用Siri或Alexa時，當Netflix根據我們的觀影歷史建議電影和電視節目時，或者當我們與網站的客戶服務聊天機器人（Chatbot）對話時，深度學習演算法就在此時悄悄地改變著我們的生活。

深度學習這一高速發展的技術，本來被認為是應對氣候變化的有效武器，卻有著一個不為人知的缺點——高能耗。按照這種趨勢繼續發展下去，人工智慧，特別是深度學習這一子領域，或許可能成為氣候變化的罪魁禍首。

從2012年到2018年，短短的六年時間裡，深度學習所需的計算量增長了300,000%。然而，與開發演算法相關的能耗和碳排放量卻鮮有被測量，儘管已有許多研究清楚地證明了這個日益嚴峻的問題。

針對這一問題，哥本哈根大學電腦科學系的兩名學生Lasse F.Wolff Anthony和Benjamin Kanding，協同助理教授Raghavendra Selvan一起開發了一個名為Carbontracker的軟體程式，它可以計算和預測訓練深度學習模型的能源消耗和二氧化碳排放量。

網址：

www.carbontracker.org/

Lasse F. Wolff Anthony如是說：“這一領域的開發獲得了高速發展。深度學習模型在規模上不斷擴大，越來越先進， 目前呈指數級增長。令大多數人意想不到的是：這意味著能源消耗正在隨之增加。”

深度學習訓練是數學模型識別大型資料集中的模式的過程。這是一個能源密集型的過程，需要電力密集型專用硬體，每天24小時連續執行。

Benjamin Kanding說：“隨著資料集日益擴大，演算法需要解決的問題變得越來越複雜。”

GPT-3高階語言模型是迄今為止最大的深度學習模型之一，在一次GPT-3訓練中，消耗的能耗估計為126個丹麥家庭的年度能源總消耗，排放的二氧化碳與70萬公里的車程消耗的能量相當。

Lasse F.Wolff Anthony說：“在幾年內，可能會有多個模型的計算量要比GPT-3的計算量大出多倍。”

Benjamin Kanding解釋道：“如果按照這種趨勢發展下去，人工智慧可能最終成為氣候變化的一個重要因素。我們的目的並非是要阻礙技術的發展，相反，技術的發展為氣候改善提供了極好的機會。我們應該及時意識到問題的存在，及時思考：應如何做出改進？”

Carbontracker是一個免費專案，它提供了一個減少模型對氣候影響的起點。該專案收集在進行深度學習訓練的過程中，相當於排放多少二氧化碳的數量。這樣做可以將能源消耗轉化為二氧化碳排放量，並對它進行預測。

這兩名電腦科學學生建議，深度學習從業者應關注模型訓練的時間段，因為他們部署的硬體和演算法時，能源的排放在24小時內是不同的。

Lasse F.Wolff Anthony總結道：“這樣做有可能大幅度減少對氣候影響。例如，如果一個人選擇在愛沙尼亞或瑞典訓練深度學習模型，在這兩地，由於供應的是綠色能源，模型訓練的碳排放量可以減少60倍以上。演算法的效能也有著顯著的不同，某些演算法需要較少的計算量，能以更少的能量消耗獲得相似的結果。如果能夠對演算法的引數做出微調，情況會發生很大的改變。” 

相關報導：

https://www.sciencedaily.com/releases/2020/11/201103104723.htm