更大并不一定更好
時間：2022-03-05 08:46:01 | 來源：行業(yè)動態(tài)
時間：2022-03-05 08:46:01 來源：行業(yè)動態(tài)
在當今以深度學習為中心的研究范式當中，人工智能的主要進步主要依賴于模型的規(guī)模化擴展：數(shù)據(jù)集更大、模型更大、計算資源更大。
GPT-3就很好地說明了這種現(xiàn)象。這套模型中包含多達1750億個參數(shù)。為了幫助大家更直觀地理解這個數(shù)字，其前身GPT-2模型（在去年發(fā)布時，同樣創(chuàng)下了體量層面的紀錄）只有15億個參數(shù)。去年的GPT-2在擁有千萬億次算力的設備上訓練了幾十天；相比之下，GPT-3的訓練時長將增長至數(shù)千天。
這種靠每況愈大模型推動AI技術進步的問題在于，這類模型的構建與部署都需要消耗大量能源，并由此產(chǎn)生巨量碳排放。
在2019年的一項廣泛研究當中，由Emma Strubell牽頭的一組研究人員估計，訓練一套深度學習模型可能產(chǎn)生高達62萬6155磅的二氧化碳排放量大約相當于五輛汽車從出廠到報廢的總二氧化碳排放規(guī)模。如果這還不夠直觀，那么每個美國人每年平均產(chǎn)生3萬6156磅二氧化碳排放量。
可以肯定的是，這項估算主要針對那些高度依賴于能源的模型。畢竟結合當前現(xiàn)實，機器學習模型的平均訓練過程絕不至于產(chǎn)生60多萬磅二氧化碳。
同樣值得注意的是，在進行這項分析時，GPT-2仍然是研究領域規(guī)模最大的模型，研究人員也將其視為深度學習模型的極限。但僅僅一年之后，GPT-2就成了纖細瘦小的代名詞，下代模型的體量超過其百倍。
在線咨詢