從1到2的跨越式突破

時間：2022-04-02 04:00:01 | 來源：行業(yè)動態(tài)

時間：2022-04-02 04:00:01 來源：行業(yè)動態(tài)

具體來說，悟道團隊由智源研究院學術副院長唐杰教授領銜，100多位來自清華、北大、人大、中科院等的科研骨干共同參與，短短一年多的時間，實現(xiàn)了從0到1，又從1到2的層層突破。唐杰表示，悟道的目標是對標世界領先水平，旨在打造數據和知識雙輪驅動的認知智能，能夠讓機器像人一樣思考。雖然，現(xiàn)在只是2.0版本，但悟道已經是一個非常全能的選手，在問答、繪畫、作詩、視頻、配文案、菜譜等很多任務中都正在逼近圖靈測試的機器認知能力。而它的目標，是超越這一基準。智源研究院學術副院長 唐杰教授

相較于1.0版本，此次發(fā)布的悟道2.0進一步做到了大而聰明，具備大規(guī)模、高精度、高效率三大支點唐杰將這描述為你是（實）最大。



首先，大指的是模型參數規(guī)模之大。據唐杰介紹，悟道2.0的參數規(guī)模達到了1.75萬億，是OpenAI在去年5月發(fā)布的超大規(guī)模語言模型GPT-3的10倍，打破了之前由Google Switch Transformer預訓練模型創(chuàng)造的1.6萬億參數記錄，也是目前中國首個、全球最大的萬億級模型，首次在100%的國產超算上訓練了萬億模型；

其二，最指的是精準度之最。悟道2.0在世界公認的9項Benchmark基準測試任務上取得優(yōu)異成績，在圖形處理、文本任務等方面都達到了精準智能。比如，ImageNet zero-shot SOTA在200類超過了OpenAI CLIP，LAMA知識探測超過了AutoPrompt， LAMBADA完形填空能力超過1.7倍參數微軟Turing NLG；



其三，實指的是框架的實用性。過去，大規(guī)模預訓練模型的參數規(guī)模通常遠超傳統(tǒng)的專用人工智能模型，在算力資源、訓練時間等方面消耗巨大。而為了提升大規(guī)模預訓練模型的產業(yè)普適性和易用性，悟道團隊搭建高效預訓練框架，在高效編碼、高效模型、高效訓練、高效微調和高效推理等方面進行全鏈路的原創(chuàng)突破或迭代優(yōu)化，實現(xiàn)效率的大幅提升；

最后，你指的是邀你參與。唐杰表示，目前悟道框架中已經整合了大量數據，建設了全球最大的語料數據庫WuDaoCorpora2.0，包含全球最大的中文文本數據集、全球最大的多模態(tài)數據集、全球最大的對話數據集，為行業(yè)內大規(guī)模智能模型的研發(fā)提供了豐富的數據支撐，并提出了自然語言評測新標準智源指數。在此之上，悟道團隊希望更多的人參與進來，貢獻數據、分享數據，做更大的數據集，通過更大的算力，做出更優(yōu)美的模型。