算法算力協(xié)同優(yōu)化創(chuàng)新

時(shí)間：2022-04-09 12:27:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-09 12:27:01 來源：行業(yè)動(dòng)態(tài)

巨量模型訓(xùn)練本身是一個(gè)技術(shù)門檻特別高的研究工作，因?yàn)樗粌H需要在大規(guī)模集群上進(jìn)行訓(xùn)練，同時(shí)要求發(fā)揮大規(guī)模集群最好的性能。因此需要在模型分布式計(jì)算等各個(gè)層面上進(jìn)行協(xié)同方面的一些設(shè)計(jì)、優(yōu)化。

算法：解決了巨量模型訓(xùn)練不穩(wěn)定的業(yè)界難題，提出了穩(wěn)定訓(xùn)練巨量模型的算法，訓(xùn)練出2457億參數(shù)的全球最大AI巨量模型；巨量模型推理方法創(chuàng)新，提升模型的泛化能力，讓一個(gè)模型更好的服務(wù)不同應(yīng)用。

數(shù)據(jù)：創(chuàng)新中文數(shù)據(jù)集生成方法，研制高質(zhì)量文本分類模型，收集并清洗互聯(lián)網(wǎng)文本數(shù)據(jù)，有效過濾垃圾文本，生成5000GB高質(zhì)量數(shù)據(jù)集，是迄今業(yè)界最大的高質(zhì)量中文數(shù)據(jù)集。

算力：算法算力協(xié)同優(yōu)化，優(yōu)化巨量模型結(jié)構(gòu)，使模型更利于AI算力的性能發(fā)揮，實(shí)現(xiàn)計(jì)算效率大幅提升，在同比算力提升12%的情況下，參數(shù)集規(guī)模提升40%，達(dá)到業(yè)界第一訓(xùn)練性能的同時(shí)實(shí)現(xiàn)業(yè)界領(lǐng)先的精度。

劉軍表示，巨量模型是一個(gè)復(fù)雜的系統(tǒng)工程。要做好巨量模型，實(shí)際要求算力、算法、數(shù)據(jù)三架馬車協(xié)同創(chuàng)新。浪潮非常擅長把算力、算法、數(shù)據(jù)進(jìn)行整合，源1.0在這三方面進(jìn)行了積極探索。

浪潮一直活躍在AI前沿方向，在異構(gòu)加速計(jì)算、深度學(xué)習(xí)框架、AI算法等領(lǐng)域取得了一定的成績。目前，浪潮的AI服務(wù)器市占率已位居全球第一，連續(xù)四年中國市場占比超過50%；在深度學(xué)習(xí)框架領(lǐng)域，浪潮先后推出了深度學(xué)習(xí)并行計(jì)算框架Caffe-MPI、TensorFlow-Opt、全球首個(gè)FPGA高效AI計(jì)算開源框架TF2等等。

同時(shí)，浪潮在全球頂級的AI賽事上也不斷取得好成績，累計(jì)獲得56個(gè)MLPerf全球AI基準(zhǔn)測試冠軍，近幾年浪潮在CVPR、NIPS、GAIIC等國際大會(huì)大賽中，在多模態(tài)視覺問答、大場景多對象檢測以及自動(dòng)機(jī)器學(xué)習(xí)等領(lǐng)域都取得了非常不錯(cuò)的表現(xiàn)。

此外，浪潮連續(xù)三屆擔(dān)任國際基準(zhǔn)評測組織SPEL ML技術(shù)委員會(huì)主席，推動(dòng)國際開放AI基準(zhǔn)評測的建立。2020年，浪潮在人工智能領(lǐng)域的專利貢獻(xiàn)達(dá)到1174件，位居中國前列。

所以說，全球最大的中文AI巨量模型誕生，得益于浪潮在人工智能領(lǐng)域深厚的積累和不斷的探索實(shí)踐。劉軍表示，持續(xù)創(chuàng)新是浪潮的本色，在產(chǎn)業(yè)層面，浪潮滿足客戶、市場和應(yīng)用需求；在科研創(chuàng)新方面，浪潮探索科學(xué)前沿。