最大支持64塊GPU的SR-AI

時間：2022-04-08 05:51:02 | 來源：行業(yè)動態(tài)

時間：2022-04-08 05:51:02 來源：行業(yè)動態(tài)

SR-AI單機可實現(xiàn)支持16個GPU的超大擴展性節(jié)點，該方案最大支持64塊GPU，峰值處理能力為512 TFlop，可支持千億樣本、萬億參數(shù)級別的模型訓(xùn)練。該服務(wù)器打破了傳統(tǒng)服務(wù)器的GPU/CPU緊耦合架構(gòu)，通過PCI-e Switch節(jié)點連接上行的CPU計算/調(diào)度節(jié)點和下行的GPU Box，實現(xiàn)CPU/GPU的獨立擴容，避免傳統(tǒng)架構(gòu)升級帶來的部件過度冗余，使得GPU擴展無需同步配置高成本的IT資源，可將成本優(yōu)化5%以上，隨著規(guī)模上升，成本優(yōu)勢更加明顯。

浪潮表示，在計算平臺的選擇上，企業(yè)可以在適合線下訓(xùn)練的計算加速節(jié)點采用浪潮領(lǐng)先業(yè)界設(shè)計的浮點運算能力強、高擴展的GPU服務(wù)器，或KNM 計算加速器，而用于線上識別的計算加速節(jié)點采用浪潮低功耗、高能效比的GPU 服務(wù)器，或者低功耗定制優(yōu)化推理程序的FPGA加速器。

2017 年，浪潮AI服務(wù)器在中國AI市場占有率超過57%，阿里巴巴、騰訊和百度三家運營商90%以上的AI服務(wù)器都來自浪潮。

對于浪潮在AI服務(wù)器上的成功，浪潮AIHPC總經(jīng)理劉軍將其歸功于三個方面，一是對GPU的布局早，二是對行業(yè)客戶的把握--把互聯(lián)網(wǎng)作為主航道，三是產(chǎn)品創(chuàng)新的能力和效果有保證。

日前，浪潮也公開了企業(yè)AI策略。

2018年4月26日，在浪潮云數(shù)據(jù)中心合作伙伴大會IPF2018上，浪潮發(fā)布全新AI品牌TensorServer，明確傳遞浪潮對AI業(yè)務(wù)的決心與愿景。浪潮集團副總裁彭震對TensorServer品牌予以了詮釋：「Tensor是算法的基礎(chǔ)元素，Server是計算力的基礎(chǔ)架構(gòu)。AI基礎(chǔ)架構(gòu)對于AI產(chǎn)業(yè)持續(xù)快速健康發(fā)展至關(guān)重要。TensorServer 意在成為AI的承載者與賦能者，整合創(chuàng)新AI基礎(chǔ)架構(gòu)系統(tǒng)，以計算開啟可進化的智慧世界?！?br>
這里的AI基礎(chǔ)架構(gòu)系統(tǒng)涵蓋平臺、管理、框架、應(yīng)用多個方面。

在AI管理上，浪潮部署AIStation人工智能深度學(xué)習(xí)集群管理軟件。AIStation主要面向深度學(xué)習(xí)計算集群，提供數(shù)據(jù)處理、模型開發(fā)、模型訓(xùn)練、推理服務(wù)全流程服務(wù)，支持多種深度學(xué)習(xí)框架，能夠快速部署深度學(xué)習(xí)訓(xùn)練環(huán)境，全面管理深度學(xué)習(xí)訓(xùn)練任務(wù)，為深度學(xué)習(xí)用戶提供高效易用的平臺。此外，這一軟件可以對計算集群的CPU及GPU資源進行統(tǒng)一的管理、調(diào)度及監(jiān)控，有效的提高計算資源的利用率和生產(chǎn)率。

作為補充，浪潮還自研Teye應(yīng)用特征分析系統(tǒng)。Teye主要用于分析AI應(yīng)用程序在GPU集群上運行時對硬件及系統(tǒng)資源占用的情況，反映出應(yīng)用程序的運行特征、熱點及瓶頸，從而幫助用戶最大限度的在現(xiàn)有平臺挖掘應(yīng)用的計算潛力，進而為應(yīng)用程序的優(yōu)化以及應(yīng)用算法的調(diào)整改進提供科學(xué)的指引方向。

而在框架上，浪潮早在2015年就發(fā)布Caffe-MPI深度學(xué)習(xí)計算框架，他們在Caffe架構(gòu)的基礎(chǔ)上，針對并行擴展性做出一系列創(chuàng)新。

據(jù)記者了解，最新版本Caffe-MPI在4節(jié)點16塊GPU卡集群系統(tǒng)上訓(xùn)練性能較單卡提升13倍，其每秒處理圖片數(shù)量是同配置集群運行的TensorFlow 1.0的近2倍。

Caffe-MPI設(shè)計了兩層通信模式：節(jié)點內(nèi)的 GPU 卡間通信及節(jié)點間的 RDMA 全局通信，這極大降低了網(wǎng)絡(luò)通信的壓力，并克服了傳統(tǒng)通信模式中 PCIE 與網(wǎng)絡(luò)之間帶寬不均衡的影響，同時Caffe-MPI還設(shè)計實現(xiàn)了計算和通信的重疊。此外，新版本 Caffe-MPI提供了更好的cuDNN兼容性，用戶可以無縫調(diào)用最新的cuDNN版本實現(xiàn)更大的性能提升。

除了自研深度學(xué)習(xí)框架，浪潮將深度學(xué)習(xí)框架及其依賴的庫統(tǒng)一進行資源封裝成一個鏡像，之后便可以在任何支持資源封裝的浪潮平臺上隨時加載鏡像，用戶可以立刻開始工作，其工作環(huán)境與原始環(huán)境完全一致，這可以有效提升生產(chǎn)力。目前，浪潮可封裝的框架資源基本涵蓋了主流的深度學(xué)習(xí)框架，包括 Caffe/Cafee-MPI、TensorFlow、CNTK、MXNet以及PaddlePaddle等。

在應(yīng)用加速上，記者了解到浪潮的解決方案如下：

應(yīng)用場景咨詢與系統(tǒng)方案設(shè)計

浪潮AI解決方案專家與客戶商討深度學(xué)習(xí)應(yīng)用場景，共同分析計算熱點和瓶頸，幫助設(shè)計適合客戶應(yīng)用場景的系統(tǒng)方案。

應(yīng)用代碼移植優(yōu)化

浪潮異構(gòu)應(yīng)用專家可以幫助客戶分析CPU代碼特征，辨別是否適合遷移至異構(gòu)加速部件，并共同將代碼熱點進行移植優(yōu)化，提升應(yīng)用的計算效率，時間更短。

計算加速部件性能橫向評測

浪潮針對GPU/FPGA/KNM等主流異構(gòu)加速部件擁有成熟的橫向評測方法，可以幫助客戶選擇適合的部件。

目前，浪潮的解決方案為行業(yè)AI轉(zhuǎn)型提供賦能支撐。

浪潮與百度合作推出ABC一體機，這一設(shè)備集合了百度自研的集群管理軟件、優(yōu)化引擎和浪潮AI計算硬件平臺，支持PaddlePaddle、TensorFlow、Caffe等主流深度學(xué)習(xí)框架，內(nèi)嵌成熟的算法模型和云管理技術(shù)。

據(jù)浪潮介紹，ABC人臉識別一體機支持百度人臉檢測、1:1人臉對比和1：N人臉查找三大人臉識別核心能力，可以根據(jù)人臉面部的72個特征點識別多種人臉屬性，如性別、年齡、表情等信息，并計算人臉相似度，可用于用戶身份。

此外，浪潮很早就開始與科大訊飛合作訓(xùn)練語音神經(jīng)網(wǎng)絡(luò)模型，從將模型訓(xùn)練從CPU單機上擴展到多機，而后又開展如何在FPGA上運行語音神經(jīng)網(wǎng)絡(luò)模型的研究，實現(xiàn)更高的性能。

目前，浪潮在計算平臺、管理套件、框架優(yōu)化和應(yīng)用加速上已經(jīng)形成有機的AI生態(tài)。劉軍表示，對于渴望AI轉(zhuǎn)型的企業(yè)，從客觀看，極其需要這四層能力，而浪潮作為賦能者，能將這四層能力賦予這些企業(yè)，讓其更快速地實現(xiàn) AI落地。