解決方案：基于寶德 PR2715P2 AI 推理服務器的自動分布式可擴展推理平臺
時間：2022-03-24 17:27:01 | 來源：行業(yè)動態(tài)
時間：2022-03-24 17:27:01 來源：行業(yè)動態(tài)
搭載第二代英特爾至強可擴展處理器的寶德 PR2715P2 AI 推理服務器全面支持Analytics Zoo Cluster Serving分布式推理技術方案。該推理服務器是一款軟硬一體的分布式全棧推理解決方案，專為高性能計算、高級人工智能分析任務而設計，具有出色的性能功耗比。
圖2：寶德 PR2715P2 AI 推理服務器
第二代英特爾至強可擴展處理器專為數(shù)據(jù)中心現(xiàn)代化革新而設計，能夠提高各種基礎設施、企業(yè)應用及技術計算應用的運行效率，進而改善總體擁有成本（TCO），提升用戶生產(chǎn)力。它擁有更高的單核性能，能夠在計算、存儲和網(wǎng)絡應用中，為計算密集型工作負載提供高性能和可擴展性。得益于英特爾
超級通道互聯(lián)（英特爾
UPI）、英特爾
Infrastructure Management 技術（英特爾
IMT）、英特爾
高級矢量擴展指令集512（英特爾
AVX-512）等領先功能，它可滿足嚴苛的 I/O 密集型工作負載的需求。
此外，第二代英特爾至強可擴展處理器內(nèi)置人工智能加速，并已針對工作負載進行優(yōu)化，能夠為各種高性能計算工作負載、AI應用以及高密度基礎設施帶來一流的性能和內(nèi)存帶寬。同時，采用矢量神經(jīng)網(wǎng)絡指令（VNNI）的英特爾
深度學習加速（英特爾
DL Boost）顯著提高了人工智能推理的表現(xiàn)，與上一代產(chǎn)品相比，性能提升高達 14 倍。這使其成為拓展 AI 應用的卓越基礎設施。
在寶德 PR2715P2 AI 推理服務器搭建的平臺上，用戶只需要準備 Analytics Zoo Cluster Serving 的 Docker Image、配置文件、訓練好的模型（當前支持的模型包括TensorFlow、PyTorch、Caffe、BigDL和OpenVINO的模型）及推理數(shù)據(jù)，即可在幾分鐘內(nèi)啟動并運行推理應用。
通過加入對于 Analytics Zoo Cluster Serving 的支持，寶德一體化分布式可擴展人工智能推理方案顯著降低了配置和流程的復雜程度，在提供高級定制化服務的同時，有效降低了 TCO。這種全新的集群模型服務支持有助于簡化用戶的分布式推理工作流，提高工作效率，并為深度學習場景帶來領先的性能。
在線咨詢