ONNX Runtime
時間:2022-04-09 06:51:01 | 來源:行業(yè)動態(tài)
時間:2022-04-09 06:51:01 來源:行業(yè)動態(tài)
現(xiàn)已開放預(yù)覽,這是專為ONNX格式機器學習模型設(shè)計的高性能推理引擎。ONNX Runtime兼容ONNX 1.2版本,自帶支持CPU和GPU的Python包,可在Azure機器學習服務(wù)或任何運行Ubuntu 16的Linux設(shè)備上進行推理運算。
ONNX Runtime的發(fā)布進一步擴展了微軟對ONNX的支持,讓ONNX模型推理可以在多種平臺和設(shè)備上運行。ONNX Runtime全面覆蓋和支持ONNX定義的所有運算符。出于對擴展性與性能表現(xiàn)的特別關(guān)注,ONNX Runtime能為一系列不同平臺和硬件的組合提供多種定制化的加速器,從而保證為推理運算提供最佳的整體性能表現(xiàn)。
插件式的執(zhí)行者界面意味著ONNX Runtime可以快速適應(yīng)軟件和硬件的改進。執(zhí)行者界面是硬件加速器向ONNX Runtime報告其性能的標準方式。英特爾、英偉達都在積極將ONNX Runtime整合到他們的硬件加速器中,目前英特爾的MKL-DNN、nGraph編譯器以及英偉達優(yōu)化的TensorRT推理引擎都已完成整合。