高性能、超低延遲的進(jìn)化之路

時(shí)間：2022-04-15 19:06:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-15 19:06:01 來(lái)源：行業(yè)動(dòng)態(tài)

眾所周知，超融合帶來(lái)的敏捷性、便捷性、易用性、可運(yùn)維是被廣泛認(rèn)可的情況，很多行業(yè)客戶(hù)開(kāi)始大規(guī)模采購(gòu)超融合系統(tǒng)，這已經(jīng)證明超融合相比傳統(tǒng)架構(gòu)具有很大的優(yōu)勢(shì)。

但是問(wèn)題也來(lái)了，相比裸金屬服務(wù)器和中高端存儲(chǔ)設(shè)備，在性能上，尤其在延遲上超融合是不是可以和傳統(tǒng)架構(gòu)一決高下，很多客戶(hù)是有擔(dān)心。基于英特爾的全新存儲(chǔ)硬件產(chǎn)品，我們從硬件到軟件對(duì)整個(gè)系統(tǒng)進(jìn)行了升級(jí)，充分發(fā)揮軟件和硬件結(jié)合的優(yōu)勢(shì)，從而讓超融合在性能上已經(jīng)達(dá)到甚至是超越傳統(tǒng)中高端存儲(chǔ)所達(dá)到的性能。張凱說(shuō)。

為了充分發(fā)揮傲騰持久內(nèi)存的能力，Sailfish項(xiàng)目對(duì)計(jì)算虛擬化到存儲(chǔ)網(wǎng)絡(luò)以及存儲(chǔ)介質(zhì)進(jìn)行了端到端優(yōu)化。而由于超融合架構(gòu)的部署特點(diǎn)，以上的性能都必須在有限的計(jì)算資源實(shí)現(xiàn)，這一限制條件為Sailfish項(xiàng)目帶來(lái)諸多的挑戰(zhàn)。

張凱表示，在現(xiàn)有SMTX OS軟件棧中，一個(gè)IO請(qǐng)求會(huì)經(jīng)過(guò)：計(jì)算虛擬化層、網(wǎng)絡(luò)層和存儲(chǔ)層。IO請(qǐng)求在經(jīng)過(guò)每一層系統(tǒng)時(shí)，都會(huì)帶來(lái)額外的性能開(kāi)銷(xiāo)，這些性能開(kāi)銷(xiāo)來(lái)自于上下文切換，系統(tǒng)中斷以及內(nèi)存拷貝等等。為了充分發(fā)揮傲騰持久內(nèi)存的性能，解決方案對(duì)這三個(gè)層次分別進(jìn)行優(yōu)化，以做到端到端的IO加速。

基于此，SmartX研發(fā)團(tuán)隊(duì)對(duì)系統(tǒng)進(jìn)行了如下重大改進(jìn)，SMTX ZBS分布式塊存儲(chǔ)專(zhuān)門(mén)開(kāi)發(fā)了以DAX（Direct Access）模式訪問(wèn)持久內(nèi)存設(shè)備的適配程序，縮短了IO堆棧以獲得更佳的性能和更低的延時(shí)。

為了保證在有限的CPU資源下提升持久內(nèi)存的帶寬性能，SmartX技術(shù)團(tuán)隊(duì)創(chuàng)新地引入了IO/AT DMA引擎實(shí)現(xiàn)了異步寫(xiě)入持久內(nèi)存的機(jī)制，使得單個(gè)CPU內(nèi)核的最大寫(xiě)入帶寬提升至10GB/s。

在存儲(chǔ)層，Sailfish項(xiàng)目充分發(fā)揮英特爾傲騰持久內(nèi)存App Direct模式低延遲和持久化存儲(chǔ)的能力，保存集群中最經(jīng)常被訪問(wèn)的數(shù)據(jù)。同時(shí)為了保證數(shù)據(jù)的可靠性和高可用特性，緩存的數(shù)據(jù)也會(huì)以副本的形式保存到其他的節(jié)點(diǎn)中。不僅如此，SMTX OS充分利用持久內(nèi)存的字節(jié)訪問(wèn)特性重新設(shè)計(jì)了日志，有效解決日志寫(xiě)放大問(wèn)題。并通過(guò)DMA方式，將內(nèi)存與持久內(nèi)存之間的數(shù)據(jù)拷貝任務(wù)，下放到硬件中完成，極大地提高了內(nèi)存拷貝的效率，在提升存儲(chǔ)性能的同時(shí)，不產(chǎn)生額外的CPU資源需求。

在計(jì)算虛擬化層，通過(guò)SMTX ELF Boost模式將存儲(chǔ)虛擬化功能，從虛擬機(jī)中下放到存儲(chǔ)軟件棧中，避免了因IO請(qǐng)求經(jīng)過(guò)虛擬機(jī)而產(chǎn)生額外的性能開(kāi)銷(xiāo)。同時(shí)通過(guò)VM與存儲(chǔ)系統(tǒng)共享內(nèi)存的方式，避免在IO路徑上發(fā)生內(nèi)存拷貝，直接通過(guò)vHost技術(shù)將虛擬機(jī)內(nèi)存中的IO數(shù)據(jù)直接共享到ZBS上的vHost Target。

在存儲(chǔ)網(wǎng)絡(luò)層，通過(guò)使用RDMA over Converged Ethernet（RoCE ）進(jìn)行網(wǎng)絡(luò)IO加速，并將網(wǎng)絡(luò)協(xié)議的實(shí)現(xiàn)部分，下放到網(wǎng)卡硬件上完成，充分利用網(wǎng)卡硬件的加速功能，極大地降低分布式存儲(chǔ)在網(wǎng)絡(luò)通信時(shí)的性能開(kāi)銷(xiāo)。



經(jīng)過(guò)以上優(yōu)化，我們?cè)贗O性能提升了3.2倍基礎(chǔ)上，在延遲上有85%的降低。這是我們Sailfish項(xiàng)目帶來(lái)的價(jià)值，使用該方案，SmartX超融合一體機(jī)三個(gè)節(jié)點(diǎn)的最小系統(tǒng)即可達(dá)到120萬(wàn)IOPS，而且虛擬機(jī)端的IO延時(shí)可從ms級(jí)別降低至us級(jí)別。張凱說(shuō)。

目前，Sailfish項(xiàng)目中使用到的技術(shù)已經(jīng)集成到了最新的SmartX Halo P系列一體機(jī)中。SmartX Halo P系列一體機(jī)不僅能夠勝任交易類(lèi)數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)等對(duì)IO性能要求苛刻的核心應(yīng)用場(chǎng)景，并且能夠以更高性能提升虛擬機(jī)密度，進(jìn)一步簡(jiǎn)化IT部署，降低整體擁有成本。SmartX Halo P系列一體機(jī)已經(jīng)在金融行業(yè)進(jìn)行了測(cè)試和部署。



與市場(chǎng)某主流中高端全閃陣列相比，三節(jié)點(diǎn)的SmartX Halo P系列一體機(jī)的8KB隨機(jī)讀性能為120萬(wàn)IOPS，達(dá)到全閃陣列的1.4倍，順序讀帶寬達(dá)到25GB，是全閃陣列的2.1倍，同時(shí)應(yīng)用端延遲只有100us，而全閃陣列僅控制器端延遲就達(dá)到了500us。不僅如此，P系列一體機(jī)依舊保持超融合架構(gòu)簡(jiǎn)單、彈性的特點(diǎn)，并提供相比于中高端陣列，極具競(jìng)爭(zhēng)力的總擁有成本。



張凱表示，得益于性能優(yōu)化，該超融合解決方案可以應(yīng)用在三個(gè)場(chǎng)景中：高性能、低延遲的核心數(shù)據(jù)庫(kù)，比如Oracle數(shù)據(jù)庫(kù)或者微軟SQL Server；高性能高密度服務(wù)器的數(shù)據(jù)中心整合；AI機(jī)器學(xué)習(xí)。僅占用少量計(jì)算資源，最小系統(tǒng)三節(jié)點(diǎn)即可達(dá)到甚至超過(guò)中高端全閃陣列指標(biāo)，而應(yīng)用端延遲遠(yuǎn)低于中高端全閃磁盤(pán)陣列。而相比中高端磁盤(pán)陣列，SmarX超融合產(chǎn)品的總擁有成本、系統(tǒng)彈性和易維護(hù)性具有巨大優(yōu)勢(shì)。