當(dāng)前的問題和解決思路

時間：2022-04-03 22:57:01 | 來源：行業(yè)動態(tài)

時間：2022-04-03 22:57:01 來源：行業(yè)動態(tài)

目前主要問題是越來越大的需處理數(shù)據(jù)量與傳統(tǒng)低速存儲的矛盾。

要解決這一問題，在本文開頭的概述中我們提到需要更高性能的介質(zhì)配合網(wǎng)絡(luò)和CPU，以提升節(jié)點的性能并打造可擴展的系統(tǒng)，應(yīng)對日益增長的數(shù)據(jù)需求和性能要求。因此，福建電信探索通過25G網(wǎng)絡(luò)及 RoCE 技術(shù)，實現(xiàn)高效的分布式數(shù)據(jù)解決方案，解決當(dāng)前數(shù)據(jù)倉庫的性能問題。

首先需要解決的是存儲的架構(gòu)問題。在資源池化的大環(huán)境下，傳統(tǒng)存儲肯定無法繼續(xù)使用。出于海量數(shù)據(jù)本身的需求，為優(yōu)化不同節(jié)點對存儲的并行訪問性能，使用分布式存儲來解決問題是一個較好的思路。在分布式存儲系統(tǒng)中，如何提升存儲的遠端訪問性能，進而提升分布式存儲整體效率，這是一個挑戰(zhàn)。從協(xié)議的角度，可以使用iSER或NVMF等基于RoCE的訪問技術(shù)；從網(wǎng)絡(luò)的角度，更好利用網(wǎng)卡的卸載特性、以太網(wǎng)交換機的低延時、零丟包特性和先進的流控機制，能有效提高網(wǎng)絡(luò)效率并降低TCO，進一步提升分布式存儲的性能和效率。

其次，對于使用哪種存儲介質(zhì)能滿足高性能存儲的要求，筆者認為NVMe SSD擁有較好的隨機讀寫性能。且可以選擇U.2接口的NVMe SSD，可支持熱插拔，也可根據(jù)需要實現(xiàn)RAID，以滿足存儲的高可靠性要求。由于單塊NVMe SSD的讀寫就需要高于20Gb/S的帶寬，25GE網(wǎng)絡(luò)成為滿足存儲IO需求的起步配置。

然后，對于解決容量問題的需求，解決的思路是使用高速的NVMe SSD作為緩存，在之后使用大容量的硬盤來存儲冷數(shù)據(jù)，這樣通過智能緩存加速IO讀寫，同時通過海量硬盤實現(xiàn)大容量。

在既定的分布式架構(gòu)下，存儲性能的關(guān)鍵在于如何實現(xiàn)存儲訪問的加速。這個技術(shù)可以分為兩個方面，一方面是保證遠端存儲和本地存儲有近似的IO性能，另一方面是怎么樣通過硬件卸載來保證CPU不被過度占用進而影響存儲性能。之前提到的基于RoCE的網(wǎng)絡(luò)技術(shù)能非常好的實現(xiàn)這個存儲訪問的加速。

除上述問題之外，由于是分布式架構(gòu)，網(wǎng)絡(luò)如何保證數(shù)據(jù)的完整性也是非常重要的。

這里需要交換機和網(wǎng)卡端的配合來實現(xiàn)端到端的流控機制。如果硬件本身的可靠性和可用性都非常高，這也是對系統(tǒng)性能的一個有力保證。

采用以Mellanox為代表的高帶寬低延遲智能網(wǎng)絡(luò)和RDMA/RoCE技術(shù)能加速數(shù)據(jù)傳遞和高效無損無疑是構(gòu)建分布式存儲網(wǎng)絡(luò)的關(guān)鍵之一。