Front實時IO接入層
時間：2022-04-30 15:36:01 | 來源：行業(yè)動態(tài)
時間：2022-04-30 15:36:01 來源：行業(yè)動態(tài)
方舟備份集群采用分層存儲，實時IO接入層使用少量的NVME等高速存儲設(shè)備，承接海量實時IO，實時IO會定期下沉到采用大量HDD設(shè)備構(gòu)建的容量存儲層。方舟的接入層（Front）是整個數(shù)據(jù)方舟系統(tǒng)的門戶，其性能關(guān)系到能否接入SSD/RSSD云盤等高性能的設(shè)備。
原始的Front是基于Log-structured的設(shè)計，每塊邏輯盤會被分配一組Front節(jié)點，對于一次簡單的磁盤IO寫入操作，client將IO轉(zhuǎn)發(fā)到Primary Front節(jié)點，Primary Front節(jié)點將此次的IO追加寫入到最新的Log中，并將IO同步到Slavery Front節(jié)點。
分析可知該設(shè)計存在以下問題：1. 一塊邏輯盤的實時IO只落在一組(Primary-Slavery)Front節(jié)點上，所以系統(tǒng)對于單塊邏輯盤的接入性能受到Front單節(jié)點性能限制。這種設(shè)計是無法接入RSSD云盤這種超高性能設(shè)備的。2.雖然通過hash的方式將用戶邏輯盤打散分布到整個接入層集群，但是可能出現(xiàn)分配在同一組Front節(jié)點的多塊邏輯盤同時存在高IO行為，由此產(chǎn)生了熱點問題，雖然可以通過運維手段將其中的部分邏輯盤切換到空閑的Front節(jié)點上，但這并不是解決問題的最佳方式。
針對于此，我們提出了基于Stream數(shù)據(jù)流的設(shè)計，以滿足高IO場景下業(yè)務(wù)對于接入能力的要求。Stream數(shù)據(jù)流的概念即是將邏輯盤的所有寫入數(shù)據(jù)抽象成為一段數(shù)據(jù)流，數(shù)據(jù)只在Stream尾部進行追加寫。Stream按照固定大小分片，每個分片按照一致性hash算法映射到一個歸置組，歸置組代表一個副本組，由存儲資源按照一定策略組成。這樣就將一塊邏輯盤的實時IO打散到了所有接入層集群上，這不僅解決了接入RSSD云盤這種超高性能設(shè)備的問題，同時還解決了接入層熱點的問題。
Stream數(shù)據(jù)流符合Buffer的特性，即從尾部寫入、從頭部讀出。我們使用一組數(shù)據(jù)來標識Stream數(shù)據(jù)流的有效區(qū)域：read_offset和write_offset。當Stream有實時數(shù)據(jù)寫入，write_offset增長。Shuffle模塊會處理實時IO下沉到容量存儲層的工作。Shuffle會從Front定期拉取數(shù)據(jù)，在內(nèi)存中進行分片（sharding），并組織為Journal數(shù)據(jù)，推送至下層的Arker容量存儲層。推送Arker成功后，read_offset更新。對于已經(jīng)下沉到方舟Arker容量存儲層的數(shù)據(jù)，我們會對其進行回收以釋放存儲資源。
在線咨詢