02X3DS輔助FastDFS 平滑遷移至XEOS

時間：2022-03-24 04:03:01 | 來源：網絡推廣

時間：2022-03-24 04:03:01 來源：網絡推廣

X3DS(XSKY 3D data management System)是XSKY提供的立體數(shù)據管理系統(tǒng)?？商峁┓墙Y構化數(shù)據的DR(Disaster Recovery，災難恢復)，DP(Data Protection，數(shù)據保護)和DM(Data Migration，數(shù)據遷移)這三大管理能力，是一個立體的三維數(shù)據管理平臺。

支持非結構化數(shù)據的復制、遷移、備份、歸檔功能，支持豐富的數(shù)據管理策略，滿足不同用戶的個性化要求。支持多存儲后端協(xié)議(如：CIFS,NFS,FTP,S3,BOS,OSS，F(xiàn)astDFS等)，極大的兼容了市場上主流文件傳輸協(xié)議。

支持跨廠商的文件和對象存儲之間數(shù)據相互移動，支持跨云的數(shù)據上云和下云，適應性廣，避免用戶被設備廠商和公有云廠商鎖定。遷移任務支持斷點續(xù)傳，應對海量數(shù)據遷移過程中，如發(fā)生機房掉電等故障，故障恢復后，再次啟動遷移任務可以實現(xiàn)斷點續(xù)傳，有效節(jié)省遷移時間。

1、整體遷移方案架構

2、方案特點

可配置遷移QoS;

支持主流協(xié)議遷移;

為保證數(shù)據可用，業(yè)務切換時需要短暫停機做最終數(shù)據一致檢查;

支持file-from，指定文件遷移;

支持腳本工具導出FastDFS集群文件ID;

遷移任務支持斷點續(xù)傳。?

3、具體部署方案

整體操作流程：

創(chuàng)建源端?

創(chuàng)建目標端?

創(chuàng)建遷移任務?

數(shù)據遷移中?

產品安裝部署：

1.目標XEOS集群部署

網絡需要與源端集群業(yè)務網絡連通;

參照《星辰天合分布式存儲系統(tǒng)軟件安裝手冊》完成XEOS分布式對象存儲安裝，初始化配置，調試完畢，準備就緒。?

2.信息收集，集群規(guī)劃

收集原有FastDFS集群相關信息;

結合客戶需求定制，規(guī)劃新集群相關配置信息。?

3.遷移流程規(guī)劃

遷移項目實施需有詳盡的方案規(guī)劃，針對不同的業(yè)務應用或者租戶，優(yōu)化切割時間節(jié)點;

評估重點業(yè)務，為保證遷移的有效性和安全性，需要對驗證遷移前后數(shù)據的一致性和完整性做整體規(guī)劃;

確定遷移步驟，順序，工具，實施人員等信息，給出具體的實施指導手冊和計劃，以及對應的回退方案。?

4.目標端集群配置

目標端集群對應資源的創(chuàng)建(對象資源，永久Token等);

確定新集群和應用業(yè)務的對接。?

5.Nginx安裝

下載并配置FastDFS-Nginx-Module模塊，完成在Storage所有節(jié)點上Nginx的安裝;

Storage節(jié)點上對接配置Nginx，并設置開機自啟動;

測試Nginx模塊。?

6.數(shù)據遷移

安裝配置X3DS

X3DS產品支持融合部署在XEOS存儲節(jié)點，不需要額外的資源消耗;

上傳解壓X3DS安裝包，一鍵安裝部署;

添加X3DS節(jié)點(支持單節(jié)點和多節(jié)點部署，多節(jié)點部署建議至少3個節(jié)點) ;

在目標端XSKY存儲上創(chuàng)建永久Token;

參照手冊創(chuàng)建源端的FastDFS和目標端的XEOS S3的Remote類型;

檢查業(yè)務網絡的連通性，待遷移數(shù)據需可以在X3DS業(yè)務節(jié)點訪問。?

數(shù)據遷移

部署用戶提供的文件ID列表保存在X3DS業(yè)務節(jié)點上;

預測試，使用小部分數(shù)據先預測試，驗證方案可行性;

配置遷移任務;

遷移完成后，檢查一致性。?

7.遷移完成，業(yè)務切換

遷移完成后，業(yè)務切換，驗證數(shù)據一致性。