產(chǎn)品演示｜極限挑戰(zhàn)之如何用 2 臺服務(wù)器搭建超融合集群

時間：2023-06-25 19:06:02 | 來源：網(wǎng)站運營

時間：2023-06-25 19:06:02 來源：網(wǎng)站運營

產(chǎn)品演示｜極限挑戰(zhàn)之如何用 2 臺服務(wù)器搭建超融合集群：

搭建背景

如大家有使用服務(wù)器虛擬化軟件的經(jīng)歷，就會發(fā)現(xiàn)共享存儲設(shè)備（常用 SAN 存儲）非常重要，但有的場景（如：測試開發(fā)環(huán)境）確實沒有共享存儲設(shè)備可用，那么你得忍受無法支持在線遷移、HA 等高級功能。而超融合技術(shù)的其中一個特點是使用通用服務(wù)器硬件即可同時提供服務(wù)器虛擬化和存儲功能，不需要額外的 SAN 存儲設(shè)備即可提供共享存儲的服務(wù)。但一般的超融合集群至少需要 3 個節(jié)點，以及對網(wǎng)絡(luò)也有相關(guān)要求，下面我將跟大家一起挑戰(zhàn)如何使用 2 個節(jié)點構(gòu)建超融合集群。

國內(nèi)超融合廠商 SmartX ，在前陣子推出了 SMTX OS 超融合軟件的社區(qū)版本，可永久免費使用，支持 3 節(jié)點的集群部署，只需要在官方網(wǎng)站進行注冊即可獲得許可。從官方的硬件要求中可以看到，標準集群依然是需要 3 臺服務(wù)器的，以及要求使用萬兆以太網(wǎng)進行互聯(lián)。但考慮到有不少用戶不一定有 3 臺空閑的服務(wù)器，甚至也不一定配有萬兆交換機，但又希望體驗超融合架構(gòu)的優(yōu)勢，這能實現(xiàn)嗎？在任務(wù)開始之前，我們不妨先做一些前提和目標設(shè)定：

任務(wù)前提

• 服務(wù)器數(shù)量：2 臺
• 網(wǎng)絡(luò)交換機：只有千兆交換機，不使用萬兆交換機

任務(wù)目標

• 企業(yè)測試開發(fā)環(huán)境對于資源池化，運維便利性要求并不低，因此要求超融合集群需支持存儲池化、在線遷移等功能（不接受 2 臺服務(wù)獨立運行情況）
• 企業(yè)測試開發(fā)環(huán)境也需要一定程度的數(shù)據(jù)可靠性，因此要求集群支持數(shù)據(jù)副本冗余保護（至少支持 2 副本），能應(yīng)對硬盤故障場景
• 企業(yè)測試開發(fā)環(huán)境虛擬機的密度很高，因此希望盡可能保證集群的存儲高性能體驗

既然目標已經(jīng)清晰，那么就開干吧~

搭建準備

硬件準備

湊了兩臺配置合適的戴爾服務(wù)器，單臺服務(wù)器配置如下：

CPU	Intel Xeon Silver 4110 CPU 2.10GHz x2（官方最低要求 2.1Ghz）
內(nèi)存	128GB（官方最低要求是 64GB 以上 ）
啟動盤	240GB M.2 SSD（官方最低要求是 120GB）
緩存盤	960GB x2（官方最低要求 2 塊 480GB ，單沒有冗余性）
數(shù)據(jù)盤	2TB x4 （官方最低要求 2 塊）
千兆網(wǎng)卡	1 塊
萬兆網(wǎng)卡	1 塊

PS: 需要在服務(wù)器 bios 中開啟 CPU 的 VT 支持

網(wǎng)絡(luò)準備

SMTX OS 社區(qū)版中提到需要 100% 發(fā)揮性能，服務(wù)器之間必需使用 10Gb 以太網(wǎng)互聯(lián)，但實際上又沒有萬兆交換機，怎么辦？沒關(guān)系，由于是 2 節(jié)點集群，我們嘗試通過一根帶萬兆線纜將兩臺服務(wù)器直連，解決沒有萬兆交換機的問題。

*當然你也可以使用萬兆光模塊+光纖跳線代替；但這種萬兆線纜，兩頭自帶 10GbE SFP+ 模塊，節(jié)省了 2 個光模塊，成本大概就 200-300 RMB，很實惠 。

服務(wù)器互聯(lián)示意圖

安裝鏡像獲取

訪問 https://www.smartx.com/community/ 進行登記可獲取安裝鏡像，其中包括兩個文件，社區(qū)版的 SMTX OS 超融合軟件以及 CloudTower 平臺管理軟件，分別對應(yīng)文件名為：

• community-4.0.10-el7-2105162031-x86_64.iso
• cloudtower-1.5.2.iso

PS:獲取安裝鏡像后，應(yīng)先確認 ISO 文件的 MD5 值是否一致，防止后續(xù)安裝過程出錯。

community-4.0.10-el7-2105162031-x86_64.iso 文件可以刻錄到 U 盤進行安裝。如果不了解如何刻錄到 U 盤的同學(xué)，請參考 U盤刻錄；另外，如果你的服務(wù)器本身有 IPMI 功能，也可以直接將 ISO 文件掛載，通過網(wǎng)絡(luò)訪問 IPMI 進行系統(tǒng)安裝。

安裝步驟

SMTX OS 系統(tǒng)安裝

安裝系統(tǒng)可以使用刻錄好的 U 盤插到服務(wù)器上，并選擇 U 盤進行啟動（如使用 IPMI ，將 ISO 文件掛載到虛擬光驅(qū)中，并選擇虛擬光盤啟動即可）。

U 盤引導(dǎo)通過 U 盤引導(dǎo)

引導(dǎo)成功后，進入以下界面，選擇 start intallation 即可

選擇啟動盤

根據(jù)實際情況輸入對應(yīng)的硬盤標識，案例中的啟動盤是 sdg （240GB 大小），填入 sdg 后確定，系統(tǒng)將進入無人值守安裝。

無人值守安裝

安裝過程中，系統(tǒng)會顯示軟件包的安裝進度，完成后系統(tǒng)將自動重啟

確認服務(wù)器網(wǎng)絡(luò)連接情況

使用默認的賬號： root ，密碼： smartx 登陸系統(tǒng)
通過 ls /etc/sysconfig/network-scripts 命令查看服務(wù)器的網(wǎng)卡名稱


使用 ethtool 命令查看網(wǎng)卡的連接情況和速度，確認萬兆網(wǎng)卡和千兆網(wǎng)卡都是連通狀態(tài)，這里確認千兆網(wǎng)卡名稱是：enp94s0f0，萬兆網(wǎng)卡名稱是：enp24s0f1

配置管理 IP 地址

手工千兆網(wǎng)卡 IP 地址（手工配置 IP 方法參照），這里配置為：192.168.96.43

到這里基本已經(jīng)完成了系統(tǒng)的安裝，另外一臺服務(wù)只需要重復(fù)以上 4 個步驟即可完成系統(tǒng)安裝（另外一臺服務(wù)器可以不手工配置 IP 地址）。

集群初始化

閱讀服務(wù)條款

輸入集群名稱

集群名字可以自行定義，在這里集群名稱定為： HCI

掃描集群

執(zhí)行掃描后，確認系統(tǒng)可發(fā)現(xiàn) 2 臺服務(wù)器（如下圖），輸入主機名（自定義）

配置存儲模式

本次集群是 SSD+HDD 混閃配置，應(yīng)該選擇【分層】模式

創(chuàng)建管理網(wǎng)絡(luò)虛擬交換機

填入管理網(wǎng)絡(luò)的虛擬交換機名稱（自定義），勾選關(guān)聯(lián)服務(wù)器的千兆網(wǎng)卡 enp94s0f0（如果不清楚網(wǎng)卡對應(yīng)關(guān)系，請參考系統(tǒng)安裝章節(jié)：確認網(wǎng)卡連接狀態(tài)和速度）

創(chuàng)建存儲網(wǎng)絡(luò)虛擬交換機

填入管理存儲的虛擬交換機名稱（自定義），勾選關(guān)聯(lián)服務(wù)器的萬兆網(wǎng)卡 enp24s0f1，鼠標移動到對應(yīng)網(wǎng)卡上面會顯示速度。

配置集群網(wǎng)絡(luò)

為管理網(wǎng)絡(luò)配置網(wǎng)關(guān)地址和掩碼，存儲網(wǎng)絡(luò)只需要填子網(wǎng)掩碼，不需要網(wǎng)關(guān)

配置 IP 地址：
管理網(wǎng)絡(luò)的 IP 分別是：192.168.96.43 和 192.168.96.43
存儲網(wǎng)絡(luò)的 IP 分別是：10.0.10.43 和 10.0.10.43（存儲地址是直連的，只需保證與管理網(wǎng)絡(luò)不在同一網(wǎng)段的兩個互通的 IP 即可）

指定一個可訪問的 DNS 服務(wù)器地址（如沒有則缺省），指定一個可訪問的 NTP 服務(wù)器（如沒有，則選擇【使用集群內(nèi)主機作為 NTP 服務(wù)器】）

檢查集群配置信息

執(zhí)行初始化前確認頁面顯示的配置信息準確無誤

執(zhí)行集群初始化

完成集群設(shè)置

創(chuàng)建集群管理員密碼和 IPMI 關(guān)聯(lián)設(shè)置
如服務(wù)器沒有 IPMI 管理口，可選擇跳過步驟

配置成功后，系統(tǒng)自動跳轉(zhuǎn)到管理界面，表示集群初始化成功！

配置集群虛擬管理地址，后面用于連接 CloudTower
在管理界面點擊 smartx 圖標旁邊的【設(shè)置按鈕】，找到【虛擬 IP】設(shè)置界面，填入虛擬 IP 地址：192.168.96.45（需與原來兩個管理 IP 地址不沖突）

到這里基本完成了集群初始化的任務(wù)，后面我們將繼續(xù)安裝 CloudTower

CloudTower 安裝

上傳 CloudTower 鏡像

通過管理界面中【 ISO 映像】上傳 CloudTower 的 ISO 文件

創(chuàng)建 CloudTower 虛擬機

在管理界面中的【虛擬機】中，創(chuàng)建空白虛擬機，具體配置如下：

vCPU	4 個
虛擬內(nèi)存	8GB
虛擬磁盤	100GB
虛擬網(wǎng)卡	1 塊

ps：別忘記在新創(chuàng)建的虛擬機上掛載 CloudTower 的 iso 鏡像

部署 CloudTower 系統(tǒng)

啟動新創(chuàng)建的虛擬機，按下圖選擇 intall centos 7，執(zhí)行 CloudTower 系統(tǒng)安裝

安裝 CloudTower 軟件包

使用默認用戶名 root，初始密碼 smartx 登陸虛擬機，依次執(zhí)行以下命令進行安裝：

安裝完成后，手工設(shè)置 CloudTower 的 IP 地址，并應(yīng)用設(shè)置

初始化 CloudTower

使用 web 瀏覽器訪問上一步設(shè)置的 CloudTower 的 IP 地址，執(zhí)行初始化設(shè)置，包括創(chuàng)建管理員密碼，填入組織名稱（任意輸入一個名稱）

關(guān)聯(lián) SMTX OS 集群

登陸 CloudTower 的主界面，選擇【集群】頁簽，在右上角單擊 【+ 】關(guān)聯(lián)集群，彈出關(guān)聯(lián)集群對話框，輸入 SMTX OS 集群虛擬 IP 的地址（參見虛擬 IP 設(shè)置），以及 SMTX OS 集群的管理員賬號和密碼（參見創(chuàng)建集群管理員賬號和密碼）

完成關(guān)聯(lián)設(shè)置后，就可以正式使用超融合集群了！

小試牛刀

為了簡單體驗平臺的存儲讀寫速度，下面創(chuàng)建一個虛擬機，讀寫一個大文件，觀察虛擬機讀寫帶寬。

上傳 windows 操作系統(tǒng)安裝鏡像到 CloudTower

使用 CloudTower 創(chuàng)建虛擬機

輸入虛擬機名稱，指定虛擬機的運行主機

為虛擬機配置 2 vCPU，8GB 內(nèi)存，系統(tǒng)盤 40GB，創(chuàng)建虛擬機

使用虛擬機控制臺安裝 windows

如圖，鼠標選中新創(chuàng)建的虛擬機，在右邊菜單中選擇【打開終端】，即可開始安裝系統(tǒng)

安裝的時候遇到一個小問題，windows 操作系統(tǒng)光盤無法識別硬盤，這是由于缺少 virtio 驅(qū)動的原因，可以下載 virtio 鏡像（下載地址）解決該問題。

下載 virtio 鏡像，并上傳到 cloudtower，虛擬機同時掛載 windows 安裝鏡像和 virtio 鏡像，重新開始 windows 安裝，還是到了上圖的位置（依然沒有識別到虛擬硬盤），點擊加載驅(qū)動程序，如下圖，選擇對應(yīng)的文件夾

掃描后會顯示如下圖的驅(qū)動程序

成功加載驅(qū)動后就能正常識別硬盤大小了，然后就可以正常安裝操作系統(tǒng)了。

安裝虛擬機工具

系統(tǒng)安裝好之后，可能會發(fā)現(xiàn)虛擬機有部分驅(qū)動缺失，這個時候可以通過點擊虛擬機菜單中【安裝虛擬機工具】，完成驅(qū)動的安裝。

激活虛擬機工具安裝后，虛擬機里面可以看到加載了一個虛擬光盤

運行安裝程序，如下圖：

拷貝測試

在線添加一塊虛擬磁盤，測試從系統(tǒng)盤拷貝到另外一個虛擬磁盤的速度

拷貝過程可以看到，帶寬表現(xiàn)還是不俗的，寫入速度達到 250MB/s 以上！

到這里我們已經(jīng)成功完成 2 臺服務(wù)器搭建的超融合集群了，并且初步看起來性能還不錯，任務(wù)的目標大致上已經(jīng)完成。為了確保平臺能完全達到任務(wù)的預(yù)期，后面我們將基于這個平臺做更詳盡的測試，包括詳細性能、可靠性、甚至是應(yīng)用的測試等，敬請期待。

內(nèi)容推薦：

1. 軟件下載：SMTX OS 免費社區(qū)版軟件

2. 常見問題：SMTX OS 社區(qū)版安裝使用中常見問題合集

3. 安裝部署手冊：SMTX OS 社區(qū)版安裝部署手冊

4. 部署視頻：手把手教你使用 SmartX 社區(qū)版

5. 沒有空閑服務(wù)器？導(dǎo)入 OVF 鏡像快速體驗 SmartX 超融合社區(qū)版