Hadoop 虛擬機(jī)集群搭建
時(shí)間：2023-06-28 20:42:02 | 來源：網(wǎng)站運(yùn)營(yíng)
時(shí)間：2023-06-28 20:42:02 來源：網(wǎng)站運(yùn)營(yíng)
Hadoop 虛擬機(jī)集群搭建：
轉(zhuǎn)載：搭建 Hadoop 虛擬機(jī)集群 - 本站 (zhihu.com)
搭建 Hadoop 虛擬機(jī)集群
一、實(shí)驗(yàn)題目
搭建 Hadoop 集群。
二、實(shí)驗(yàn)?zāi)康?/h3>掌握 Linux 虛擬機(jī)安裝方法或雙操作系統(tǒng)安裝方法。Hadoop 在 Linux 操作系統(tǒng)上運(yùn)行可以發(fā)揮最佳性能，鑒于目前很多人可能正在使用 Windows 操作系統(tǒng)，因此，為了完成本課程的后續(xù)實(shí)驗(yàn)，這里有必要通過本實(shí)驗(yàn)讓大家掌握在Windows 操作系統(tǒng)上搭建 Linux 虛擬機(jī)的方法。
掌握 Hadoop 集群安裝方法。很多人并不具備集群環(huán)境，需要在一臺(tái)機(jī)器上模擬一個(gè)小的集群。
三、實(shí)驗(yàn)搭建標(biāo)準(zhǔn)
在CentOS環(huán)境中搭建Hadoop平臺(tái)并計(jì)算π小數(shù)點(diǎn)后10位。
四、實(shí)驗(yàn)平臺(tái)
操作系統(tǒng)：Windows 系統(tǒng)或者 Ubuntu。
虛擬機(jī)軟件：推薦使用 VMWare 或開源虛擬機(jī)軟件 VirtualBox。VMware 是一款功能強(qiáng)大的免費(fèi)虛擬機(jī)軟件，它不僅具有豐富的特色，而且性能優(yōu)異，簡(jiǎn)單易用，可虛擬的系統(tǒng)包括 Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2 甚至 Android 4.0 系統(tǒng)等操作系統(tǒng)。大家可以在 Windows 系統(tǒng)上安裝虛擬機(jī)軟件，然后在虛擬機(jī)上安裝并且運(yùn)行 Linux 操作系統(tǒng)。本次實(shí)驗(yàn)?zāi)J(rèn)的 Linux 版本為 CentOS 7。
五、實(shí)驗(yàn)內(nèi)容和要求
大家需要構(gòu)建起 Linux 系統(tǒng)環(huán)境，并在 Linux 系統(tǒng)上安裝 Hadoop。
構(gòu)建 Linux 系統(tǒng)環(huán)境，有兩種方式：（1）在 Windows 系統(tǒng)上安裝 Linux 虛擬機(jī)；（2）安裝雙操作系統(tǒng)，即在計(jì)算機(jī)上同時(shí)安裝 Windows 和 Linux 系統(tǒng)，計(jì)算機(jī)開機(jī)時(shí)，可以選擇登錄哪個(gè)系統(tǒng)。
建議計(jì)算機(jī)比較新或者配置存儲(chǔ)器 4G 以上的計(jì)算機(jī)可以選擇虛擬機(jī)安裝，計(jì)算機(jī)較舊或配置存儲(chǔ)器小于等于 4G 的計(jì)算機(jī)強(qiáng)烈建議選擇雙系統(tǒng)安裝，否則，在配置較低的計(jì)算機(jī)上運(yùn)行 Linux 虛擬機(jī)，系統(tǒng)運(yùn)行速度會(huì)非常慢。
5.1相關(guān)軟件
- VMWare/VirtualBox
- Putty
- WinSCP
- CentOS7 ISO
- JDK 1.8.1
- Hadoop v2.8.5
5.2安裝 Linux 系統(tǒng)虛擬機(jī)
- master 192.168.88.100
- slave1 192.168.88.101
- slave2 192.168.88.102
- slave3 192.168.88.103
5.3進(jìn)行 Hadoop 分佈式安裝
在 Linux 環(huán)境下完成偽分布式環(huán)境的搭建，并運(yùn)行 Hadoop 自帶的 Pi 計(jì)算實(shí)例檢測(cè)是否運(yùn)行正常。
6.1在安裝虛擬機(jī)前，我們還要進(jìn)入BIOS開啟CPU的虛擬化。
6.1.1進(jìn)入BIOS
大部分計(jì)算機(jī)品牌廠商的計(jì)算機(jī)進(jìn)入Bios，只需要在開機(jī)的第一時(shí)間按下鍵盤上Del鍵即可進(jìn)入Bios系統(tǒng)。如果您的計(jì)算機(jī)按Del熱鍵不能進(jìn)入Bios，那么就需要您去百度計(jì)算機(jī)對(duì)應(yīng)主板進(jìn)入Bios的方法，比如我使用的lenovo臺(tái)式機(jī)是使用F1熱鍵進(jìn)入Bios.
6.1.2開啟CPU 虛擬化
把Virtualization設(shè)置為Enabled狀態(tài)。
F10 Save Changes and Exit
6.2運(yùn)行安裝程序
打開檔夾，雙擊“VMware-workstation-full-14.0.0-6661328.exe”，啟動(dòng)VMware Workstation 14 Pro安裝程序；
下一步
接受，下一步
更改默認(rèn)目錄
下一步
無心更新，不用加入計(jì)劃，下一步
默認(rèn)，下一步
安裝
秘鑰：
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
安裝完成。
點(diǎn)擊VMnet1，子網(wǎng)IP設(shè)為：192.168.88.0
創(chuàng)建一個(gè)虛擬機(jī)
自定義
默認(rèn)
稍后安裝，下一步
Done
Root Password: r00tqwer
等待完成
快照!!
八、開機(jī)初始化
登錄：root
密碼：r00tqer
復(fù)制代碼，編輯—→粘貼
cd /etc/sysconfig/network-scripts
Lsvi ifcfg-ens33i（進(jìn)入插入模式）*ONBOOT=yes (no)*BOOTPROTO=static (dhcp)IPADDR=192.168.88.100PREFIX=24
（注意：冒號(hào)為半角）
#
修改主機(jī)名及綁定hostname與IP
修改主機(jī)名
vi /etc/hostname刪除里面內(nèi)容 改成 master
綁定hostname與IP
創(chuàng)建hadoopGroup /etc/group (file)
添加hadoop用戶
設(shè)置hadoop的密碼爲(wèi):【had00p】
快照！！
九、安裝JDK
方法一下載：
方法二WinSCP傳送程序
打開WinSCP
yes
OK
使用方法一或方法二后：
連接Putty
登錄到root（密碼：r00tqwer）
安裝JDK：
Tip：復(fù)制代碼后在Putty中按右鍵直接粘貼，更可以直接把回車一塊復(fù)制
設(shè)置環(huán)境變量
i #進(jìn)去插入模式
copy and paste below
按鍵盤左上角的Esc，退出插入模式
輸入 :wq
立即生效配置
測(cè)試java是否配置成功
出現(xiàn)版本信息，則安裝成功
Tip：拍攝快照，做錯(cuò)了可以恢復(fù)
起個(gè)名字，因?yàn)槲覀儎倓偘惭b好了java，所以可起名為java
十、安裝 MySQL ver8.0
download
install
-y
啓動(dòng)MySQL
systemctl start mysqld
設(shè)置開機(jī)啓動(dòng)
systemctl enable mysqld
查看root臨時(shí)密碼
grep 'temporary password' /var/log/mysqld.log
如果沒有返回任何結(jié)果，表示密碼是“空”
if get result like below
2018-10-05T14:00:08.854192Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: Y/q*P:sgD0TB
==登錄MySQL
==輸入密碼
設(shè)置新密碼
ALTER USER 'root'@'localhost' IDENTIFIED BY 'Hadoop@123';
創(chuàng)建賬號(hào)
CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'Hadoop@123';
CREATE USER 'hadoop'@'%' IDENTIFIED BY 'Hadoop@123';
to list all users
SELECT user FROM mysql.user;
添加權(quán)限
刷新權(quán)限
SQL commands
SHOW TABLES;
CREATE DATABASE dbname;
USE dbname;
快照！！
十一、安裝NTP
【未安裝 -bash: ntpstat: command not found】
配置時(shí)間同步NTP
同步時(shí)間=
【停止NTP：】
【重啓NTP：systemctl restart ntpd】
==修改日期、時(shí)間==
{
}
{
==若有需要可以手動(dòng)添加同步服務(wù)器
==添加下列
}
快照?。?br>
十二、克隆虛擬機(jī)
同理做slave2和slave3
做完后如下圖：（重命名為master，并移動(dòng)到“教程集群”檔夾內(nèi)）
快照??！
十三、Hostname IP
啟動(dòng)全部虛擬機(jī)，在VM軟件中的slave1登錄到root：
虛擬機(jī)slave1：
==修改主機(jī)名
改為slave1
不用重啓，立即生效, 執(zhí)行下列命令==
hostname slave1
==修改IP address
==不用重啓，立即生效, 執(zhí)行下列命令==
slave2同理
==修改主機(jī)名為slave2
==不用重啓，立即生效, 執(zhí)行下列命令==
hostname slave2
==修改IP address
==不用重啓，立即生效, 執(zhí)行下列命令==
slave3同理
==修改主機(jī)名為slave3
==不用重啓，立即生效, 執(zhí)行下列命令==
hostname slave3
==修改IP address
==不用重啓，立即生效, 執(zhí)行下列命令==
快照??！
十四、SSH免密匙登錄
SSH免密匙登錄
==master虛擬機(jī)，登錄到hadoop：
回車
回車
回車
密碼：
成功
密碼：
成功
密碼：
==測(cè)試SSH免密匙登錄==
兩次，到hadoop@master（從hadoop@master登錄root@slave1）
快照?。?br>
十五、安裝hadoop
had00p
目錄規(guī)劃： （主程序，集羣數(shù)據(jù)，文件系統(tǒng)元數(shù)據(jù)，真正的數(shù)據(jù)，日志信息，臨時(shí)文件：）
把Hadoop2.8加入hadoopGroup組
快照??！
配置Hadoop環(huán)境變量【登錄到root】
copy and paste below
立即生效配置
測(cè)試Hadoop是否配置成功
7. 修改Hadoop配置文件
(1)hadoop-env.sh, yarn-env.sh, mapred-env.sh
插入下列
插入下列
插入下列
==
(2)修改slaves（仍然在root@master上操作）
==改為下列
(3)配置core-site.xml
paste below code
(4)配置hdfs-site.xml
paste below code
(5)配置mapred-site.xml
paste below code
(6)配置yarn-site.xml
paste below code
SSH免密匙登錄【login as “hadoop”】
【若不登出root，用 su - hadoop可登入用戶名"hadoop"】
傳送Hadoop到各slave 【login as “hadoop”】
===【hadoop@master】format文件系統(tǒng)
master 運(yùn)行
結(jié)果like below：
4980 ResourceManager
5287 Jps
4764 SecondaryNameNode
4541 NameNode
slave1/2/3 運(yùn)行
結(jié)果like below：
4201 NodeManager
4095 DataNode
4335 Jps
關(guān)閉firewall 于 master & slave1/2/3【login as root】
==開啓瀏覽器
http://192.168.88.100:50070
==測(cè)試圓周率
hadoop jar /home/hadoop/hadoop2.8/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi 100 100000000
yarn jar /home/hadoop/hadoop2.8/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi 16 1000
至此，hadoop虛擬機(jī)集群搭建完成。
在線咨詢
