一、配置虛擬機以及本地IPvmware中編輯-虛擬網(wǎng)絡(luò)編輯器







本地網(wǎng)絡(luò)共享中心-適配器-vmnet8







二、配置開發(fā)機器環(huán)境為了用xshell時，不用一直寫ip地址，我們可以在自己的開發(fā)機" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

15158846557 或 在線咨詢 在線咨詢
15158846557 或 在線咨詢
所在位置： 首頁 > 營銷資訊 > 網(wǎng)站運營 > 虛擬機部署hadoop集群

虛擬機部署hadoop集群

時間：2023-06-28 18:48:02 | 來源：網(wǎng)站運營

時間：2023-06-28 18:48:02 來源：網(wǎng)站運營

虛擬機部署hadoop集群：參考文章

一、配置虛擬機以及本地IP

vmware中編輯-虛擬網(wǎng)絡(luò)編輯器







本地網(wǎng)絡(luò)共享中心-適配器-vmnet8







二、配置開發(fā)機器環(huán)境

為了用xshell時，不用一直寫ip地址，我們可以在自己的開發(fā)機器上進行配置C:/Windows/System32/drivers/etc/hosts

192.168.10.100 hadoop100192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.103 hadoop103192.168.10.104 hadoop104192.168.10.105 hadoop105

三、配置服務(wù)器

執(zhí)行命令

vi /etc/sysconfig/network-scripts/ifcfg-ens33進行修改添加

TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=no# 將dhcp改為static，dhcp表示動態(tài)獲取ip，static為固定ipBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=058b7a7a-1bea-4058-be18-2244d061018cDEVICE=ens33ONBOOT=yes# 添加ip地址IPADDR=192.168.10.100# 網(wǎng)關(guān)GATEWAY=192.168.10.2# dns解析器DNS1=192.168.10.2修改主機的hostname

vi /etc/hostname配置host映射，相當于ip地址起別名（跟綁定域名一個道理）

vi /etc/hosts添加如下

192.168.10.100 hadoop100192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.103 hadoop103192.168.10.104 hadoop104192.168.10.105 hadoop105重啟服務(wù)器

reboot測試是否有網(wǎng)絡(luò)

ping meethigher.top由于跟多rpm包在官方倉庫是沒有的，Centos需要額外安裝一個軟件倉庫

yum install epel-release # 加上-y表示自動選是關(guān)閉防火墻、關(guān)閉防火墻自啟

systemctl stop firewalldsystemctl disable firewalld.servicefirewall-cmd --state #查看防火墻狀態(tài)
實際開發(fā)中，單個服務(wù)器的防火墻關(guān)閉，對整個集群設(shè)置防火墻
創(chuàng)建普通用戶和其密碼

useradd meethigher #創(chuàng)建用戶passwd meethigher #設(shè)置該用戶密碼 提示輸入密碼授予用戶最高權(quán)限

vi /etc/sudoers在wheel后面追加

## Allows members of the 'sys' group to run networking, software, ## service management apps and more.# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALL # 下面是追加內(nèi)容 # 所有的用戶都在wheel這個組里，所以需要放到他的后面，如果放到他的前面，最后會被wheel的值給覆蓋# 第二個All如果改成NOPASSWD:ALL表示切換root時可以不用輸密碼meethigher ALL=(ALL) ALL切換用戶

su meethigher創(chuàng)建存儲開發(fā)工具的文件夾

sudo mkdir /opt/modulesudo mkdir /opt/software如果不是命令行版的系統(tǒng)，需要卸載自帶的jdk

rpm -qa|grep -i java|xargs -nl rpm -e --nodeps# rpm -qa：查詢所安裝的所有 rpm 軟件包# grep -i：忽略大小寫# xargs -n1：表示每次只傳遞一個參數(shù)# rpm -e --nodeps：強制卸載軟件reboot重啟

四、克隆虛擬機

右鍵-管理-克隆自當前狀態(tài)-完整克隆







分別配置ifcfg-ens33以及hostname即可







五、安裝JDK

將JDK1.8解壓到/opt/module下，自帶jre，所以不用準備了。

配置環(huán)境變量

# 進入環(huán)境變量路徑下cd /etc/profile.d/創(chuàng)建java_env.sh

sudo vi java_env.sh添加環(huán)境變量

JAVA_HOME=/opt/module/jdk1.8PATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH然后刷新環(huán)境變量

source /etc/profile輸入java -version、javac -version查看版本

如果提示沒有java命令，則可能是安錯版本了。比如，你是64位（x64）的，結(jié)果安裝了32（x86）位

六、安裝hadoop

將hadoop解壓到/opt/module下

配置環(huán)境變量

cd /etc/profile.d/創(chuàng)建hadoop_env.sh

sudo vim hadoop_env.sh添加環(huán)境變量

HADOOP_HOME=/opt/module/hadoop3.3PATH=$PATH:$HADOOP_HOME/binPATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_HOME刷新環(huán)境變量

source /etc/profile輸入hadoop version查看版本信息

hadoop中目錄介紹

  1. bin：存儲和hdfs、mapreduce、yarn有關(guān)的命令
  2. etc
  3. include：C++的頭文件
  4. lib：庫
  5. sbin：啟動集群、啟動yarn、啟動歷史服務(wù)器等的命令

關(guān)鍵詞：部署,虛擬

74
73
25
news

版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。

為了最佳展示效果，本站不支持IE9及以下版本的瀏覽器，建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關(guān)閉