[簡(jiǎn)單易用] 在Kubernetes平臺(tái)快速搭建ES

時(shí)間：2023-05-30 11:03:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-05-30 11:03:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

[簡(jiǎn)單易用] 在Kubernetes平臺(tái)快速搭建ES：【本篇文章共計(jì)1164字，內(nèi)容開(kāi)箱即用，其中涉及實(shí)際操作，建議先收藏再看】

一、概述

Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器，它提供了一個(gè)分布式多用戶能力的全文搜索引擎，是最受歡迎的企業(yè)搜索引擎。對(duì)于 Elasticsearch ，官方推出了基于 Kubernetes Operator 的應(yīng)用Elastic Cloud on Kubernetes (ECK)，用戶可使用該產(chǎn)品在 Kubernetes 上配置、管理和運(yùn)行 Elasticsearch 集群。本文中部署流程基于已有的k8s集群。

---

二、部署環(huán)境及ES常用參數(shù)說(shuō)明

• 環(huán)境：

Kubernetes：v1.19.2
docker：v19.03.2
ES：v7.6.1
linux：v4.18.20

• ES常用參數(shù)說(shuō)明：

cluster.name：// 集群名稱，只有集群名稱相同的節(jié)點(diǎn)才可加入同一個(gè)集群。
node.name：// 節(jié)點(diǎn)名稱，表示集群內(nèi)的節(jié)點(diǎn)名稱，應(yīng)保證同一集群內(nèi)唯一。
network.host：// es監(jiān)聽(tīng)的IP地址。默認(rèn)為localhost，即只監(jiān)聽(tīng)本地?fù)Q回地址。
discovery.seed_hosts：// 節(jié)點(diǎn)發(fā)現(xiàn)地址。es通過(guò)查找該數(shù)組發(fā)現(xiàn)其他es節(jié)點(diǎn)。該參數(shù)包括所有master候選節(jié)點(diǎn)。

ps：如果discovery.seed_hosts是一個(gè)域名，且該域名解析到多個(gè)IP地址，那么es將處理其所有解析的IP地址。

在ES集群初始化階段，會(huì)進(jìn)行節(jié)點(diǎn)發(fā)現(xiàn)并選舉出master。其關(guān)聯(lián)參數(shù)為：

cluster.initial_master_nodes：node.name數(shù)組 // 初始化集群時(shí)，es將從該數(shù)組中選擇出master。

在選舉出master后，es即進(jìn)入正常運(yùn)行狀態(tài)。其他節(jié)點(diǎn)仍可通discovery.seed_hosts參數(shù)加入集群。

---

三、ECK部署流程

• 安裝自定義資源和operator

執(zhí)行如下命令，安裝成功后，會(huì)自動(dòng)創(chuàng)建一個(gè) elastic-system 的 namespace 以及一個(gè) operator 的 Pod。

kubectl apply –f https://download.elastic.co/downloads/eck/1.2.1/all-in-one.yaml查看運(yùn)行狀態(tài)：

• 部署Elasticsearch

執(zhí)行如下指令創(chuàng)建應(yīng)用實(shí)例：

kubectl create –f es-test.yamlyaml文件如下所示，若要部署自己的Elasticsearch實(shí)例，需要修改yaml文件的參數(shù)：

metadata.name確保實(shí)例名稱唯一。
spec.http.service.spec.ports[0].nodePort確保對(duì)外暴露nodePort端口唯一，其他配置可根據(jù)實(shí)際需要自行修改，也可不做修改。

部署完成后pod為running狀態(tài)，通過(guò)ip+port可正常訪問(wèn)則說(shuō)明部署成功。

apiVersion: elasticsearch.k8s.elastic.co/v1kind: Elasticsearchmetadata: name: es-ylj namespace: elastic-systemspec: version: 7.6.1 image: ccr.ccs.tencentyun.com/staightchen/elasticsearch:7.6.1 http: tls: selfSignedCertificate: disabled: true service: spec: type: NodePort ports: - name: http nodePort: 31133 port: 9200 protocol: TCP targetPort: 9200 nodeSets: - name: data count: 3 config: node.master: true node.data: true node.ingest: true node.store.allow_mmap: false podTemplate: spec: volumes: - name: elasticsearch-data emptyDir: {} containers: - name: elasticsearch command: - bash - /'-c/' - >- sed -i /'s/enabled: "true"$/enabled: "false"/g/' config/elasticsearch.yml;/usr/local/bin/docker-entrypoint.sh resources: requests: cpu: 6 memory: 24Gi limits: cpu: 6 memory: 24Gi 驗(yàn)證pod為running狀態(tài)







通過(guò)ip+port可正常訪問(wèn)

• Kibana部署

Kibana 是一個(gè)免費(fèi)且開(kāi)放的用戶界面，在使用Elasticsearch的同時(shí)，可通過(guò)Kibana對(duì)ES集群及數(shù)據(jù)進(jìn)行可視化的管理，查詢，和跟蹤。我們同樣可以在Kubernetes平臺(tái)快速搭建這一工具。

kubectl create –f es-ylj-kibana.yamlyaml文件如下，其中sepc.name指定訪問(wèn)的ES實(shí)例，部署成功后通過(guò)ip+port可打開(kāi)kibana頁(yè)面，通過(guò)控制臺(tái)獲取ES信息，則說(shuō)明部署成功。

apiVersion: kibana.k8s.elastic.co/v1kind: Kibanametadata: name: kibana-volatile-demo namespace: elastic-systemspec: version: 7.6.1 image: ccr.ccs.tencentyun.com/staightchen/kibana:7.6.1 count: 1 elasticsearchRef: name: "es-ylj" http: tls: selfSignedCertificate: disabled: true service: spec: type: NodePort ports: - name: http nodePort: 31134 port: 5601 protocol: TCP targetPort: 5601使用ip+port訪問(wèn)，驗(yàn)證可用性：

通過(guò)kibana的控制臺(tái)獲取es集群信息：

---

四、 部署過(guò)程遇到的問(wèn)題及解決方法

1、部署ES后報(bào)錯(cuò)” pod has unbound immediate PersistentVolumeClaims (repeated 4 times)”

解決方法：手動(dòng)創(chuàng)建符合條件的pv，或者在yaml文件中指定使用emptyDir

2、部署后pod不斷重啟

確定重啟原因，常見(jiàn)原因如：

• 使用describe pod 查看上一次restart的原因，提示OOM

解決辦法：在yaml中調(diào)大es容器的內(nèi)存配額

• 提示無(wú)可調(diào)度的node

解決辦法：對(duì)于設(shè)置了label的pod和node，需要確認(rèn)pod和node的label是否匹配。此時(shí)可查看集群內(nèi)node是否處于可調(diào)度狀態(tài)，以及pod的親和性策略與node的label是否匹配。

• 提示liveness Probe failed

解決辦法：此問(wèn)題是由于設(shè)置了存活探針，但檢測(cè)時(shí)出現(xiàn)異常導(dǎo)致?？蓹z查存活探針具體的檢測(cè)策略是否失敗，如網(wǎng)絡(luò)異常等。

---

五、參考資料

1、https://www.elastic.co/guide/en/cloud-on-k8s/1.2/k8s-deploy-elasticsearch.html