国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

15158846557 或 在線咨詢 在線咨詢
15158846557 或 在線咨詢
所在位置： 首頁 > 營銷資訊 > 網站運營 > 如何去搭建一個簡單的elasticsearch搜索項目?

如何去搭建一個簡單的elasticsearch搜索項目?

時間：2023-12-04 11:24:02 | 來源：網站運營

時間：2023-12-04 11:24:02 來源：網站運營

如何去搭建一個簡單的elasticsearch搜索項目?：

前言

日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。

通常，日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器，你還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務器上的日志收集匯總。

集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站：https://www.elastic.co/products

Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。
Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。
如圖：Logstash收集AppServer產生的Log，并存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數據生成圖表，再返回給Browser。


在這里插入圖片描述
以上內容引自：https://www.jianshu.com/p/2c0ec31c03a0

一、準備工作

1.相關文件結構

在這里插入圖片描述

2.修改系統的vm.max_map_count

基于elk-docker Prerequisites的說明，需要將系統的vm.max_map_count設置為
262144或更多。

  1. 修改文件/etc/sysctl.conf
sudo vi /etc/sysctl.conf
  1. 增加以下屬性
    vm.max_map_count=262144
  2. 查看修改結果
sysctl -p

二、安裝和映射oss

  1. 創(chuàng)建oss的bucket和使用RAM用戶訪問請參考高級配置 (aliyun.com)
  2. 安裝ossfs
// 下載安裝包wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpm// 安裝ossfssudo yum install ossfs_1.80.6_centos7.0_x86_64.rpm
  1. 映射oss到本地
// 將Bucket名稱以及具有該Bucket訪問權限的AccessKey ID和AccessKey Secret信息存放在/etc/passwd-ossfs文件中echo BucketName:yourAccessKeyId:yourAccessKeySecret > /etc/passwd-ossfs // 文件的權限建議設置為640chmod 640 /etc/passwd-ossfs// 創(chuàng)建本地掛載路徑mkdir ./elasticsearch/data// 將oss映射到本地ossfs BucketName ./elasticsearch/data -o url=http://oss-cn-hangzhou.aliyuncs.com -oallow_other
  1. 設置開機啟動
創(chuàng)建/etc/init.d/ossfs文件

sudo vi /etc/init.d/ossfs填入如下內容

#! /bin/bash## ossfs Automount Aliyun OSS Bucket in the specified direcotry.## chkconfig: 2345 90 10# description: Activates/Deactivates ossfs configured to start at boot time.ossfs BucketName ./elasticsearch/data -o url=http://oss-cn-hangzhou.aliyuncs.com -oallow_other設置開機啟動

// 把新建立的ossfs腳本賦予可執(zhí)行權限。chmod a+x /etc/init.d/ossfs// 把ossfs啟動腳本作為其他服務，開機自動啟動。chkconfig ossfs on

三、安裝和配置ELK服務

1. 獲取sebp/elk的原始配置文件

// 在運行容器并且把容器里的配置cp到宿主機當中docker run --name elk sebp/elkdocker cp -a elk:/opt/kibana/config/kibana.yml ./kibanadocker cp -a elk:/opt/logstash/config ./logstash/config//然后刪除剛才創(chuàng)建的容器docker stop -f elkdocker rm -f elk

2. 編寫docker-compose，內容如下

version: '3'services: elk: image: sebp/elk container_name: elk restart: always ports: - "5601:5601" - "9200:9200" - "5044:5044" volumes: - /opt/docker/elk/elasticsearch/data:/var/lib/elasticsearch - /opt/docker/elk/logstash/conf.d:/etc/logstash/conf.d - /opt/docker/elk/logstash/config:/opt/logstash/config - /opt/docker/elk/kibana/kibana.yml:/opt/kibana/config/kibana.yml networks: - elk_net environment: - TZ=Asia/Shanghainetworks: elk_net: external: true

3. 配置logstash

  1. 創(chuàng)建配置文件
vi ./logstash/conf.d/yourconfigname.conf
  1. 根據需求配置文件內容
input { beats { port => 5044 }}output { stdout { codec => rubydebug } elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" }}

4. 漢化kibana

  1. 修改配置文件
vi ./kibana/kibana.yml
  1. 在文件末尾增加如下內容
i18n.locale: "zh-CN"

5. 啟動ELK

docker-compose -f ./docker-compose.yml up -d啟動完成后訪問 http://ip:5601

總結

基于項目需要，搭建了一套ELK服務進行測試，后續(xù)需要考慮安全和分布式部署的問題。

參考鏈接

https://elk-docker.readthedocs.io/
https://elk-docker.readthedocs.io/#prerequisites
https://help.aliyun.com/document_detail/153893.html
https://help.aliyun.com/document_detail/153892.html

關鍵詞：項目,簡單

74
73
25
news

版權所有? 億企邦 1997-2025 保留一切法律許可權利。

為了最佳展示效果，本站不支持IE9及以下版本的瀏覽器，建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關閉