当前位置: 首页 > Linux

【ElasticStack】搭建最新ELK日志分析系统8.2.2版本

时间:2023-04-06 05:10:34 Linux

前言大家好,我是小哥。今天给大家分享一个centos7系统搭建2022最新的ELK日志分析系统,目前版本是8.2.2。值得注意的是,安装ELK时,必须在整个ELK中使用相同的版本,如:Elasticsearch8.2.2,然后安装Kibana8.2.2和Logstash8.2.2,如果不匹配,如:Elasticsearch是8.2.2版本,Kibana-6.8等或者其他版本,需要升级对应版本到8.2.2版本。就是这样,让我们??开始吧!!!ELK日志分析系统(介绍)Elasticsearch:ELK的核心是E(elasticsearch),我们可以从单词上理解为“弹性搜索”。提供数据查询、分析、存储三大功能,具有稳定、可靠、快速(弹性)等特点。Logstash:具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和普及各种高级下游分析和可视化用例的所有数据。简单理解就是用来收集log日志的。Kibana:ELK日志分析系统是一个非常友好的web界面,可以帮助我们搜索、观察、保护数据、分析数据、管理、监控和保护ElasticStack(统称为Elasticsearch、Kibana、Beats和Logstash等)日志是非结构化的这是使用ELK的主要原因之一。环境准备本教程采用单节点系统内存IP网卡方式Linux12G192.168.200.4NAT推荐内存12G,下面的ELK系统占用接近8G,所以只要大于8G应该问题不大,但建议使用10G和12G以保证体验。部署ELKElasticsearch调整进程cat>>/etc/security/limits.conf<>/etc/sysctl.conf最大虚拟内存区数<>/etc/yum.repos.d/ELK。repo<'在现有集群上创建注册令牌后。您可以随时完成以下操作:#Resetelasticbuilt-insuperuser重置elastic内置超级用户的密码'/usr/share/elasticsearch/bin/elasticsearch-reset-password-uelastic'.#UsetogeneratearegistrationtokenforKibanainstancesGenerateanenrollmenttokenforKibanainstanceswith'/usr/share/elasticsearch/bin/elasticsearch-creat生成注册令牌e-enrollment-token-skibana'.#使用'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token-snode'为Elasticsearch节点生成注册令牌。-------------------------------------------------------------------------------------------------###安装时未启动,请执行以下命令语句配置elasticsearch服务使用systemd自动启动#Self-start命令sudosystemctldaemon-reloadsudosystemctlenableelasticsearch.service###可以通过执行#Start命令启动elasticsearch服务sudosystemctlstartelasticsearch.serviceStartElasticsearch使用启动上面生成的命令,启动需要一段时间。这里内存占用大概6Gsudosystemctldaemon-reloadsudosystemctlenableelasticsearch.servicesudosystemctlstartelasticsearch.service测试Elasticsearch这里你会发现我们的浏览器使用的是http协议不能访问不是我们的服务有问题.本地主机访问Elasticsearch,服务端口9200:$curl--cacert/etc/elasticsearch/certs/http_ca.crt-uelastichttps://localhost:9200Enterhostpasswordforuser'elastic':{"name":"node1",“cluster_name”:“elasticsearch”,“cluster_uuid”:“xuxHYu-0SN-PFcghs8V0ow”,“version”:{“number”:“8.2.2”,“build_flavor”:“default”,“build_type”:“rpm“,“build_hash”:“9876968ef3c745186b94fdabd4483e01499224ef”,“build_date”:“2022-05-25T15:47:06.259735307Z”,“build_snapshot”:假,“lucene_version”:“9.1.0”,“minimum_wire_7”:compatibility_version10","minimum_index_compatibility_version":"7.0.0"},"tagline":"YouKnow,forSearch"}浏览器访问Elasticsearch,服务端口9200,如:https://192.168.200.4:9200浏览器访问请注意Elasticsearch-8.2.2版本,如果使用http协议,必须使用https协议用户名:elastic密码:se_pNHcZwLawBfF7pxUs注意:这里浏览器会提示你不是如果安全的话(不要慌),点击:Advanced-->ReceiveRisk,会跳转到登录界面。密码对应elastic内置超级用户生成的密码。出现的内容与本地访问一致,至此我们的Elasticsearch安装完成。Kibana配置Kibanayum源码猫>>/etc/yum.repos.d/ELK.repo<注意:如果在访问过程中出现以下问题,请点击解决。使用elasticsearch-create-enrollment-token命令为Kibana生成注册令牌:输入注册令牌以将Kibana与Elasticsearch连接起来。安装elasticsearch时在安全自动配置信息中生成如下命令。/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token-skibana使用kibana-verification-code命令生成验证码输入验证码后kibana会进行:保存设置-->启动elastic--->完成设置操作。$/usr/share/kibana/bin/kibana-verification-code你的验证码是:409686输入用户密码登录用户密码使用安装elasticsearch时生成的用户密码。用户名:elastic密码:se_pNHcZwLawBfF7pxUsLogstash配置Logstashyumsourcecat>>/etc/yum.repos.d/ELK.repo<"8.2.2","jruby.version"=>“jruby9.2.20.1(2.5.8)2021-11-302a2962fbd1OpenJDK64位服务器VM11.0.14.1+1on11.0.14.1+1+indy+jit[linux-x86_64]”}[信息]2022-05-3010:19:11.110[主要]亚军-JVMbootstrap标志:[-Xms1g,-Xmx1g,-XX:+UseConcMarkSweepGC,-XX:CMSInitiatingOccupancyFraction=75,-XX:+UseCMSInitiatingOccupancyOnly,-Djava.awt.headless=true,-Dfile.encoding=UTF-8,-Djruby。compile.invokedynamic=true,-Djruby.jit.threshold=0,-XX:+HeapDumpOnOutOfMemoryError,-Djava.security.egd=file:/dev/urandom,-Dlog4j2.isThreadContextMapInheritable=true,-Djruby.regexp.interruptible=true,-Djdk.io.File.enableADS=true,--add-opens=java.base/java.security=ALL-UNNAMED,--add-opens=java.base/java.io=ALL-UNNAMED,--add-opens=java.base/java.nio.channels=ALL-UNNAMED,--add-opens=java.base/sun.nio.ch=ALL-UNNAMED,--add-opens=java.management/sun。management=ALL-UNNAMED][WARN]2022-05-3010:19:12.090[LogStash::Runner]multilocal-忽略“pipelines.yml”文件,因为指定了模块或命令行选项[INFO]2022-05-3010:19:15.968[ApiWebserver]代理-成功启动LogstashAPI端点{:port=>9600,:ssl_enabled=>false}[INFO]2022-05-3010:19:17.783[ConvergePipelineAction::Create

]Reflections-Reflections花费272ms扫描1个url,产生120个键和395个值[INFO]2022-05-3010:19:19.375[ConvergePipelineAction::Create
]javapipeline-管道`main`配置有`pipeline.ecs_compatibility:v8`设置。除非明确配置,否则此管道中的所有插件都将默认为“ecs_compatibility=>v8”。[INFO]2022-05-3010:19:19.723[[main]-pipeline-manager]javapipeline-启动管道{:pipeline_id=>"main","pipeline.workers"=>4,"pipeline.batch.size"=>125,"pipeline.batch.delay"=>50,"pipeline.max_inflight"=>500,"pipeline.sources"=>["configstring"],:thread=>"#"}[INFO]2022-05-3010:19:21.346[[main]-pipeline-manager]javapipeline-管道Java执行初始化离子时间{"seconds"=>1.61}[INFO]2022-05-3010:19:21.520[[main]-pipeline-manager]javapipeline-管道启动{"pipeline.id"=>"main"}#stdin插件出现等待输入提示,请输入helloworld标准输入插件正在等待输入:helloworld{"@version"=>"1","event"=>{"original"=>"helloworld"},"message"=>"helloworld","@timestamp"=>2022-05-30T02:27:01.888886Z,"host"=>{"hostname"=>"node1"}}ELK-8.2.2版本日志分析系统至此构建完成!!!参考资料https://www.elastic.co/guide/…