腾讯内容开放平台
在看大型网站的中间件技术,对于Elasticsearch有点兴趣,所以将配置流程记录了一下。
为什么要用ELK
“
ELK实际上是三个工具,Elastricsearch + LogStash + Kibana,通过ELK,用来收集日志还有进行日志分析,最后通过可视化UI进行展示。一开始业务量比较小的时候,通过简单的SLF4J+Logger在服务器打印日志,通过grep进行简单查询,但是随着业务量增加,数据量也会不断增加,所以使用ELK可以进行大数量的日志收集和分析
”
简单画了一下架构图
在环境配置中,主要介绍Mac和linux配置,windows系统大致相同,当然,前提是大家都安装了JDK1.8及以上版本~
“
注意
高版本的ELK同样需要高版本的JDK支持,本文配置的ELK版本是6.0+,所以需要的JDK版本不小于1.8
”
ElasticSearch
“
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。
”
Mac安装和运行
linux: 从Elasticsearch官方地址下载(也可以下载完,通过ftp之类的工具传上去),gz文件的话通过tar进行解压缩,然后进入bin目录下运行软件
“
注意
在Linux机器上,运行elasticsearch需要一个新的用户组,文章最后有Elastic在linux安装的踩坑记录
”
Logstash
“
Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)-官方卖萌
”
1. 软件安装
Mac安装:
linux安装:
2. 修改配置文件
conf文件,指定要使用的插件,和配置对应的elasticsearch的hosts
3. 运行
4. 访问http://localhost:9600/
在elasticsearch日志中,也能看到logstash正常加入的日志
看到这种返回值,表示已经成功安装和启动
然后就能正常启动了~~
Kibana
1. 软件安装
“
Kibana 让您能够可视化 Elasticsearch 中的数据并操作 Elastic Stack,因此您可以在这里解开任何疑问:例如,为何会在凌晨 2:00 被传呼,雨水会对季度数据造成怎样的影响。(而且展示的图标十分酷炫)
”
Mac安装
linux安装,官方下载地址
在这一步,有可能下载速度奇慢,所以我本地下载好之后,通过rz命令传输到服务器
2. 修改配置
“
修改 config/kibana.yml 配置文件,设置 elasticsearch.url 指向 Elasticsearch 实例。
如果跟我一样使用默认的配置,可以不需要修改该文件 |