一、Windows下安装运行
官网下载,下载与elasticSearch同一个版本,zip格式。Logstash占用内存较大,我在使用的时候cpu一般都是冲到90%
1、CMD直接运行
创建一个基本的Logstash管道来测试Logstash设置。
解压logstash ,并且在bin目录下运行命令(参考下面命令):加入 -e
标志可以在命令行直接指定配置文件。
logstash -e ""
或者:
logstash -e "input { stdin {} } output { stdout {} }"
注意:双引号不能改成单引号否则可能会报:ERROR: Unknown command '{'
然后你会发现终端在等待你的输入。没问题,敲入 Hello World,回车,Logstash会将时间戳和IP地址信息加入输出的消息。按下ctrl+C可以从命令行退出Logstash。
2、配置文件运行,并用bat文件
进入bin目录,新建文件 logstash_default.conf 内容如下:
input {
stdin{}
}
output {
stdout{}
elasticsearch {hosts=>"127.0.0.1:9200"}
}
配置文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
在bin目录,新文件文件 run_default.bat 内容如下:
logstash -f logstash_default.conf
启动 run_default.bat 启动logstash。 等待cmd中出现:logstash api endpoint {:port=>9600 } 浏览器访问:http://localhost:9600/
在CMD中输入任何你想输入的字符串。然后看下es中是否有了数据。
3、使用NSSM将Logstash安装为Windows服务
- 下载NSSM:http://www.nssm.cc/download
-
将
NSSM
解压,eg:E盘,进入到E:\nssm-2.24\win64 ,执行cmd -
nssm install logstash,【nssm install <服务名> 例如:nssm install Elasticsearch(自定义服务名)】
弹出如下界面
Path
: 填写启动文件路径(${LOGSTASH_HOME}\bin\xxx.bat
)Startup directory
: 填写启动文件目录(${LOGSTASH_HOME}\bin
)Detail
: 填写服务名称Dependencies
: 填写此服务启动需要依赖哪个服务(一般配置为要先启动elasticsearch
,再启动logstash
)
二、工作原理
在logstash中,包括了三个阶段:输入input --> 处理filter(不是必须的) --> 输出output
1、输入:采集各种样式、大小和来源的数据
数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
2、过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
3、输出:选择你的存储,导出你的数据
尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
每个阶段都由很多的插件配合工作,比如file、elasticsearch、Redis等等。
每个阶段也可以指定多种方式,比如输出既可以输出到elasticsearch中,也可以指定到标准输出stdout在控制台打印。
三、命令行中常用的命令
-f:通过这个命令可以指定Logstash的配置文件,根据配置文件配置logstash
-e:后面跟着字符串,该字符串可以被当做logstash的配置(如果是“” 则默认使用stdin作为输入,stdout作为输出)
-l:日志输出的地址(默认就是stdout直接在控制台中输出)
-t:测试配置文件是否正确,然后退出。
logstash -f stdin.conf -t
四、用Logstash解析日志
在现实世界中,一个Logstash管理会稍微复杂一些:它通常有一个或多个input,filter 和 output 插件。
在这一小节中,创建一个Logstash管道,并且使用Filebeat将Apache Web日志作为input,解析这些日志,然后将解析的数据写到一个Elasticsearch集群中。你将在配置文件中定义管道,而不是在命令行中定义管道配置。
在开始之前,请先下载示例数据。
1、配置Filebeat来发送日志行到Logstash
在你创建Logstash管道之前,你需要先配置Filebeat来发送日志行到Logstash。Filebeat客户端是一个轻量级的、资源友好的工具,它从服务器上的文件中收集日志,并将这些日志转发到你的Logstash实例以进行处理。Filebeat设计就是为了可靠性和低延迟。Filebeat在主机上占用的资源很少,而且Beats input插件将对Logstash实例的资源需求降到最低。
(画外音:注意,在一个典型的用例中,Filebeat和Logstash实例是分开的,它们分别运行在不同的机器上。在本教程中,Logstash和Filebeat在同一台机器上运行。)
第1步:配置filebeat.yml
filebeat.inputs:
- type: log
paths:
- /usr/local/programs/logstash/logstash-tutorial.log
output.logstash:
hosts: ["localhost:5044"]
第2步:在logstash安装目录下新建一个文件first-pipeline.conf
(画外音:刚才说过了通常Logstash管理有三部分(输入、过滤器、输出),这里input下面beats { port => "5044" }的意思是用Beats输入插件,而stdout { codec => rubydebug }的意思是输出到控制台)
第3步:检查配置并启动Logstash
logstash -f first-pipeline.conf --config.test_and_exit
(画外音:--config.test_and_exit选项的意思是解析配置文件并报告任何错误)
logstash -f first-pipeline.conf --config.reload.automatic
(画外音:--config.reload.automatic选项的意思是启用自动配置加载,以至于每次你修改完配置文件以后无需停止然后重启Logstash)
第4步:启动filebeat
filebeat -e -c filebeat.yml -d "publish"
如果一切正常,你将会在Logstash控制台下看到类似这样的输出:
更多参考:Logstash
来源:oschina
链接:https://my.oschina.net/u/4395239/blog/4334611