Logstash：Data转换，分析，提取，丰富及核心操作

Logstash plugins

Logstash是一个非常容易进行扩张的框架。它可以对各种的数据进行分析处理。这依赖于目前提供的超过200多个plugin。
首先，我们来查看一下目前有哪些plugin：

Input plugins

首先进入到Logstash的安装目录下的bin子目录，并在命令行中打入如下的命令：

$ ./logstash-plugin list --group input

显示：

Filter plugs

在命令行打入如下的命令：

Output plugins

在命令行打入如下的命令：

Codec plugins:

在命令行打入如下的命令：

在这上面显示都是我们在安装Logstash后，已经给我们配置好的plugin。我们可以自己开发自己的plugin，并安装它。我们也可以安装一个别人已经开发好的plugin。

从上面我们可以看出来，因为file都在input及output之中，我们甚至可以做如下的配置：

这样我们把input文件读入到Logstash，经过它的处理后，就会变成下面的这种输出：

安装plugin

在标准的logstash中，有很多的plugin已经被安装了，但是在有些场合，我们需要手动来安装一些我们所需要的plugin，比如Exec output plugin。我们可以在bin目录先打人如下的命令：

./bin/logstash-plugin install logstash-output-exec

这样我们用如下的命令来检查上面的plugin是否已经被成功安装了：

读取log文件

Logstash很容易设置来读取一个log文件。比如，我们可以通过如下的方式来读取一个Apache的log文件：

我们甚至可以读取多个文件：

数据的系列化

我们可以使用已经提供的Codec来把我们的数据进行系列化，比如：

在我们的longstash运行起来后，我们可以通过如下的命令在一个terminal中向文件sample.json添加内容：
$ echo '{"name2", "liuxg2"}' >> ./sample.log

我们可以看到如下的输出：

最常用的codec

1. 
   

   line 使用“message”中的数据将每行转换为logstash事件。 也可以将输出格式化为自定义行 。



2. 
   

   multiline: 允许您为“message”构成任意边界。 经常用于stacktraces等。也可以在filebeat中完成。



3. 
   

   json_lines: 解析换行符分隔的JSON数据



4. 
   

   json: 解析所有JSON。 仅适用于面向消息的输入/输出，如Redis / Kafka / HTTP等

还有很多其它的Codec。

解析及提取

Grok Filter

上面的例子可以帮我们很方便地把如下的log信息变成一个机构化的数据：

更多grok的pattern可以在地址grok pattern找到。

Date filter

Date filter可以帮我们把一个字符串，变成一个我们想要的格式的时间，并且把这个值赋予给@timestamp字段。

Dissect filter

是一个更快，轻量级的更小的grok：

字段和分隔符模式的格式类似于Grok。

例子：

运行后：

KV filter

解析键/值对中数据的简便方法

我们运行这样的conf文件：

显示的结果是：

对于kv flter来说，我们也可以使用一个target来把信息组织到一个object里，比如：

核心操作Mutate filter

这个filter提供很多功能：

• 转换字段类型（从字符串到整数等）


• 添加/重命名/替换/复制字段


• 大-小写转换


• 将数组连接在一起（对于Array => String操作很有用）


• 合并哈希


• 将字段拆分为数组


• 剥去空白

显示的结果是：

最核心的转化filters

• Mute - 修改/添加每个项


• Split - 把一个事件转化为多个事件


• Drop - 丢掉一个事件

条件逻辑

if/else

• 可以用 =~来使用regexps（正则）


• 可以在一个数组里检查一个会员

GeoIP

丰富IP地址信息：

filter { geoip { fields => “my_geoip_field” }}

运行如下的配置：

显示的结果如下：

我们可以看到在geoip之下，有很多具体的信息。

DNS filter

用DNS信息丰富主机名的更多信息

filter { dns { fields => “my_dns_field” }}

我们定义如下的一个Logstash配置文件：

上面是谷歌的地址，那么它的输出结果是：

在这里我们可以看到hostname的值。

Useragent filer

让浏览器的useragent信息更加丰富。我们使用如下的Logstash配置：

运行出来的结果是：

我们在useragent里可以看到更加详细的信息啊。

Translate Filter

使用本地的数据来使得数据更加丰富。我们使用如下的Logstash配置文件：

运行显示的结果是：

我们可以看到一项http_status_description，它的值变为“OK”。

Elasticsearch Filter

从Elasticsearch中的index得到数据，并丰富事件。为了做这个测试，我们先建立一个叫做elasticsearch_filter的index:

在这里，我必须指出来的是：我们必须有一个叫做@timestamp的项，否则会有错误。这个是用来做sort用的。

我们采用如下的Logstash配置：

运行上面的例子显示的结果是：

我们可以看到user_age是20。这个是通过搜索name:liuxg来得到的。

参考：https://opensource.com/article/17/10/logstash-fundamentals