Logstash 输出类型
Logstash 提供了多个插件来支持各种数据存储或搜索引擎。日志的输出事件可以发送到输出文件、标准输出或 Elasticsearch 等搜索引擎。 Logstash 支持三种类型的输出,分别是-
标准输出
文件输出
空输出
现在让我们详细讨论每一个。
标准输出(stdout)
它用于生成过滤后的日志事件作为命令行界面的数据流。下面是一个将数据库事务的总持续时间生成到 stdout 的示例。
logstash.conf
此配置文件包含一个 stdout 输出插件,用于将总 sql_duration 写入标准输出。
input {
file {
path => "C:/tpwork/logstash/bin/log/input.log"
}
}
filter {
grok {
match => [
"message", "%{LOGLEVEL:loglevel}-%{NOTSPACE:taskid}
-%{NOTSPACE:logger}-%{WORD:label}(-%{INT:duration:int})?"
]
}
if [logger] == "TRANSACTION_START" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] = 0"
map_action => "create"
}
}
if [logger] == "SQL" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] ||= 0 ;
map['sql_duration'] += event.get('duration')"
}
}
if [logger] == "TRANSACTION_END" {
aggregate {
task_id => "%{taskid}"
code => "event.set('sql_duration', map['sql_duration'])"
end_of_task => true
timeout => 120
}
}
}
output {
if [logger] == "TRANSACTION_END" {
stdout {
codec => line{format => "%{sql_duration}"}
}
}
}
注意-如果尚未安装,请安装聚合过滤器。
>logstash-plugin install Logstash-filter-aggregate
运行 Logstash
我们可以使用以下命令运行 Logstash。
>logstash –f logsatsh.conf
输入日志
以下代码块显示了输入日志数据。
INFO-48566-TRANSACTION_START-start
INFO-48566-SQL-transaction1-320
INFO-48566-SQL-transaction1-200
INFO-48566-TRANSACTION_END – end
stdout(在windows下是命令提示符,在UNIX下是终端)
这是总的 sql_duration 320 + 200 = 520。
文件输出
Logstash 还可以将过滤器日志事件存储到输出文件中。我们将使用上述示例并将输出存储在文件中,而不是 STDOUT。
logstash.conf
此 Logstash 配置文件指示 Logstash 将总 sql_duration 存储到输出日志文件中。
input {
file {
path => "C:/tpwork/logstash/bin/log/input1.log"
}
}
filter {
grok {
match => [
"message", "%{LOGLEVEL:loglevel}-%{NOTSPACE:taskid}-
%{NOTSPACE:logger}-%{WORD:label}(-%{INT:duration:int})?"
]
}
if [logger] == "TRANSACTION_START" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] = 0"
map_action => "create"
}
}
if [logger] == "SQL" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] ||= 0 ;
map['sql_duration'] += event.get('duration')"
}
}
if [logger] == "TRANSACTION_END" {
aggregate {
task_id => "%{taskid}"
code => "event.set('sql_duration', map['sql_duration'])"
end_of_task => true
timeout => 120
}
}
}
output {
if [logger] == "TRANSACTION_END" {
file {
path => "C:/tpwork/logstash/bin/log/output.log"
codec => line{format => "%{sql_duration}"}
}
}
}
运行logstash
我们可以使用以下命令运行 Logstash。
>logstash –f logsatsh.conf
input.log
以下代码块显示了输入日志数据。
INFO-48566-TRANSACTION_START-start
INFO-48566-SQL-transaction1-320
INFO-48566-SQL-transaction1-200
INFO-48566-TRANSACTION_END – end
output.log
以下代码块显示输出日志数据。
空输出
这是一个特殊的输出插件,用于分析输入和过滤插件的性能。