Logstash

默认

运行

bin/logstash -f logstash.conf

默认日志在logstash/logs/

配置示例

输入

字符集

file {
path => "var/log/http/access_log"
type => apache_access_log
codec => plain {
charset => "GBK"
}
stat_interval => 60
}

sincedb

记录监控读取的文件的当前读取位置,每一个fileinput对应一个sincedb

不会追加不会改动的文件通过read模式,可以使用读取到EOF后删除文件的方法,来解除对文件的句柄;会变动的文件需要手动删除后重启logstash。

inode
major device number
minor device number
byte offset
time
filePath

分类数据

input {
file {
path => []
start_position => "beginning"
type => "AAA"
}
file {
path => []
start_position => "beginning"
type => "BBB"
}
}

output {
if [type] == "AAA" {

}
}

Kafka



判断一个消息里面是否包含字符串

filter {
if [message] !~ "SSID:ke" {
drop {}
}
}

增加时间戳