对于日志收集的客户端,其work pipeline通常包括三个过程:input,process,output。
今天要介绍logtail在日志处理阶段的两个新功能:转码、过滤
日志服务限制数据的字符编码为utf-8,这也是logtail在发送数据阶段对于字符编码的要求。
但可能一些较老的应用组件在处理中文的时候,会打印gbk编码的数据到日志文件。
这种情况下,你可以在logtail配置的高级选项中,选择日志文件编码为”gbk“。那么,logtail在采集日志时,会对日志内容先做gbk到utf-8的编码转换,再进行后续处理。
logtail目前支可以支持utf-8和gbk两种文件编码格式。对于gbk格式,logtail使用linux系统的iconv api,编码转换过程中会额外消耗机器计算资源。
问:如何判断我的gbk日志文件是否可以通过logtail收集?
答:在linux shell下使用iconv命令进行转码测试,假设日志文件名为gbk.log,执行命令:成都服务器托管
1 | iconv -f gbk -t utf-8 gbk.log -o gbk_to_utf8.log |
如果执行成功则说明文件编码是gbk;如执行失败(类似iconv: illegal input sequence at position 2743错误),则说明文件不是合法的gbk编码,无法通过logtail做编码转换,请尝试调整应用输出的日志文件编码格式为utf-8。
举一个web服务器的例子,nginx每时每刻接收大量请求,并在access.log记录这些请求:成都服务器托管
1 2 3 4 5 6 7 8 | 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "head sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java" 13605 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "post sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 404 37 "-" "ali-log-logtail" 13608 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 401 37 "-" "aliyun-sdk-java" 13609 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 502 37 "-" "aliyun-sdk-java" 13610 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "get sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 401 37 "-" "cpp-sdk-0.6" 13612 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "put sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 400 37 "-" "cpp-sdk-0.6" 13614 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "post sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 400 37 "-" "ali-log-logtail" 13615 10.200.98.220 - - [25/may/2016:14:55:42 +0800] "head sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores http/1.1" 0.024 18204 200 37 "-" "cpp-sdk-0.6" 13616 |
对于问题调查的场景,http 200请求的日志量通常是巨大的,如果我们希望降低日志存储的成本,只上传发生异常的请求日志,应该怎么来做呢?
在今天,你可以打开logtail配置的高级选项,设置过滤器来解决数据过滤的问题。
如上图所示,分别对url字段和status字段设置了两个过滤器。指定字段key存在且value符合正则表达式的日志会被保留。
定义多个过滤器的时候,判断条件是“与”的关系,满足所有过滤器设置的日志是合法的,否则被丢弃。
对于一条日志,当url字段与"(posts.)|(gets.)"匹配成功且status字段与"[345]d+"匹配成功的时候(只采集post、get请求且状态码非200的日志),logtail将该日志上传至日志服务,如下图所示:成都服务器托管
如果设置过滤器的字段名在日志里找不到,那么这条日志也是不合法的,需要被丢弃。默认情况下,用户没有任何过滤器设置的情况下,所有被logtail读取并解析成功的日志数据都会写入日志服务。
实例配置:成都服务器托管
只收集匹配到 topic 为 action 或者 plugin 的日志
更多关于阿里云日志服务日志过滤器配置技术文章请查看下面的相关链接
原文链接:https://www.cnblogs.com/weifeng1463/p/10577272.html
分享标题:阿里云日志服务日志过滤器配置
转载来源:https://www.cdcxhl.com/article22/chgjc.html
成都网站建设公司_创新互联,为您提供定制网站、软件开发、电子商务、定制开发、域名注册、微信小程序
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联