-
yarn-auditlog-parser用于统计Yarn的hdfs-audit.log日志文件中,基于ip、用户名和时间段维度的hdfs qps数据
资源介绍
yarn-auditlog-parser
Yarn的hdfs-audit.log的日志文件解析,从ip,用户名,时间段维度对hdfs的qps量进行统计
原理介绍
此工具用于分析hdfs-audit日志文件中的hdfs请求,比如下面是一条完整的记录
2015-09-09 05:29:54,727 INFO FSNamesystem.audit: allowed=true ugi=data (auth:SIMPLE) ip=/192.128.10.15 cmd=open
src=/user/data/.staging/job_1441718170682_2949/job.jar dst=null perm=null proto=rpc
解析程序主要抽取出其中的时间,ugi用户信息,ip地址信息,cmd操作命令信息,然后进行各个维度统计.
下面是几种使用方法
1.用户分时段统计
java -j
- 上一篇: Ola用于插值数字的平滑动画库
- 下一篇: C_PDC8