登录 注册
当前位置:主页 > 资源下载 > 50 > yarn-auditlog-parser用于统计Yarn的hdfs-audit.log日志文件中,基于ip、用户名和时间段维度的hdfs qps数据

yarn-auditlog-parser用于统计Yarn的hdfs-audit.log日志文件中,基于ip、用户名和时间段维度的hdfs qps数据

  • 更新:2024-09-22 22:24:38
  • 大小:7KB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:其它 - 开发技术
  • 格式:ZIP

资源介绍

yarn-auditlog-parser Yarn的hdfs-audit.log的日志文件解析,从ip,用户名,时间段维度对hdfs的qps量进行统计 原理介绍 此工具用于分析hdfs-audit日志文件中的hdfs请求,比如下面是一条完整的记录 2015-09-09 05:29:54,727 INFO FSNamesystem.audit: allowed=true ugi=data (auth:SIMPLE) ip=/192.128.10.15 cmd=open src=/user/data/.staging/job_1441718170682_2949/job.jar dst=null perm=null proto=rpc 解析程序主要抽取出其中的时间,ugi用户信息,ip地址信息,cmd操作命令信息,然后进行各个维度统计. 下面是几种使用方法 1.用户分时段统计 java -j