基于实战的Hadoop离线大数据分析平台项目

课程简介: 某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。 课程内容 （1）文件收集框架 Flume ①Flume 设计架构、原理（三大组件） ②Flume 初步使用，实时采集数据 ③实际案例：使用Flume监控数据，实时收集存储HDFS中 （2）大数据分析平台架构 ①数据平台三大模块 让技术产生价值! ②分析平台业务数据 ③大数据平台技术选型和搭建配置测试 （3）数据分析平台七大业务分析 ①具体的七大业务分析，针对不同的数据 ②将数据收到 HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。 ③依据业务深入MapReduce使用 ④数据处理时，针对不同问题如何优化调整等