设计基于Hadoop平台的数据分析方案

面对互联网上的海量数据，单台主机已无法满足其存储和计算要求，分布式存储和分 布式计算的应用成为必然的趋势。其中Hadoop 是应用较多的分布式存储和计算框架之一。 本文在该平台下，通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分 析，给出相应Map/Reduce 程序的设计思路和实例，并提出Map/Reduce 分布式程序的部分设 计和性能优化方法，实验结果表明，本文提出的这些方法能简化Map/Reduce 程序设计、有 效提高程序性能