分布式MOLAP技术在大数据分析中的应用

数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件 系统和 MapReduce 编程模型来应对这一挑战.提出了大数据环境中一种基于 Hadoop 分布式文件系统(HDFS)和 MapReduce 编程模型的分布式 MOLAP 技术,称为 DOLAP(distributed OLAP).DOLAP 采用一种特殊的多维模型完 成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量 保存在分布式文件系统中;采用数据块选择算法优化 OLAP 的性能;采用 MapReduce 编程模型实现 OLAP 操作.描 述了 DOLAP 在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装 载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现 的 OLAP 性能.