论文研究-MSOLA:基于多维分层采样的大数据在线聚集技术.pdf下载

在线聚集通过统计计算估计查询结果，能够在查询完成前给用户反馈，在大数据分析领域具有重要意义。现有研究工作采用统一随机采样策略，当查询出现小分组或低选择率时，导致估计结果不准确及收敛速度缓慢。针对这一问题，提出了结合负载特征和数据分布进行多维分层采样的有偏采样策略，并结合大数据处理平台Storm设计了结果估计和置信区间计算方法。实验证明所提出的方案有效提高了在线聚集估计结果的准确度，并且具有良好的扩展性。