登录 注册
当前位置:主页 > 资源下载 > 9 > 一种针对高可用性Hadoop分布式文件系统(HDFS)的机架感知模型建议-研究论文

一种针对高可用性Hadoop分布式文件系统(HDFS)的机架感知模型建议-研究论文

  • 更新:2024-07-21 21:07:02
  • 大小:743KB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:其它 - 开发技术
  • 格式:PDF

资源介绍

像Hadoop这样的数据驱动模型已经在大数据分析中获得了极大的普及。 尽管通过资源管理基础架构的解耦来通过实现Hadoop框架进行了大量的努力,但是HDFS的元数据管理的集中式设计对Hadoop可伸缩性产生了不利影响,并导致了性能瓶颈。 一个名为NameNode的主节点(用于管理文件系统的整个名称空间(所有inode))已导致Hadoop群集中出现单点故障,名称空间受限和负载平衡问题。 本文提出了一种机架感知模型,该模型为每个机架提供一个Rack_Unit NameNode(RU_NN),以管理文件系统的命名空间以及机架中DataNode的心跳通信。 这将减少单个NameNode上的负载,还将减少从群集中所有DataNode到单个NameNode的通信开销。