Hudi: 大数据的增量处理技术

阿帕奇·胡迪 Apache Hudi（发音为Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS（云存储，HDFS或任何Hadoop FileSystem兼容存储）上的大型分析数据集的存储。 特征 支持快速插入索引的Upsert 通过回滚支持以原子方式发布数据 作者与查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小，布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型： 快照查询-使用基于列和基于行的存储（例如 + ）的组合，提供实时数据的快照查询。 增量查询-为变更流提供在某个时间点后插入或更新的记录。 读取优化查询-通过纯列存储（例如 ）提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构建Apache Hudi 构建Apach