GobblinParquet:在基于Gobblin的HDFS上实现对Parquet文件格式的支持

哥布林 Gobblin是一个通用的数据摄取框架，用于从各种数据源（例如数据库，REST API，FTP / SFTP服务器，文件管理器等）提取，转换和加载大量数据到Hadoop上。 Gobblin处理所有数据提取ETL所需的常见例行任务，包括作业/任务调度，任务分区，错误处理，状态管理，数据质量检查，数据发布等。Gobblin在同一执行框架中从不同数据源提取数据，并一站式管理不同来源的元数据。 结合其他功能，例如自动可伸缩性，容错能力，数据质量保证，可扩展性以及处理数据模型演变的能力，使Gobblin成为易于使用，自我服务且高效的数据提取框架。 文献资料 在查看Gobblin文档。 入门 建筑物地精 下载或克隆Gobblin存储库（例如，复制到/path/to/gobblin ），然后运行以下命令： $ cd /path/to/gobblin $ ./gradlew clean bui