登录 注册
当前位置:主页 > 资源下载 > 9 > Schedoscope是一个用于实现数据集线器、湖泊或Hadoop数据仓库的无痛敏捷开发、测试、重新加载和监控的调度框架,名称可按您近期所使用的任意称呼

Schedoscope是一个用于实现数据集线器、湖泊或Hadoop数据仓库的无痛敏捷开发、测试、重新加载和监控的调度框架,名称可按您近期所使用的任意称呼

  • 更新:2024-08-21 09:13:20
  • 大小:1.65MB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:数据集 - 行业研究
  • 格式:ZIP

资源介绍

Schedoscope不再由OttoGroup开发。 随意分叉! 介绍 Schedoscope是一个调度框架,用于无痛地进行敏捷开发,测试,(重新)加载和监视datahub,datalake或这些天您选择的Hadoop数据仓库。 当需要频繁推出并使用Oozie等传统ETL作业调度程序追溯性地对datahub中的计算逻辑和数据结构进行更改时,Schedoscope会让您头痛不已。 使用Schedoscope, 您无需创建DDL和架构迁移脚本; 面对逻辑或数据结构的追溯性更改,您不必手动确定必须删除和重新计算哪些数据; 您可以在简洁的Scala DSL中指定Hive表结构(称为“视图”),分区方案,存储格式,从属视图以及转换逻辑; 您可以使用多种选项来表达数据转换-从文件操作和MapReduce作业到Pig脚本,Hive查询,Spark作业和Oozie工作流程; 您将从Scala