-
Schedoscope是一个用于实现数据集线器、湖泊或Hadoop数据仓库的无痛敏捷开发、测试、重新加载和监控的调度框架,名称可按您近期所使用的任意称呼
资源介绍
Schedoscope不再由OttoGroup开发。 随意分叉!
介绍
Schedoscope是一个调度框架,用于无痛地进行敏捷开发,测试,(重新)加载和监视datahub,datalake或这些天您选择的Hadoop数据仓库。
当需要频繁推出并使用Oozie等传统ETL作业调度程序追溯性地对datahub中的计算逻辑和数据结构进行更改时,Schedoscope会让您头痛不已。
使用Schedoscope,
您无需创建DDL和架构迁移脚本;
面对逻辑或数据结构的追溯性更改,您不必手动确定必须删除和重新计算哪些数据;
您可以在简洁的Scala DSL中指定Hive表结构(称为“视图”),分区方案,存储格式,从属视图以及转换逻辑;
您可以使用多种选项来表达数据转换-从文件操作和MapReduce作业到Pig脚本,Hive查询,Spark作业和Oozie工作流程;
您将从Scala
- 上一篇: hive开发规范.ppt
- 下一篇: HIVE基础培训PPT