登录 注册
当前位置:主页 > 资源下载 > 9 > 分析仓库堆栈由luigi驱动,命名为luigi-warehouse

分析仓库堆栈由luigi驱动,命名为luigi-warehouse

  • 更新:2024-08-21 09:13:02
  • 大小:63KB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:其它 - 开发技术
  • 格式:ZIP

资源介绍

路易吉仓库 在Groupon上的样板实现 是一个Python软件包,可帮助您构建批处理作业的复杂管道。 它处理依赖关系解析,工作流管理,可视化,处理故障,命令行集成等 路易吉仓库增加了 工作流程示例(即将postgresql表复制到redshift) 更多数据来源 不依赖默认luigi行为/配置的可变数据源(即VariableS3Client ) 安装/设置 安装 -这已回购对Python进行了测试3.4+ 简单 python setup.py install 开发人员-如果您想使用自定义逻辑修改/使用工作流程 克隆此仓库 如果想要所有数据源的全部功能,请使用pip3 install -r requirements.txt 安装后 mkdir your-path-to/data 将您的凭据和设置放在luigi.cfg 。 luigi.cfg-example显示了一些可能的选项。 您也可以$ export LUIGI_CONFIG_PATH=/path/to/your/luigi.cfg && python... 您已准备好复制或移动数据... 入门 包括一些示例工作流程。 假