阿里巴巴分布式数据库同步系统 otter.zip下载

项目背景   阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。   otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。目前同步规模：同步数据量6亿文件同步1.5TB(2000w张图片)涉及200 个数据库实例之间的同步80 台机器的集群规模 项目介绍名称：otter ['ɒtə(r)]译意： 水獭，数据搬运工语言： 纯java开发定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统工作原理原理描述：1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击2. 典型管理系统架构，manager(web管理) node(工作节点)    a. manager运行时推送同步配置到node节点    b. node节点将同步状态反馈到manager上3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作. 什么是canal?otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal 标签：分布式  数据库  数据同步  阿里巴巴