合 阿里数据同步工具Otter和Canal简介

发布日期 · 已更新  

0    3666    16

Tags：

👉 本文共约27923个字，系统预计阅读时间或需105分钟。

otter

otter是阿里巴巴分布式数据库同步系统(解决中美异地机房)，目前最新版本是2019年9月2日发布的v4.2.18。

otter是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。

otter官方文档：https://github.com/alibaba/otter/wiki/Introduction

otter项目背景

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter4。

目前同步规模：

  1. 同步数据量6亿
  2. 文件同步1.5TB(2000w张图片)
  3. 涉及200+个数据库实例之间的同步
  4. 80+台机器的集群规模

项目介绍

名称：otter ['ɒtə(r)]

译意： 水獭，数据搬运工

语言： 纯java开发

定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统.

工作原理

原理描述：

  1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击

  2. 典型管理系统架构，manager(web管理)+node(工作节点)

    a. manager运行时推送同步配置到node节点

    b. node节点将同步状态反馈到manager上

  3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

otter能解决什么？

  1. 异构库同步

    a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)

  2. 单机房同步 (数据库之间RTT < 1ms)

    a. 数据库版本升级

    b. 数据表迁移

    c. 异步二级索引

  3. 异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同步，RTT > 200ms，亮点)

    a. 机房容灾

  4. 双向同步

    a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)

    b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)

    本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务，私聊QQ646634621或微信dbaup66，谢谢！
    AiDBA后续精彩内容已被站长无情隐藏，请输入验证码解锁本文！
    验证码：
    获取验证码： 请先关注本站微信公众号，然后回复“验证码”，获取验证码。在微信里搜索“AiDBA”或者“dbaup6”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签：

Avatar photo

小麦苗

学习或考证，均可联系麦老师，请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复