otter用于跨云RDS for mysql之间配置双主实时同步

2    1827    8

Tags:

👉 本文共约4219个字,系统预计阅读时间或需16分钟。

问题引出

客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步,当华为云rds宕机的时候,可以切换到天翼云继续提供服务,而且此时,天翼云的数据也可以自动同步到华为云rds,平时只使用华为云的rds,和双A方案有点差异,需要注意的是rds环境不能安装任何的软件,所以,我目前想到的方案有:

1、用MySQL自带的主从复制。这个方案最简单,但是不可行,因为华为云和天翼云都禁用了super权限,在执行change master的时候会报权限不足的错误,“ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation”。

2、使用华为云或天翼云自带的数据同步功能。这个也不可行,翻阅了一下文档,同步只能全量+增量同步,这对于双向同步来说不可行。

3、使用ogg远程捕获投递。ogg for MySQL从MySQL 5.7和ogg 19c开始支持远程捕获(Remote Capture)和远程投递(Remote Delivery),所以配置双向同步,该方案经过验证也是可行的!

4、使用阿里的开源工具otter,这个方案经过验证是可行的。阿里数据同步工具Otter和Canal简介请参考:https://www.dbaup.com/alishujutongbugongjuotterhecanaljianjie.html

otter和ogg优缺点

1、otter不能同步无主键的表(会导致同步任务停止),而ogg可以

2、otter可以单向同步ddl语句,而ogg对于MySQL 5.7不可以(5.7需要安装插件),ogg对MySQL 8.0支持DDL同步

3、otter有图形界面操作,OGG只有命令行操作,但是ogg的微服务也可以全程图形化

搭建otter环境配置双向同步

本次环境架构图如下:

准备环境

购买2台RDS for MySQL环境

这里,我做测试直接买了2台华为云的rds,大家把rds-3388-0001当做华为云rds,另一台当做天翼云rds吧:

购买1台ECS环境作为otter环境

这里,我做测试直接买了1台华为云的ecs:

开放端口:8088,web页面使用

开放端口:2088,2089,2090,这几个端口对rds开放,同时2个rds的3306需要对这台ecs开放。

下面开始配置:

启动成功后浏览器访问 http://139.9.130.227:8088/login.htm,出现otter的页面,用户名和密码都是admin

image-20210902170707389

配置otter

修改Node

选择机器管理的node管理:

由于ECS和2台rds通信只能使用外网IP,所以,这里启用外部IP, 如上图。

启动node

启动命令:

管理界面显示节点状态已经启动:

image-20210902171428339

添加数据源

添加2个rds的数据源: 填写正确的数据库连接信息。

这里填写的mysql用户不一定要用root,只要有操作需同步数据的库表的相关权限即可。

添加需要同步的数据表

image-20210812184504456

image-20210903084409117

注意:如果同步整个数据库的表,则将schema name和table name都设置成“.*”,不建议对整个库同步,因为有系统库不建议同步。

image-20210902171629408

配置双向同步

双向同步可以理解为两个单向同步的组合,但需要额外处理避免回环同步. 回环同步算法: Otter双向回环控制 .

同时,因为双向回环控制算法会依赖一些系统表,需要在需要做双向同步的数据库上初始化所需的系统表,也可以直接从界面获取(可以点击使用文档-》数据库初始化页面),获取初始sql:

界面获取:

配置上相比于单向同步有一些不同,操作步骤:

  1. 首先配置一个channel
  2. 然后添加两个pipeline
    注意:两个单向的canal和映射配置,在一个channel下配置为两个pipeline。如果是两个channel,每个channel一个pipeline,将不会使用双向回环控制算法,也就是会有重复回环同步.
  3. 每个pipeline各自配置canal,定义映射关系

双向需要注意:

一个channel 添加两个 pipeline ,

两个为双向同步,如果要用DDL同步,一个pipeline开启ddl同步,另一个不要开启,且建议开启跳过ddl异常,DryRun模式 不要开启

同时在配置双向同步的时候,建议执行otter-system-ddl-mysql.sql增加同步控制库,若是单向同步,则不需要运行该脚本。

双向同步建议在需要同步的两个数据库中新建retl数据库。

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信dbaup66,谢谢!
AiDBA后续精彩内容已被站长无情隐藏,请输入验证码解锁本文!
验证码:
获取验证码: 请先关注本站微信公众号,然后回复“验证码”,获取验证码。在微信里搜索“AiDBA”或者“dbaup6”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

2 条回复

  1. Avatar photo DuDu说道:

    请教一下,在启动后,点击登录会报错,请问博主有遇到类似的情况吗?是否缺失包:
    HTTP ERROR 500
    Problem accessing /login.htm. Reason:

    Caused by:
    com.alibaba.citrus.service.pipeline.PipelineException: Failed to execute action module

发表回复