# 产品概述

1.1 产品概述

云数据传输服务(Cloud Data Transmission Service,即CDTS)是一种集数据迁移、数据同步功能于一体的数据传输服务,实现云上和云下各种RDS数据库(支持Oracle、MySQL等多种关系型数据库)、NOSQL数据库(Redis、Mongo等多种非关系型数据库)之间的数据传输,为数据迁移、数据库上云、数据初始化、数据同步提供便捷服务。

1.2 业务价值

1)招商云提供的可视化管理界面进行几步简单配置即可开启数据传输。

2)安全可靠:数据同步服务独立部署、同一租户内完成数据迁移,跨租户迁移,需获取数据所有者授权,并在系统中配置相应权限。

3)高可靠:数据传输服务具有极高的可用性,采用多节点执行,单一节点失效不影响服务可用性。

4)零停机热迁移:源数据库在迁移期间发生的增量数据更新会实时同步到目标数据库,支持数据库不停机迁移。

1.3 迁移类型说明

数据迁移支持结构迁移、全量数据迁移,同时使用这二种迁移类型,可实现业务不停服迁移。

迁移类型 说明
结构迁移 数据迁移DTS将源库中待迁移对象的结构定义迁移至目标库
(例如表、视图、触发器、存储过程等)。
全量数据迁移 数据迁移DTS将源库中待迁移对象的存量数据,全部迁移到目标库中。
如果在配置数据迁移任务时,仅选择了结构迁移和全量数据迁移,那么在迁移过程中,源库的新增数据不会被迁移至目标库。

说明: 为保障数据一致性,迁移期间请勿在源库中写入新的数据。如需实现不停机迁移,您需要在配置数据迁移任务时,同时选择结构迁移、全量数据迁移。

# 购买指南

2.1 计费方式

根据产品的规格进行线下询价。

# 快速入门

提ITSM单说明链路信息并开墙

3.1 创建迁移任务

登录招商云门户,点击【云迁移】->【数据迁移DTS】

# 操作手册

# 数据库至数据库迁移

创建迁移任务

1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【数据库至数据库迁移】->【创建】

注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中

2.输入源库信息和目标库信息,点击“下一步:迁移类型及列表”

1)任务名称:输入自定义的任务名称

2)实例列表:选择源端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果源端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。

备注:若跨租户迁移,需获取数据所有者授权,并在系统中配置相应权限。

3)实例地区:选择对应“RDS实例”后,自动显示该实例所在地区

4)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型

5)主机名或地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址

6)端口:选择对应“RDS实例”后,自动显示该实例的端口信息

7)数据库账号:输入源端库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)

8)数据库密码:输入源端库数据库密码信息

9)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验

1)目标库信息-实例类型:默认选择“RDS实例”,目前只支持“RDS实例”

2)实例列表:选择目标端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果目标端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。

3)实例地区:输入源端库账号信息

4)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型

5)主机名或地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址

6)端口:选择对应“RDS实例”后,自动显示该实例的端口信息

7)数据库账号:输入目标库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)

8)数据库密码:输入目标库数据库密码信息

9)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验

3.选择迁移级别、迁移类型和迁移对象,点击“预检查”进入下一步

1)迁移级别:选择“表级别”或“库级别”

2)迁移类型:选择“全量数据迁移”和“结构迁移”

备注:目前只支持全量迁移和结构迁移。仅选择全量数据迁移时,需源端目标端表存在,且迁移的表(目标端表)需与源端表结构一致,目标端表数据为空,不能存在外键约束。目标端不存在迁移对象时,一般建议同时选择“全量数据迁移”和“结构迁移”,可将源端表结构和历史存量数据全量迁移至目标端。

3)迁移对象:选择迁移对象信息,支持源对象名映射后可重命名

备注:1.数据迁移只会将源端的数据(结构)复制一份到目标数据库,并不会对源数据库数据(结构)造成影响。
2.数据迁移过程中,不支持DDL操作,如进行DDL操作可能导致迁移失败。

4.进入任务启动前预检查,预检查成功后,立即购买并启动

5.进入任务列表界面,显示迁移进度状态,等待迁移完成或查看任务详情信息


# 文件至数据库迁移

创建迁移任务

1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【文件至数据库迁移】->【创建】

注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中

2.选择源库信息和选购目标库信息,点击“下一步:文件上传”

1)任务名称:输入自定义的任务名称

2)实例类型:可选择“IDC自建数据库”、“ECS自建数据库”或“RDS数据库”

3)数据库类型:选择对应“MySQL“或“Oracle”

4)数据库版本:选择对应数据库版本

5)备份级别:根据数据库类型选择备份级别

6)备份类型:根据备份级别选择

7)字符集:选择源端库数据库字符集

8)块大小:选择块大小

1)目标库信息-云环境:默认选择“招商云”,目前只支持“招商云”

2)区域:选择目标端区域

3)可用区:选择可用区

4)数据库类型:选择对应数据库类型,选择“MySQL”和“Oracle”

5)版本:可选“mysql-5.7.19”和“Oracle-11.2.0.4.160119”

6)系列:可选“基础版”和“高可用版”

7)Flavor规格:可选多种主机规格可选

8)磁盘类型:可选“通用型”和“高性能型”

9)数据盘:选择数据盘大小

10)字符集:选择源端库数据库字符集

11)块大小:选择块大小

12)VPC:其中【租户简称或收益人】-SIT-CORE表示core区开发网段、【租户简称或收益人】-UAT-CORE表示core区测试网段、【租户简称或收益人】-Pre-CORE预发布网段、【租户简称或收益人】--CORE生产网段)

13)子网:例如仁和core区开发网段选择“net-rhsit-core-db-2047(.../)”、仁和core区测试网段选择“net-rhuat-core-db-2047(.../)”、仁和CORE区生产网段选着“net-rhprd-core-db-2047(.../*)”

14)实例名:输入与源端备份相同的实例名

15)实例描述:输入实例描述信息

3.上传备份文件并启动任务

4.进入任务列表页点击任务名可查看任务状态与详情信息


# 数据库至大数据湖迁移

需提前向大数据湖申请相关信息(数据湖账号、密码以及入湖业务编号SrcID等),请提工单到大数组【创建大数据湖应用上线项目】

创建迁移任务

1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【数据库至大数据湖】->【创建】

注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中

2.输入源库信息和目标库信息,点击“下一步:选择迁移对象及配置”

1)任务名称:输入自定义的任务名称

2)实例类型:可选择“ECS自建数据库”或“RDS数据库”

3)实例列表:选择源端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果源端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。

4)实例地区:选择对应“RDS实例”后,自动显示该实例所在地区

5)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型

6)IP地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址

7)端口:选择对应“RDS实例”后,自动显示该实例的端口信息

8)数据库账号:输入源端库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)

9)数据库密码:输入源端库数据库密码信息

10)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验

1)目标库信息-大数据湖:选择对应环境数据湖

2)数据库账号:输入提前向大数据组申请的目标库账号信息

3)数据库密码:输入提前向大数据组申请的目标数据库密码信息

3.迁移对象选择,点击“预检查”进入下一步

1)业务编号:输入提前向大数据组申请的应用入湖业务编号(SrcID)

2)源端库名表名: 下拉选择源端数据库名表名

3)源端参数:

  • batchLimit: 一次性读取到内存中的记录条数
  • threadCount: 执行读取数DB数据的线程数,多线程更快
  • splitColumn: 切分表依赖列,需带索引或是主键,不填时自动寻找主键,没有则不切分表
  • whereClause: 增量时使用,需符合sql语法,参考:where 字段 = '条件值'

4)目标端库名表名: 数仓Stg层库对应的数据库名表名

5)目标端参数:

  • stgOverWrite: 数仓Stg层数是否可复写。true/false
  • threadCount: 执行入湖的线程数,多线程可能更快
  • odsSchema: 数仓ods层数据库schema
  • odsTableName: 数仓ods层数tableName
  • odsPartition: 数仓ods层分区名称

注:每次可配置一张需入湖的表暂存在下方列表,暂存后也可以编辑和删除,单次配置最多可支持15张表入湖

4.进入任务启动前预检查,预检查成功后,立即购买并启动

5.进入任务列表界面,显示迁移状态,等待迁移完成或查看任务详情信息