# 产品概述
1.1 产品概述
云数据传输服务(Cloud Data Transmission Service,即CDTS)是一种集数据迁移、数据同步功能于一体的数据传输服务,实现云上和云下各种RDS数据库(支持Oracle、MySQL等多种关系型数据库)、NOSQL数据库(Redis、Mongo等多种非关系型数据库)之间的数据传输,为数据迁移、数据库上云、数据初始化、数据同步提供便捷服务。
1.2 业务价值
1)招商云提供的可视化管理界面进行几步简单配置即可开启数据传输。
2)安全可靠:数据同步服务独立部署、同一租户内完成数据迁移,跨租户迁移,需获取数据所有者授权,并在系统中配置相应权限。
3)高可靠:数据传输服务具有极高的可用性,采用多节点执行,单一节点失效不影响服务可用性。
4)零停机热迁移:源数据库在迁移期间发生的增量数据更新会实时同步到目标数据库,支持数据库不停机迁移。
1.3 迁移类型说明
数据迁移支持结构迁移、全量数据迁移,同时使用这二种迁移类型,可实现业务不停服迁移。
迁移类型 | 说明 |
---|---|
结构迁移 | 数据迁移DTS将源库中待迁移对象的结构定义迁移至目标库 (例如表、视图、触发器、存储过程等)。 |
全量数据迁移 | 数据迁移DTS将源库中待迁移对象的存量数据,全部迁移到目标库中。 如果在配置数据迁移任务时,仅选择了结构迁移和全量数据迁移,那么在迁移过程中,源库的新增数据不会被迁移至目标库。 |
说明: 为保障数据一致性,迁移期间请勿在源库中写入新的数据。如需实现不停机迁移,您需要在配置数据迁移任务时,同时选择结构迁移、全量数据迁移。
# 购买指南
2.1 计费方式
根据产品的规格进行线下询价。
# 快速入门
提ITSM单说明链路信息并开墙
3.1 创建迁移任务
登录招商云门户,点击【云迁移】->【数据迁移DTS】
# 操作手册
# 数据库至数据库迁移
创建迁移任务
1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【数据库至数据库迁移】->【创建】
注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中
2.输入源库信息和目标库信息,点击“下一步:迁移类型及列表”
1)任务名称:输入自定义的任务名称
2)实例列表:选择源端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果源端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。
备注:若跨租户迁移,需获取数据所有者授权,并在系统中配置相应权限。
3)实例地区:选择对应“RDS实例”后,自动显示该实例所在地区
4)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型
5)主机名或地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址
6)端口:选择对应“RDS实例”后,自动显示该实例的端口信息
7)数据库账号:输入源端库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)
8)数据库密码:输入源端库数据库密码信息
9)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验
1)目标库信息-实例类型:默认选择“RDS实例”,目前只支持“RDS实例”
2)实例列表:选择目标端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果目标端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。
3)实例地区:输入源端库账号信息
4)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型
5)主机名或地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址
6)端口:选择对应“RDS实例”后,自动显示该实例的端口信息
7)数据库账号:输入目标库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)
8)数据库密码:输入目标库数据库密码信息
9)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验
3.选择迁移级别、迁移类型和迁移对象,点击“预检查”进入下一步
1)迁移级别:选择“表级别”或“库级别”
2)迁移类型:选择“全量数据迁移”和“结构迁移”
备注:目前只支持全量迁移和结构迁移。仅选择全量数据迁移时,需源端目标端表存在,且迁移的表(目标端表)需与源端表结构一致,目标端表数据为空,不能存在外键约束。目标端不存在迁移对象时,一般建议同时选择“全量数据迁移”和“结构迁移”,可将源端表结构和历史存量数据全量迁移至目标端。
3)迁移对象:选择迁移对象信息,支持源对象名映射后可重命名
备注:1.数据迁移只会将源端的数据(结构)复制一份到目标数据库,并不会对源数据库数据(结构)造成影响。
2.数据迁移过程中,不支持DDL操作,如进行DDL操作可能导致迁移失败。
4.进入任务启动前预检查,预检查成功后,立即购买并启动
5.进入任务列表界面,显示迁移进度状态,等待迁移完成或查看任务详情信息
# 文件至数据库迁移
创建迁移任务
1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【文件至数据库迁移】->【创建】
注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中
2.选择源库信息和选购目标库信息,点击“下一步:文件上传”
1)任务名称:输入自定义的任务名称
2)实例类型:可选择“IDC自建数据库”、“ECS自建数据库”或“RDS数据库”
3)数据库类型:选择对应“MySQL“或“Oracle”
4)数据库版本:选择对应数据库版本
5)备份级别:根据数据库类型选择备份级别
6)备份类型:根据备份级别选择
7)字符集:选择源端库数据库字符集
8)块大小:选择块大小
1)目标库信息-云环境:默认选择“招商云”,目前只支持“招商云”
2)区域:选择目标端区域
3)可用区:选择可用区
4)数据库类型:选择对应数据库类型,选择“MySQL”和“Oracle”
5)版本:可选“mysql-5.7.19”和“Oracle-11.2.0.4.160119”
6)系列:可选“基础版”和“高可用版”
7)Flavor规格:可选多种主机规格可选
8)磁盘类型:可选“通用型”和“高性能型”
9)数据盘:选择数据盘大小
10)字符集:选择源端库数据库字符集
11)块大小:选择块大小
12)VPC:其中【租户简称或收益人】-SIT-CORE表示core区开发网段、【租户简称或收益人】-UAT-CORE表示core区测试网段、【租户简称或收益人】-Pre-CORE预发布网段、【租户简称或收益人】--CORE生产网段)
13)子网:例如仁和core区开发网段选择“net-rhsit-core-db-2047(.../)”、仁和core区测试网段选择“net-rhuat-core-db-2047(.../)”、仁和CORE区生产网段选着“net-rhprd-core-db-2047(.../*)”
14)实例名:输入与源端备份相同的实例名
15)实例描述:输入实例描述信息
3.上传备份文件并启动任务
4.进入任务列表页点击任务名可查看任务状态与详情信息
# 数据库至大数据湖迁移
需提前向大数据湖申请相关信息(数据湖账号、密码以及入湖业务编号SrcID等),请提工单到大数组【创建大数据湖应用上线项目】
创建迁移任务
1.进入数据迁移页面,选择【云迁移】->【数据迁移DTS】->【数据库至大数据湖】->【创建】
注:若选择其他项目下数据迁移,选择【切换项目】菜单,切换到对应的项目页面中
2.输入源库信息和目标库信息,点击“下一步:选择迁移对象及配置”
1)任务名称:输入自定义的任务名称
2)实例类型:可选择“ECS自建数据库”或“RDS数据库”
3)实例列表:选择源端实例名信息,备注:必须具有相关项目实例权限才可以选择迁移,如果源端实例信息不在列表中,请核对是否具有权限或实例是否存在,若无权限,需升级权限,由对应租户管理员分配。
4)实例地区:选择对应“RDS实例”后,自动显示该实例所在地区
5)数据库类型:选择对应“RDS实例”后,自动显示该实例数据库类型
6)IP地址:选择对应“RDS实例”后,自动显示该实例主机名或IP地址
7)端口:选择对应“RDS实例”后,自动显示该实例的端口信息
8)数据库账号:输入源端库账号信息(可提ITSM工单申请,服务申请->【招商云】服务申请->数据库服务申请->数据库用户部署申请)
9)数据库密码:输入源端库数据库密码信息
10)测试连接:验证数据库的联通性,包括:数据库联通性校验、ping联通性校验、telnet端口联通性校验
1)目标库信息-大数据湖:选择对应环境数据湖
2)数据库账号:输入提前向大数据组申请的目标库账号信息
3)数据库密码:输入提前向大数据组申请的目标数据库密码信息
3.迁移对象选择,点击“预检查”进入下一步
1)业务编号:输入提前向大数据组申请的应用入湖业务编号(SrcID)
2)源端库名表名: 下拉选择源端数据库名表名
3)源端参数:
- batchLimit: 一次性读取到内存中的记录条数
- threadCount: 执行读取数DB数据的线程数,多线程更快
- splitColumn: 切分表依赖列,需带索引或是主键,不填时自动寻找主键,没有则不切分表
- whereClause: 增量时使用,需符合sql语法,参考:where 字段 = '条件值'
4)目标端库名表名: 数仓Stg层库对应的数据库名表名
5)目标端参数:
- stgOverWrite: 数仓Stg层数是否可复写。true/false
- threadCount: 执行入湖的线程数,多线程可能更快
- odsSchema: 数仓ods层数据库schema
- odsTableName: 数仓ods层数tableName
- odsPartition: 数仓ods层分区名称
注:每次可配置一张需入湖的表暂存在下方列表,暂存后也可以编辑和删除,单次配置最多可支持15张表入湖
4.进入任务启动前预检查,预检查成功后,立即购买并启动
5.进入任务列表界面,显示迁移状态,等待迁移完成或查看任务详情信息