• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 17
    • 下载费用:20 金币  

    重庆时时彩娱乐平台骗局: 数据库数据迁移方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210429450.3

    申请日:

    2012.10.31

    公开号:

    CN103793424A

    公开日:

    2014.05.14

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20121031|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 阿里巴巴集团控股有限公司
    发明人: 庄伟杰; 宁玉杰
    地址: 英属开曼群岛大开曼资本大厦一座四层847号邮箱
    优先权:
    专利代理机构: 北京润泽恒知识产权代理有限公司 11319 代理人: 苏培华
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210429450.3

    授权公告号:

    ||||||

    法律状态公告日:

    2018.04.20|||2014.06.11|||2014.05.14

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本申请提供一种数据库数据迁移方法,应用在分布式系统集群环境中,用于在第一数据库和第二数据库之间迁移数据,该方法包括:配置数据库迁移任务的多个表任务对应的表任务信息,所述多个表任务能够被批量调度;根据所调度的表任务从第一数据库读出该表任务中需迁移的源数据表的数据,并对该源数据表的数据进行分库得到多个分库数据表,再将该多个分库数据表导入到分布式文件系统中;及从所述分布式文件系统中读出所述多个分库数据表,再将该多个分库数据表导出到第二数据库中。所述迁移方法只需要一次配置即可将不同的数据从一种数据库迁移到另外一种数据库,提高了数据迁移的速度及稳定性。本申请还提供一种数据库数据迁移系统。

    权利要求书

    权利要求书
    1.  一种数据库数据迁移方法,应用在分布式系统集群环境中,用于在第一数据库和第二数据库之间迁移数据,其特征在于,该方法包括:
    配置数据库迁移任务的被批量调度的多个表任务对应的表任务信息,所述每个表任务将第一数据库中与该表任务对应的源数据表进行数据迁移;
    从第一数据库读出该表任务中需迁移的源数据表的数据;
    并对该源数据表的数据进行分库得到多个分库数据表,再将该多个分库数据表导入到分布式文件系统中;及
    从所述分布式文件系统中将该多个分库数据表导出到第二数据库中。

    2.  如权利要求1所述的数据库数据迁移方法,其特征在于,通过表配置文件来配置多个表任务对应的表任务信息。

    3.  如权利要求2所述的数据库数据迁移方法,其特征在于,对应每个表任务,所述表配置文件包括源配置和目标配置,所述源配置给出了第一数据库中需要迁移的源数据表的信息,所述目标配置给出了要把需要迁移的源数据表迁往的第二数据库中的目标数据表的信息。

    4.  如权利要求1所述的数据库数据迁移方法,其特征在于,将第一数据库中数据导入到分布式文件系统中的过程包括:
    获取并加载所调度的表任务的表任务信息,所述表任务信息中包括该表任务对应需要迁移的源数据表的切分字段及分库字段信息;
    根据所述表任务信息中的切分字段将需要迁移的源数据表分成第一数量的多个切片,并请求分布式系统集群对应每个切片形成一个第一映射任务,所述每个第一映射任务都与第一数据库连接并读取源数据表的一个切片;
    进一步请求分布式系统集群在所述每个第一映射任务中,根据所述表任务信息中的分库字段对该第一映射任务读取的每个切片进行分库得到第二数量的分库数据表,进一步请求分布式系统集群根据所述分库后得到的每个分库数据表对应形成一个第一化简任务;及
    由每个第一化简任务将分库后得到的每个分库数据表的数据写入到分布式文件系统中。

    5.  如权利要求4所述的数据库数据迁移方法,其特征在于,所述分库过程包括:
    逐条读取第一数据库中一个源数据表的数据;
    对所读取的数据做转义、转码;
    读取表任务信息中的源数据表的分库字段信息;
    对该分库字段对应的分库键值取模并映射到一个下标的文件中;及
    将该下表的文件划分到对应的第一化简任务中。

    6.  如权利要求1所述的数据库数据迁移方法,其特征在于,从所述分布式文件系统中将该多个分库数据表导出到第二数据库中的方法包括:
    获取表任务信息;
    请求分布式系统集群对应所述每个分库数据表形成一个第二映射任务,所述每个第二映射任务会将一个分库数据表从所述分布式文件系统中读出并写入本地系统临时文件;及
    由所述每个第二映射任务调用一个第二数据库导入工具,将写入到本地系统临时文件中的分库数据表导入到第二数据库中。

    7.  如权利要求6所述的数据库数据迁移方法,其特征在于,所述迁移方法在将分布式文件系统中的数据导出到第二数据库中后还包括:
    比较第一数据库与第二数据库中的数据,校验在迁移过程中数据是否有缺失以及数据是否不完整。

    8.  如权利要求7所述的数据库数据迁移方法,其特征在于,所述比较第一数据库与第二数据库中的数据的过程包括:
    读取表任务信息;
    根据表任务信息中的切分字段将需要校对的第一数据库中的源数据表分成第一数量的多个切片,并请求分布式系统集群对应该每个切片形成一个第三映射任务,所述每个第三映射任务读取源数据表中的一个切片,并根据所述表任务信息中的分库字段对该第三映射任务读取的每个切片进行分库得到第二数量的多个分库数据表;及
    从第二数据库中读取与所述多个分库数据表对应的数据,并请求分布式系统集群根据每个分库数据表对应形成一个第三化简任务,所述第三化简任务通 过合并和排序将第一数据库中的源数据表分库得到的多个分库数据表与从第二数据库中读取的与所述多个分库数据表对应的数据进行比较,校验数据是否有缺失及数据是否不完整。

    9.  如权利要求8所述的数据库数据迁移方法,其特征在于,所述第二数据库所有分库的数据使用与第一数据库数据迁移到第二数据库的过程中相同的分库算法的分布式数据库读取。

    10.  如权利要求1所述的数据库数据迁移方法,其特征在于,所述第一数据为Oracle数据库,所述第二数据库为Mysql数据库。

    11.  如权利要求1所述的数据库数据迁移方法,其特征在于,所述分布式系统集群为Hadoop,所述分布式文件系统为Hadoop的分布式文件系统。

    12.  一种数据库数据迁移系统,运行在分布式系统集群环境中,用于在第一数据库和第二数据库之间迁移数据,其特征在于,该迁移系统包括:
    配置???,用于配置数据库迁移任务的多个表任务对应的表任务信息,所述每个表任务指对第一数据库中一个源数据表进行数据迁移的迁移任务;
    调度控制???,能够读取所述表任务信息,并批量调度所述多个表任务;
    数据导入???,用于根据所调度的表任务从第一数据库读出该表任务中需迁移的源数据表的数据,并对该源数据表的数据进行分库得到多个分库数据表,再将该多个分库数据表导入到分布式文件系统中;及
    数据导出???,从所述分布式文件系统中读出所述多个分库数据表,再将 该多个分库数据表导出到第二数据库中。

    13.  如权利要求12所述的数据库数据迁移系统,其特征在于,所述配置??橥ü砼渲梦募磁渲枚喔霰砣挝穸杂Φ谋砣挝裥畔?。

    14.  如权利要求13所述的数据库数据迁移系统,其特征在于,对应每个表任务,所述表配置文件包括源配置和目标配置,所述源配置给出了第一数据库中需要迁移的源数据表的信息,所述目标配置给出了要把需要迁移的源数据表迁往的第二数据库中的目标数据表的信息。

    15.  如权利要求12所述的数据库数据迁移系统,其特征在于,所述数据导入??榻谝皇菘庵惺莸既氲椒植际轿募低持械墓贪ǎ?BR>获取并加载所调度的表任务的表任务信息,所述表任务信息中包括该表任务对应需要迁移的源数据表的切分字段及分库字段信息;
    根据所述表任务信息中的切分字段将需要迁移的源数据表分成第一数量的多个切片,并请求分布式系统集群对应每个切片形成一个第一映射任务,所述每个第一映射任务都与第一数据库连接并读取源数据表的一个切片;
    进一步请求分布式系统集群在所述每个第一映射任务中,根据所述表任务信息中的分库字段对该第一映射任务读取的每个切片进行分库得到第二数量的分库数据表,进一步请求分布式系统集群根据所述分库后得到的每个分库数据表对应形成一个第一化简任务;及
    由每个第一化简任务将分库后得到的每个分库数据表的数据写入到分布式 文件系统中。

    16.  如权利要求15所述的数据库数据迁移系统,其特征在于,所述数据导出??榻植际轿募低持械氖莸汲龅降诙菘庵械墓贪ǎ?BR>获取表任务信息;
    请求分布式系统集群对应所述每个分库数据表形成一个第二映射任务,所述每个第二映射任务会将一个分库数据表从所述分布式文件系统中读出并写入本地系统临时文件;及
    由所述每个第二映射任务调用一个第二数据库导入工具,将写入到本地系统临时文件中的分库数据表导入到第二数据库中。

    17.  如权利要求16所述的数据库数据迁移系统,其特征在于,所述迁移系统还包括:
    数据校验???,用于比较第一数据库与第二数据库中的数据,校验在迁移过程中数据是否有缺失以及数据是否不完整。

    18.  如权利要求17所述的数据库数据迁移系统,其特征在于,所述数据校验??楸冉系谝皇菘庥氲诙菘庵械氖莸墓贪ǎ?BR>读取表任务信息;
    根据表任务信息中的切分字段将需要校对的第一数据库中的源数据表分成第一数量的多个切片,并请求分布式系统集群对应该每个切片形成一个第三映射任务,所述每个第三映射任务读取源数据表中的一个切片,并根据所述表任 务信息中的分库字段对该第三映射任务读取的每个切片进行分库得到第二数量的多个分库数据表;及
    从第二数据库中读取与所述多个分库数据表对应的数据,并请求分布式系统集群根据每个分库数据表对应形成一个第三化简任务,所述第三化简任务通过合并和排序将第一数据库中的源数据表分库得到的多个分库数据表与从第二数据库中读取的与所述多个分库数据表对应的数据进行比较,校验数据是否有缺失及数据是否不完整。

    19.  如权利要求12所述的数据库数据迁移系统,其特征在于,所述第一数据为Oracle数据库,所述第二数据库为Mysql数据库。

    20.  如权利要求12所述的数据库数据迁移系统,其特征在于,所述分布式系统集群为Hadoop,所述分布式文件系统为Hadoop的分布式文件系统。

    关 键 词:
    数据库 数据 迁移 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:数据库数据迁移方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6159187.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03