• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 6
    • 下载费用:30 金币  

    看重庆时时彩开奖结果: 一种异构数据库同步系统中增量数据同步故障的恢复方法.pdf

    关 键 词:
    一种 数据库 同步 系统 增量 数据 故障 恢复 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410132489.8

    申请日:

    2014.04.02

    公开号:

    CN103970834A

    公开日:

    2014.08.06

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 17/30申请公布日:20140806|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140402|||公开
    IPC分类号: G06F17/30; G06F11/14 主分类号: G06F17/30
    申请人: 浙江大学
    发明人: 李莹; 姚祥龙; 尹建伟; 邓水光; 吴健; 吴朝晖
    地址: 310027 浙江省杭州市西湖区浙大路38号
    优先权:
    专利代理机构: 杭州天勤知识产权代理有限公司 33224 代理人: 胡红娟
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410132489.8

    授权公告号:

    ||||||

    法律状态公告日:

    2018.07.20|||2014.09.03|||2014.08.06

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明公开了一种异构数据库同步系统中增量数据同步故障的恢复方法,所述异构数据库同步系统包括至少两个数据库,包括以下步骤:(1)在目的数据库中建立对应的特殊表,每个目的数据库的特殊表用于记录能够与该目的数据库同步的源数据库的同步位置;(2)将目的数据库的事务执行模式设为手动提交模式,同步完毕增量数据后,更新特殊表中的同步位置,然后手动提交增量数据事务;(3)若从源数据库到目的数据库进行增量数据同步时发生故障,则从目的数据库的特殊表中读取源数据库的同步位置,由同步位置开始继续进行从源数据库到目的数据库的增量数据同步。本发明在基本不影响数据库性能的同时,利用数据库事务的原子性进行同步故障的快速恢复。

    权利要求书

    权利要求书
    1.  一种异构数据库同步系统中增量数据同步故障的恢复方法,所述异构数据库同步系统包括至少两个数据库,两个数据库进行增量数据同步时,其中一个为提供增量数据的源数据库,另一个为接收增量数据的目的数据库,其特征在于,包括以下步骤:
    (1)在目的数据库中建立对应的特殊表,每个目的数据库的特殊表用于记录能够与该目的数据库同步的源数据库的同步位置;
    (2)将目的数据库的事务执行模式设为手动提交模式,同步完毕增量数据后,更新特殊表中的同步位置,然后手动提交增量数据事务;
    (3)若从源数据库到目的数据库进行增量数据同步时发生故障,则从目的数据库的特殊表中读取源数据库的同步位置,由同步位置开始继续进行从源数据库到目的数据库的增量数据同步。

    2.  如权利要求1所述的异构数据库同步系统中增量数据同步故障的恢复方法,其特征在于,所述特殊表中至少包含一个同步位置字段。

    3.  如权利要求2所述的异构数据库同步系统中增量数据同步故障的恢复方法,其特征在于,所述同步位置字段的数据类型为varchar。

    4.  如权利要求3所述的异构数据库同步系统中增量数据同步故障的恢复方法,其特征在于,所述特殊表采用标准SQL建立。

    5.  如权利要求4所述的异构数据库同步系统中增量数据同步故障的恢复方法,其特征在于,由同步位置开始继续进行从源数据库到目的数据库的增量数据同步,具体操作为:获取特殊表中记录的源数据库的同步位置,解析该同步位置对应的数据位置,然后从该数据位置开始继续进行从源数据库到目的数据库的增量数据同步。

    说明书

    说明书一种异构数据库同步系统中增量数据同步故障的恢复方法
    技术领域
    本发明涉及数据库同步技术领域,具体涉及一种异构数据库同步系统中增量数据同步故障的恢复方法。
    背景技术
    数据库是IT架构中的一种基础构件,是对数据进行存储、管理的一种有效设施,现在几乎所有的应用都离不开数据库的支持。由于现在海量数据和数据访问地区分布不均衡,单个数据库已经不能承载所有的访问,一般需要在多个不同的地方分别部署一个数据库来提供服务,其中每一个数据库对外界来说都是数据完整和服务完整的,但是事实上每两个数据库之间的数据都是不一致的,所以这些不同地方的数据库之间就需要进行增量数据的同步来保证所有数据库的数据一致性和服务完整性。
    增量数据是指一个数据库在某一段时间之内产生的数据,按照操作类型区分又分为插入数据、删除数据、修改数据,分别对应SQL中insert、delete、update操作,数据库增量同步就是把增量数据从源数据库传输到目的数据库中,以达到源数据库和目的数据库的数据一致性,过程依次如下:获取源数据库的增量数据、传输到目的数据库、在目的数据库中执行SQL语句进行数据载入。
    由于IT设施所处的环境是不可靠的,且硬件、软件、外界不可抗力等各种原因会造成数据库系统处在一个错误的状态而无法运行或者宕机,因此,在增量数据同步过程中会出现故障,当增量数据同步过程重启之后,如何恢复运行中断的增量数据同步是一个问题。
    授权公告号为CN101038591B的专利文献公开了一种数据库同步方 法,用于主用服务器数据库和备用服务器数据库的初始同步,所述主用服务器数据库中设置有包括同步标识号的同步表,该方法包括以下步骤:备用服务器向主用服务器发送初始同步请求;主用服务器根据接收到的所述初始同步请求,在所述同步表中更新同步标识号,并备份所述主用服务器数据库,生成备份文件;备用服务器获取所述更新后的同步标识号和所述备份文件,用所述备份文件恢复备用服务器数据库。
    恢复运行中断的增量数据同步的关键在于记录同步位置信息,采用文件记录同步位置信息是一种通常采用的方法,但是由于文件操作与数据库操作不是同一个原子操作,写文件操作与写数据库操作之间存在很小的时间间隔,在某些极端情况下(比如刚刚写完文件操作还未进行数据库操作时掉电,仍会对数据库的一致性造成破坏,所以如果使用文件记录同步位置,必须设计更加复杂的方法来保证增量数据与同步位置的一致性。
    发明内容
    本发明提供了一种异构数据库同步系统中增量数据同步故障的恢复方法,在基本不影响数据库性能的同时,利用数据库事务的原子性进行同步故障的快速恢复。
    一种异构数据库同步系统中增量数据同步故障的恢复方法,所述异构数据库同步系统包括至少两个数据库,两个数据库进行增量数据同步时,其中一个为提供增量数据的源数据库,另一个为接收增量数据的目的数据库,包括以下步骤:
    (1)在目的数据库中建立对应的特殊表,每个目的数据库的特殊表用于记录能够与该目的数据库同步的源数据库的同步位置;
    (2)将目的数据库的事务执行模式设为手动提交模式,同步完毕增量数据后,更新特殊表中的同步位置,然后手动提交增量数据事务;
    (3)若从源数据库到目的数据库进行增量数据同步时发生故障,则从目的数据库的特殊表中读取源数据库的同步位置,由同步位置开始继续 进行从源数据库到目的数据库的增量数据同步。
    由于数据库事务操作的原子性,可以保证增量数据与同步位置的写入及修改是同一个原子操作,即增量数据与同步位置要么写入都成功、要么写入都不成功。
    所述特殊表采用标准SQL建立。特殊表的名称固定(如datasync),所述特殊表中至少包含一个同步位置字段。特殊表中也可以包含其他字段,用于记录定位源数据库的其他信息,例如源数据库所在主机IP、源数据库端口以及源数据库名称,即特殊表中包含同步位置字段、源数据库所在主机IP、源数据库端口以及源数据库名称字段。
    由于异构数据库同步系统中的各个数据库可能采用不同的标准建立,为了各数据库之间的兼容性,所述特殊表的同步位置字段以及其他所有字段的数据类型为varchar。varchar便于特殊表在所有数据库之间通用。
    建立特殊表时,首先写入一条源数据库的初始数据,初始数据可以为一条数据为“host,port,databasename,-1”的行数据(host为源数据库的主机IP,port为源数据库端口,databasename为源数据库名称)。
    事务执行模式设为手动提交模式,即需要用户手动提交,当增量数据事务执行完毕之后,更新目的数据库对应的特殊表中的记录(按照host、port、databasename定位此条记录),最后手动提交事务,此时整个增量数据事务的数据和更新的同步位置才能够提交到数据库中,使数据库发生变化。
    作为优选,由同步位置开始继续进行从源数据库到目的数据库的增量数据同步,具体操作为:获取特殊表中记录的源数据库的同步位置,解析该同步位置对应的数据位置,然后从该数据位置开始继续进行从源数据库到目的数据库的增量数据同步。
    本发明异构数据库同步系统中增量数据同步故障的恢复方法,在基本不影响数据库性能的同时,利用数据库事务的原子性进行同步故障的快速恢复。
    附图说明
    图1为本发明异构数据库同步系统中增量数据同步故障的恢复方法的流程图。
    具体实施方式
    下面结合附图,对本发明异构数据库同步系统中增量数据同步故障的恢复方法做详细描述。
    本发明适用的异构数据库同步系统包括至少两个数据库,两个数据库进行增量数据同步时,其中一个为提供增量数据的源数据库,另一个为接收增量数据的目的数据库,采用本发明的方法能够在数据库同步发生故障时,对同步过程进行方便快捷地恢复。
    为便于叙述,以下以数据库A和数据库B之间的同步过程为例,详述故障恢复方法,其中数据库A为源数据库,数据库B为目的数据库,将数据库A中的增量数据同步至数据库B,如图1所示,具体包括以下步骤:
    (1)在数据库B中建立一个特殊表B,特殊表B为标准SQL建立的一个名称固定的表,包含同步位置一个字段,并且写入一条初始记录,初始记录为一条数据为“host,port,databasename,-1”的行数据。
    为了异构数据库之间的兼容性,使用varchar作为同步位置字段的数据类型。
    建表SQL语句为:create table sync_position(host varchar(50),portvarchar(50),databasename varchar(50),position_str varchar(50)),写入源数据库的初始记录SQL语句为insert into sync_positionvalues(‘192.168.2.21’,’3306’,’users’,’-1’)。
    (2)数据库B的事务提交模式设为手动提交模式,将数据库A中的增量数据传输至数据库B并执行其中的所有数据,然后更新特殊表B中的同步位置信息(如update sync_position set position_str=’1106’where host=’192.168.2.21’AND port=’3306’ANDdatabasename=’users’),该同步位置记录数据库A中同步到数据库B中的数据位置信息,最后提交增量数据事务。
    数据库B除了能与数据库A同步之外,数据库B还可能与其他数据库之间存在同步关系,例如,数据库B还可以与数据库C和数据库D同步,那么数据库B的特殊表中将依据数据库的不同而做不同的同步位置记录,所以特殊表中除了同步位置字段,还包括主机IP、端口以及数据库名称字段等定位源数据库字段,所有字段的数据类型均采用varchar。
    (3)若数据库A与数据库B同步的过程中出现故障导致中断,重启数据库同步时,读取数据库B中特殊表B记录的同步位置信息,解析该同步位置信息对应的数据库A中的数据位置,然后从该数据位置开始继续进行从数据库A到数据库B的增量数据同步。
    以上公开的仅为本发明的具体实施例,但是本发明并非局限于此,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改动和变型均应属于本发明要求的?;し段П;つ?。

    关于本文
    本文标题:一种异构数据库同步系统中增量数据同步故障的恢复方法.pdf
    链接地址://www.4mum.com.cn/p-6143910.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 七星彩三字现规则 飞艇1000赢3万公式 500元 上海时时票开奖结果查询双色球 长期买六肖的方法天涯 12选5技巧稳赚高手 pk10在线精准人工计划 福彩3d猜大小中奖概率 秒速时时欢迎使用手机版 时时彩小概率稳赚 3D最近100期走势图开门彩 新疆时时玩法金额 彩名堂计划软件2.0 时时彩平刷稳赚方法 双色球周四走势图 pc蛋蛋有赢的吗 吉林时时豹子预测