• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    重庆时时彩下注模拟器: 增量数据采集的方法和装置.pdf

    关 键 词:
    增量 数据 采集 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201010122947.1

    申请日:

    2010.03.01

    公开号:

    CN102193938A

    公开日:

    2011.09.21

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 17/30申请公布日:20110921|||实质审查的生效IPC(主分类):G06F 17/30申请日:20100301|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 深圳市金蝶中间件有限公司
    发明人: 陈慕冰
    地址: 518057 广东省深圳市南山区高新区中区麻雀岭工业区M-6栋第二层1、3、4区
    优先权:
    专利代理机构: 北京三高永信知识产权代理有限责任公司 11138 代理人: 何文彬
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201010122947.1

    授权公告号:

    ||||||

    法律状态公告日:

    2014.10.29|||2011.11.23|||2011.09.21

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明公开了一种增量数据采集的方法和装置,属于数据库领域。该方法包括:每隔预设时间检查缓存中与该原始表相应的信息;如果该数据中存在进行过预设目标操作的增量数据,则记录该增量数据?;构艘恢肿爸?,该装置包括:检查???、记录???、建立??楹痛娲⒛??。本发明不需要侵入原始表即可进行增量数据采集,节省数据库的资源,且当数据库操作频繁时,由于系统可以根据运行情况预设增量数据采集的间隔时间,使得系统可自行选择时机进行增量数据采集,可均衡数据库负载,提高了用户体验。

    权利要求书

    1.一种增量数据采集的方法,其特征在于,包括:每隔预设时间检查缓存中与所述原始表相应的信息;如果所述数据中存在进行过预设目标操作的增量数据,则记录所述增量数据。2.根据权利要求1所述的方法,其特征在于,每隔预设时间检查缓存中与所述原始表相应的信息具体包括:每隔预设时间检查缓存中与所述原始表相应的版本信息,所述版本信息中包含所述预设时间内所做的操作和所述操作发生的时间。3.根据权利要求2所述的方法,其特征在于,所述检查通过调用flashback?query完成。4.根据权利要求1所述的方法,其特征在于,记录所述增量数据之后还包括:将所述增量存储到所述增量数据备份表中。5.根据权利要求4所述的方法,其特征在于,将所述增量存储到所述增量数据备份表中之前还包括:根据原始表和预设的目标操作建立增量数据备份表。6.一种增量数据采集的装置,其特征在于,包括:检查???,用于每隔预设时间检查缓存中与所述原始表相应的信息;记录???,用于如果所述数据中存在进行过预设目标操作的增量数据,则记录所述增量数据。7.根据权利要求6所述的装置,其特征在于,所述检查??榫咛逵糜诿扛粼ど枋奔浼觳榛捍嬷杏胨鲈急硐嘤Φ陌姹拘畔?,所述版本信息中包含所述预设时间内所做的操作和所述操作发生的时间。8.根据权利要求7所述的装置,其特征在于,所述检查通过调用flashback?query完成。9.根据权利要求6所述的装置,其特征在于,所述装置还包括:存储???,用于将所述增量存储到所述增量数据备份表中。10.根据权利要求9所述的装置,其特征在于,所述装置还包括:建立???,用于根据原始表和预设的目标操作建立增量数据备份表。

    说明书

    增量数据采集的方法和装置

    技术领域

    本发明涉及数据库领域,特别涉及一种增量数据采集的方法和装置。

    背景技术

    在数据库中,经?;岫栽际萁胁迦?、删除或更新等操作,进行这些操作的对象可称为增量数据,在某些情况下,需要将一些原始表的增量数据同步到其它一些表中,使这些表的数据保持一致;还有一些情况,需要详细了解一些原始表的变化,用于数据分析和挖掘,在上述情况下一般会进行增量数据采集。

    现有技术中的增量数据采集一般使用以下两种方法:

    第一种方法是基于Trigger的增量数据采集,当数据库中发生插入、更新或删除的操作时,数据库会自动执行预定义的预存程序,侵入原始表,将原始表中的增量数据采集到备份表中;

    第二种方法是基于时间戳字段的增量数据采集,是查询原始表数据中代表被操作时间的时间戳字段,将指定时间段中产生的增量数据采集到备份表中。

    在对现有技术进行分析后,发明人发现现有技术至少具有如下缺点:

    上述两种方式都是对数据库中的原始表进行直接操作,需要侵入原始表进行采集,影响系统的进程,用户体验差,

    其中,第一种方式在操作频繁时会增加数据库负荷,对系统造成性能影响。

    第二种方式要求原始表必须具有时间戳字段,局限性大,并且对进行了删除操作的增量无法进行记录。

    发明内容

    本发明实施例提供了一种增量数据采集的方法和装置。所述技术方案如下:

    一种增量数据采集的方法,包括:

    每隔预设时间检查缓存中与所述原始表相应的信息;

    如果所述数据中存在进行过预设目标操作的增量数据,则记录所述增量数据。

    每隔预设时间检查缓存中与所述原始表相应的信息具体包括:

    每隔预设时间检查缓存中与所述原始表相应的版本信息,所述版本信息中包含所述预设时间内所做的操作和所述操作发生的时间。

    所述检查通过调用flashback?query完成。

    记录所述增量数据之后还包括:

    将所述增量存储到所述增量数据备份表中。

    将所述增量存储到所述增量数据备份表中之前还包括:根据原始表和预设的目标操作建立增量数据备份表。

    一种增量数据采集的装置,包括:

    检查???,用于每隔预设时间检查缓存中与所述原始表相应的信息;

    记录???,用于如果所述数据中存在进行过预设目标操作的增量数据,则记录所述增量数据。

    所述检查??榫咛逵糜诿扛粼ど枋奔浼觳榛捍嬷杏胨鲈急硐嘤Φ陌姹拘畔?,所述版本信息中包含所述预设时间内所做的操作和所述操作发生的时间。

    所述检查通过调用flashback?query完成。

    所述装置还包括:

    存储???,用于将所述增量存储到所述增量数据备份表中。

    所述装置还包括:

    建立???,用于根据原始表和预设的目标操作建立增量数据备份表。

    本发明实施例提供的技术方案的有益效果是:

    通过对缓存中的数据进行监控以对原始表进行增量数据采集,不需要侵入原始表即可进行增量数据采集,节省数据库的资源,且当数据库操作频繁时,由于系统可以根据运行情况预设增量数据采集的间隔时间,使得系统可自行选择时机进行增量数据采集,可均衡数据库负载,提高了用户体验。

    附图说明

    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

    图1是本发明实施例1提供的一种增量数据采集的方法的流程图;

    图2是本发明实施例2提供的一种增量数据采集的方法的流程图;

    图3是本发明实施例3提供的一种增量数据采集的装置的示意图。

    具体实施方式

    为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

    实施例1

    为了在进行增量数据采集时提高系统性能,节省数据库资源,本发明提供了一种增量数据采集的方法,包括:

    101:每隔预设时间检查缓存中与该原始表相应的信息;

    102:如果该数据中存在进行过预设目标操作的增量数据,则记录该增量数据。

    通过对缓存中的数据进行监控以对原始表进行增量数据采集,不需要侵入原始表即可进行增量数据采集,节省数据库的资源,且当数据库操作频繁时,由于系统可以根据运行情况预设增量数据采集的间隔时间,使得系统可自行选择时机进行增量数据采集,可均衡数据库负载,提高了用户体验。

    实施例2

    为了在进行增量数据采集时提高系统性能,节省数据库资源,本发明提供了一种增量数据采集的方法,具体包括:

    201:根据需要进行增量数据采集的原始表和预设的目标操作建立增量数据备份表;

    其中,该原始表可以是由系统设定的,也可以是由用户指定的,本发明实施例对此不做具体限定。

    其中,该预设的目标操作可以为对原始表的字段进行的增加、删除或修改等操作。

    202:每隔预设时间检查缓存中记录的该原始表相应的版本信息;

    其中,该预设时间是系统根据自身的运行状态设定的,当系统繁忙时,该预设时间可以调整为稍长,当系统空闲时,该预设时间可以调整为稍短。

    具体地,该检查的过程可以通过调用flashback?query完成,该flashback功能为数据库的功能之一,Flashback是Oracle自9i就开始提供的一项特性,在9i中利用Oracle查询多版本一致的特点,实现从回滚段中读取一定时间内操作过的表数据,可用来进行数据比对,或者修正意外提交造成的错误数据,该项特性也被称为Flashback?Query。

    其中,该版本信息用于对过去一段时间内提交的数据进行监控,该版本信息包含预设时间内所做的操作和该操作发生的时间或SCN(System?Change?Number,系统改变号)。

    SCN在Oracle中理解为一个内部同步时钟,它是数据库中非常重要的一个数据结构。它定义数据库在某个确切时刻提交的版本。在事务提交时,它被赋予一个唯一的标示事务的SCN。

    203:如果版本信息有变化,则分析该版本信息;

    具体地,分析版本信息时,可以查看用以记录操作的列的内容,在数据库中,该列可以为:VERSIONS_STARTSCN/VERSIONS_STARTTIME,该列用来记录操作时的SCN或时间,如果为空,表示该行记录是在查询范围外创建的;

    还可以查看VERSIONS_ENDSCN/VERSIONS_ENDTIME,该列用来记录失效时的SCN或时间,如果为空,说明记录当前时间在当前表内存在,或者已经被删除了,可以配合着VERSIONS_OPERATION列来看,如果VERSIONS_OPERATION列值为D,说明该列已被删除,如果该列为空,则说明记录在这段时间无操作。

    204:判断该版本信息中是否有进行过预设的目标操作的增量数据,如果是,执行步骤205,如果否,返回执行步骤202;

    205:记录该增量数据;

    具体地,该增量数据是从版本信息中提取出来的,本领域技术人员可以获知,该提取方法可以有多种,在此不做赘述。

    206:根据所记录的增量数据,建立数据库存储过程;

    具体地,在数据库中一般将这个过程利用建立procedure来实现建立数据库存储过程,在建立该存储过程时,可以根据用户的要求或系统的设置来选择所要存储的内容,确定该内容的范围,例如,目标操作的内容为工号为1-50的员工,在建立存储过程时,可划定一个存储的范围或对存储的内容进行限定,该范围可以为工号为1-25的员工等,该对存储的内容进行限定可以为工号为1-25的女员工等。

    207:根据数据库存储过程,将该增量数据存储到已建立的增量数据备份表中。

    需要说明的是,该增量数据备份表是用来表示增量数据及对数据所进行的操作的表格,没有具体的规定格式,备份表的形式可以根据数据库的设置而变化。

    以调用方式为Flashback?Query为例进行说明,例如:

    有一张原始表ORGIN_TABLE,字段分别为(ID?NUMBER,NAME?VARCHAR(20),SEXVARCHAR(10)),现对此表进行删除(D)、插入(I)、更新(U)操作,将删除、插入、更新操作设为目标操作,根据目标操作和原始表建立增量数据备份表。

    数据操作SQL如下:

    SQL>delete?from?orgin_table;

    SQL>commit;

    SQL>insert?into?orgin_table?values(1,′name1′,′male′);

    SQL>commit;

    SQL>insert?into?orgin_table?values(2,′name1′,′male′);

    SQL>commit;

    SQL>update?orgin_table?set?name=′name2′,sex=′female′where?id=2;

    SQL>commit;

    根据以上存于缓存中的信息可知,该原始表进行了指定的目标操作;

    此时再查询SCN号:

    SQL>select?dbms_flashback.get_system_change_number?from?dual;

    得到如下结果:

    ??GET_SYSTEM_CHANGE_NUMBER
    ??1213530

    此时便可对以上数据库操作的变更数据提取出来:

    SQL>select?VERSIONS_STARTSCN,to_char(VERSIONS_STARTTIME,′yyyy-mm-ddhh24:mi:ss′)VERSIONS_STARTTIME,VERSIONS_OPERATION,id,name,sex?fromorgin_table?versions?between?scn?1212530?and?1213530;

    得到的结果即为采集到的增量数据,列表如下:

    ?VERSIONS_ST
    ?ARTSCN
    ??VERSIONS_STA
    ??RTTIME
    ??VERSIONS_OPE
    ??RATION
    ??id

    ??name

    ??sex

    ?1213529

    ??2009-12-18
    ??10:17:22
    ??U

    ??2

    ??name2

    ??female

    ?1213526

    ??2009-12-18
    ??10:17:22
    ??I

    ??2

    ??name1

    ??male

    ?1213523
    ??2009-12-18
    ??I
    ??1
    ??name1
    ??male


    ??10:17:19




    ??1213521

    ??2009-12-18
    ??10:17:16
    ??D

    ??2

    ??name2

    ??female

    ??1213521

    ??2009-12-18
    ??10:17:16
    ??D

    ??1

    ??name1

    ??male

    通过对缓存中的数据进行监控以对原始表进行增量数据采集,不需要侵入原始表即可进行增量数据采集,节省数据库的资源,且当数据库操作频繁时,由于系统可以根据运行情况预设增量数据采集的间隔时间,使得系统可自行选择时机进行增量数据采集,可均衡数据库负载,提高了用户体验。

    实施例3

    为了在进行增量数据采集时提高系统性能,节省数据库资源,本发明提供了一种增量数据采集的装置,参见图3,该装置包括:

    检查???01,用于每隔预设时间检查缓存中与该原始表相应的信息;

    该检查???01具体用于每隔预设时间检查缓存中与该原始表相应的版本信息,该版本信息中包含该预设时间内所做的操作和该操作发生的时间。

    其中,该检查通过调用flashback?query完成。

    记录???02,用于如果该数据中存在进行过预设目标操作的增量数据,则记录该增量数据。

    该装置还包括:

    存储???03,用于将该增量存储到该增量数据备份表中。

    该装置还包括:

    建立???00,用于根据原始表和预设的目标操作建立增量数据备份表。

    通过对缓存中的数据进行监控以对原始表进行增量数据采集,不需要侵入原始表即可进行增量数据采集,节省数据库的资源,且当数据库操作频繁时,由于系统可以根据运行情况预设增量数据采集的间隔时间,使得系统可自行选择时机进行增量数据采集,可均衡数据库负载,提高了用户体验。

    本实施例提供的装置,与方法实施例属于同一构思,其具体实现过程详见方法实施例,在此不再赘述。

    本发明实施例提供的上述技术方案的全部或部分可以通过程序指令相关的硬件来完成,所述程序可以存储在可读取的存储介质中,该存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

    以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的?;し段е?。

    关于本文
    本文标题:增量数据采集的方法和装置.pdf
    链接地址://www.4mum.com.cn/p-5865174.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 秒速时时规律2017 时时彩定位胆稳赚计划 微信夺宝改单号器 精准6肖12码 网站赌博龙虎先赢后输 广东11选5计划软件免费版 幸运飞艇7码怎么搞 上海快三怎么玩稳赚 北京pk10基本走势图360 安徽时时计划软件手机版下载手机版下载手机版 pk10推荐计划手机软件 四川时时开奖结果 云南时时走势20选5走势图 玩时时彩龙虎怎么稳赚 定位胆8码倍投表 比例投注法可以盈利吗