• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩技巧十年: 数据增量处理的方法和装置.pdf

    关 键 词:
    数据 增量 处理 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201510654209.4

    申请日:

    2015.10.10

    公开号:

    CN106570024A

    公开日:

    2017.04.19

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20151010|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 北京国双科技有限公司
    发明人: 洪超
    地址: 100086 北京市海淀区双榆树小区知春路76号翠宫饭店8层A间
    优先权:
    专利代理机构: 北京鼎佳达知识产权代理事务所(普通合伙) 11348 代理人: 王伟锋;刘铁生
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510654209.4

    授权公告号:

    |||

    法律状态公告日:

    2017.05.17|||2017.04.19

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种数据增量处理的方法和装置,涉及互联网技术领域,能够解决在处理数据仓库与SSAS数据不一致时,处理效率低的问题。本发明的方法包括:在进行本次数据自动处理之前,获取第一数据库中记录的最近一次数据自动处理的处理标识,处理标识包括时间标识和位置标识;从第一数据库的元数据中获取时间字段;判断时间标识中的内容与时间字段中的内容是否相同;若判断结果为相同,则根据位置标识进行增量处理;若判断结果为不同,则对待数据自动处理对应的分区进行全处理。本发明适用于SSAS从数据仓库中抽取增量数据的场景中。

    权利要求书

    1.一种数据增量处理的方法,其特征在于,所述方法包括:
    在进行本次数据自动处理之前,获取第一数据库中记录的最近一次数
    据自动处理的处理标识,所述数据自动处理为周期性将第二数据库中的数
    据更新到所述第一数据库中,所述数据自动处理为增量处理或全处理,所
    述处理标识包括时间标识和位置标识,所述时间标识用于表征数据自动处
    理完成时的时间,所述位置标识用于表征数据自动处理完成后所述第二数
    据库中最后一行数据的位置;
    从所述第一数据库的元数据中获取时间字段,所述时间字段用于记录
    最近一次对所述第一数据库进行数据处理完成时的时间;
    判断所述时间标识中的内容与所述时间字段中的内容是否相同;
    若判断结果为相同,则根据所述位置标识进行增量处理,所述增量处
    理为将所述第二数据库中的增量数据导入到所述第一数据库中;
    若判断结果为不同,则对待数据自动处理的分区进行全处理,所述全
    处理为删除所述第一数据库中待处理区域内的全部数据,并将所述第二数
    据库中对应所述区域的全部数据导入到所述区域中。
    2.根据权利要求1所述的方法,其特征在于,在所述从所述第一数据
    库的元数据中获取时间字段之前,所述方法进一步包括:
    检测所述处理标识是否为与待数据自动处理的分区对应的处理标识;
    所述从所述第一数据库的元数据中获取时间字段,包括:
    若所述处理标识为与所述分区对应的处理标识,则从所述第一数据库
    的元数据中获取时间字段。
    3.根据权利要求2所述的方法,其特征在于,若所述处理标识不是与
    所述分区对应的处理标识,则所述方法进一步包括:
    对所述分区进行全处理。
    4.根据权利要求2所述的方法,其特征在于,所述检测所述处理标识
    是否为与待数据自动处理的分区对应的处理标识,包括:
    检测所述处理标识是否位于所述分区的注解中。
    5.根据权利要求1所述的方法,其特征在于,在对所述分区进行本次
    数据自动处理后,所述方法进一步包括:
    获取本次数据自动处理完成时的时间,并将所述时间标识中的内容更
    改为所述本次数据自动处理完成时的时间;
    获取本次数据自动处理完成时所述第二数据库中最后一行数据的位
    置,并将所述位置标识中的内容更改为所述本次数据自动处理完成时所述
    第二数据库中最后一行数据的位置。
    6.一种数据增量处理的装置,其特征在于,所述装置包括:
    获取单元,用于在进行本次数据自动处理之前,获取第一数据库中记
    录的最近一次数据自动处理的处理标识,所述数据自动处理为周期性将第
    二数据库中的数据更新到所述第一数据库中,所述数据自动处理为增量处
    理或全处理,所述处理标识包括时间标识和位置标识,所述时间标识用于
    表征数据自动处理完成时的时间,所述位置标识用于表征数据自动处理完
    成后所述第二数据库中最后一行数据的位置;
    所述获取单元,还用于从所述第一数据库的元数据中获取时间字段,
    所述时间字段用于记录最近一次对所述第一数据库进行数据处理完成时的
    时间;
    判断单元,用于判断所述时间标识中的内容与所述时间字段中的内容
    是否相同;
    处理单元,用于当所述判断单元的判断结果为相同时,根据所述位置
    标识进行增量处理,所述增量处理为将所述第二数据库中的增量数据导入
    到所述第一数据库中,当所述判断单元的判断结果为不同时,对待数据自
    动处理的分区进行全处理,所述全处理为删除所述第一数据库中待处理区
    域内的全部数据,并将所述第二数据库中对应所述区域的全部数据导入到
    所述区域中。
    7.根据权利要求6所述的装置,其特征在于,所述装置进一步包括:
    检测单元,用于在所述获取单元从所述第一数据库的元数据中获取时
    间字段之前,检测所述处理标识是否为与待数据自动处理的分区对应的处
    理标识;
    所述获取单元,还用于当所述检测单元的检测结果为所述处理标识为
    与所述分区对应的处理标识时,从所述第一数据库的元数据中获取时间字
    段。
    8.根据权利要求7所述的装置,其特征在于,所述处理单元,还用于
    当所述检测单元的检测结果为所述处理标识不是与所述分区对应的处理标
    识时,对所述分区进行全处理。
    9.根据权利要求7所述的装置,其特征在于,所述检测单元,用于检
    测所述处理标识是否位于所述分区的注解中。
    10.根据权利要求6所述的装置,其特征在于,所述获取单元,还用
    于在所述处理单元对所述分区进行本次数据自动处理后,获取本次数据自
    动处理完成时的时间,以及所述第二数据库中最后一行数据的位置;
    所述装置进一步包括:
    更改单元,用于将所述时间标识中的内容更改为所述获取单元获取的
    所述本次数据自动处理完成时的时间,以及将所述位置标识中的内容更改
    为所述本次数据自动处理完成时所述第二数据库中最后一行数据的位置。

    说明书

    数据增量处理的方法和装置

    技术领域

    本发明涉及互联网技术领域,尤其涉及一种数据增量处理的方法和装
    置。

    背景技术

    数据仓库用于存储数据,数据分析系统用于分析数据库或者数据仓库
    中的数据。其中,常用的数据分析系统为SSAS(Sql Server Analysis Service,
    数据库分析服务)。

    在实际应用中,数据仓库中的数据会实时更新(即增加新的数据),
    SSAS会周期性的进行增量处理,即周期性地从数据仓库中抽取最新的数据
    保存在SSAS中。然而,在SSAS进行本次增量处理之后、下次增量处理之
    前,管理人员有时需要对最新的数据进行分析,所以会手动对SSAS进行全
    处理,即先将当前SSAS中存储的所有数据删除,再抽取数据仓库中的所有
    数据存储到SSAS中,以便在保证SSAS中数据不重复的情况下,获得数据
    仓库中的最新数据。但是,这种人为进行全处理的操作却给SSAS增量处理
    带来了问题,即在SSAS进行下次增量处理后,会产生部分重复数据。例如,
    SSAS增量处理的周期为1天,本次增量处理的时间为1月1日8:00,则下
    次增量处理的时间为1月2日8:00,然而在1月1日19:00管理人员对SSAS
    进行了全处理操作,从而将1月1日8:00至19:00时间段内的数据也存储
    在了SSAS中。到年1月2日8:00时,SSAS会进行增量处理,即将1月1
    日8:00至1月2日8:00时间段内的数据存储在SSAS中。此时,对于1月
    1日8:00至19:00时间段内的数据在SSAS中存储了两遍,从而造成数据仓
    库中的数据与SSAS中的数据不一致的现象。

    现有技术中,当发现有人为处理时,会将下次增量处理换成对整个
    SSAS进行全处理操作,以保证数据仓库中数据与SSAS中数据的一致性。
    但是,由于数据仓库中的数据量较大,所以对整个SSAS进行一次全处理操
    作效率较低。

    发明内容

    有鉴于此,本发明提供一种数据增量处理的方法和装置,能够解决在
    处理数据仓库与SSAS数据不一致时,处理效率低的问题。

    依据本发明一个方面,提供了一种数据增量处理的方法,所述方法包
    括:

    在进行本次数据自动处理之前,获取第一数据库中记录的最近一次数
    据自动处理的处理标识,所述数据自动处理为周期性将第二数据库中的数
    据更新到所述第一数据库中,所述数据自动处理为增量处理或全处理,所
    述处理标识包括时间标识和位置标识,所述时间标识用于表征数据自动处
    理完成时的时间,所述位置标识用于表征数据自动处理完成后所述第二数
    据库中最后一行数据的位置;

    从所述第一数据库的元数据中获取时间字段,所述时间字段用于记录
    最近一次对所述第一数据库进行数据处理完成时的时间;

    判断所述时间标识中的内容与所述时间字段中的内容是否相同;

    若判断结果为相同,则根据所述位置标识进行增量处理,所述增量处
    理为将所述第二数据库中的增量数据导入到所述第一数据库中;

    若判断结果为不同,则对待数据自动处理的分区进行全处理,所述全
    处理为删除所述第一数据库中待处理区域内的全部数据,并将所述第二数
    据库中对应所述区域的全部数据导入到所述区域中。

    依据本发明另一个方面,提供了一种数据增量处理的装置,所述装置
    包括:

    获取单元,用于在进行本次数据自动处理之前,获取第一数据库中记
    录的最近一次数据自动处理的处理标识,所述数据自动处理为周期性将第
    二数据库中的数据更新到所述第一数据库中,所述数据自动处理为增量处
    理或全处理,所述处理标识包括时间标识和位置标识,所述时间标识用于
    表征数据自动处理完成时的时间,所述位置标识用于表征数据自动处理完
    成后所述第二数据库中最后一行数据的位置;

    所述获取单元,还用于从所述第一数据库的元数据中获取时间字段,
    所述时间字段用于记录最近一次对所述第一数据库进行数据处理完成时的
    时间;

    判断单元,用于判断所述时间标识中的内容与所述时间字段中的内容
    是否相同;

    处理单元,用于当所述判断单元的判断结果为相同时,根据所述位置
    标识进行增量处理,所述增量处理为将所述第二数据库中的增量数据导入
    到所述第一数据库中,当所述判断单元的判断结果为不同时,对待数据自
    动处理的分区进行全处理,所述全处理为删除所述第一数据库中待处理区
    域内的全部数据,并将所述第二数据库中对应所述区域的全部数据导入到
    所述区域中。

    借由上述技术方案,本发明提供的数据增量处理的方法和装置,能够
    在进行本次数据自动处理之前,先获取第一数据库中记录的最近一次数据
    自动处理的处理标识,以及当前第一数据库的元数据中的时间字段,并判
    断处理标识中的时间标识的内容是否与时间字段的内容相同;若相同,则
    根据处理标识中的位置标识进行增量处理,若不相同,则对待数据自动处
    理的分区进行全处理。与现有技术中直接将下次增量处理更改为对整个
    SSAS的全处理相比,本发明通过在进行本次数据自动处理之前,先判断上
    次数据自动处理的时间是否与第一数据库的元数据中记录的最近一次数据
    处理的时间相同,当两者相同时,才对第一数据库中的当前分区进行增量
    处理,当两者不同时,只对当前分区进行全处理,而不对历史分区进行全
    处理,从而在保证第一数据库与第二数据库数据一致的情况下,提高了数
    据自动处理的效率。

    上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的
    技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和
    其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

    附图说明

    通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于
    本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目
    的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符
    号表示相同的部件。在附图中:

    图1示出了本发明实施例提供的一种数据增量处理的方法的流程图;

    图2示出了本发明实施例提供的一种数据增量处理的装置的组成框图;

    图3示出了本发明实施例提供的另一种数据增量处理的装置的组成框
    图。

    具体实施方式

    下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显
    示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开
    而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更
    透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术
    人员。

    本发明实施例提供了一种数据增量处理的方法,如图1所示,所述方
    法,包括:

    101、在进行本次数据自动处理之前,获取第一数据库中记录的最近一
    次数据自动处理的处理标识。

    其中,数据自动处理为周期性将第二数据库中的数据更新到第一数据
    库中,且数据自动处理为增量处理或全处理。其中,增量处理为将第二数
    据库中的增量数据导入到第一数据库中,全处理为删除第一数据库中待处
    理区域内的全部数据,并将第二数据库中对应区域的全部数据导入到区域
    中。由此可知,增量处理与全处理的区别在于,全处理需要删除待处理区
    域内的历史数据,而增量处理不需要。

    需要说明的是,在实际应用中,为了便于对数据库进行扫描、分析等
    操作,常常将数据库分为不同分区来分别管理,所以在对第一数据库进行
    数据自动处理时,是对不同的分区依次完成处理的(一般一次处理只对应
    一个分区,一个分区可进行多次处理)。也就是说,本发明实施例中的每一
    次数据自动处理仅针对第一数据库的一个分区(需要处理的分区),而不用
    针对整个第一数据库进行处理。在实际应用中,最常用的分区方式是按照
    时序来划分,

    此外,处理标识包括时间标识和位置标识,时间标识用于表征数据自
    动处理完成时的时间,位置标识用于表征数据自动处理完成后第二数据库
    中最后一行数据的位置。在进行本次数据自动处理之前,需要从第一数据
    库本地获取最近一次(即上次)数据自动处理的处理标识,然后根据该处
    理标识来判断本次数据自动处理的处理方式是增量处理,还是全处理。

    在实际应用中,由于数据分析系统往往需要周期性的从数据仓库中抽
    取最新的数据,并对最新的数据进行分析,所以第一数据仓库可以为数据
    库分析系统(如SSAS(Sql Server Analysis Service,数据库分析服务)),第
    二数据库可以为数据仓库。SSAS周期性地从数据仓库的事实表中抽取增量
    数据,并且在获取数据仓库中最后一行数据的位置时,可以直接获取事实
    表中主键值的最大值,将该主键值的最大值作为位置标识。其中,主键值
    用于唯一标识数事实表中的一行,最大的主键值用于标识事实表的最后一
    行。

    102、从第一数据库的元数据中获取时间字段。

    其中,元数据为描述数据的数据,即描述数据的各个属性。元数据中
    包括时间字段,该时间字段用于记录最近一次对第一数据库进行数据处理
    完成时的时间。其中,该最近一次数据处理可能为人为对整个第一数据库
    进行全处理,也可能为终端对第一数据库进行数据自动处理。也就是说,
    无论是人为处理,还是自动处理,只要对第一数据库进行了处理,终端都
    会将时间字段中的内容更改为本次处理完成时的时间。

    103、判断时间标识中的内容与时间字段中的内容是否相同。

    在获得最近一次数据自动处理的时间标识以及当前第一数据库的元数
    据中的时间字段后,将时间标识中的内容与时间字段中的内容进行比较,
    判断两者是否相同。若判断结果为相同,则确定上次数据处理(即最近一
    次数据处理)为数据自动处理,即在上次数据自动处理与本次数据自动处
    理之间不存在人为处理;若判断结果为不同,则确定上次数据处理为人为
    处理,即在上次数据自动处理与本次数据自动处理之间存在人为处理。

    示例性的,已知数据自动处理的周期为1天,若最近一次数据自动处
    理的时间标识中的内容为2015年3月1日10:10:20,当前第一数据库的元
    数据中的时间字段中的内容为2015年3月1日23:25:50,则可以确定在上
    次数据自动处理(最近一次数据自动处理)与本次数据自动处理(即2015
    年3月2日10:10:20)之间,存在人为对整个第一数据库进行全处理的操作。
    而若当前第一数据库的元数据中的时间字段中的内容为2015年3月1日
    10:10:20,则可以确定最近一次数据处理为数据自动处理,即在上次数据自
    动处理与本次数据自动处理之间,不存在人为对整个第一数据库进行全处
    理的操作。

    104、若判断结果为相同,则根据位置标识进行增量处理。

    当判断时间标识中的内容与时间字段中的内容相同时,可以确定最近
    一次数据处理为数据自动处理,即在上次数据自动处理与本次数据自动处
    理之间并没有人为对整个第一数据库进行全处理操作,所以可以先在第二
    数据库中查找到对应位置标识的目标数据,再将目标数据之后的数据导入
    到第一数据库中,从而实现增量处理。

    示例性的,当位置标识用行数表示时,若获得的最近一次数据自动处
    理的位置标识中的内容为1001行,则在第二数据库中找到第1001行数据,
    再将第1002行以及之后的数据导入到第一数据库的最后一行数据之后,从
    而实现增量处理。

    105、若判断结果为不同,则对待数据自动处理的分区进行全处理。

    当判断时间标识中的内容与时间字段中的内容不同时,可以确定在上
    次数据自动处理与本次数据自动处理之间存在人为对整个第一数据库进行
    全处理操作,因此不可以根据位置标识进行增量处理,而需要对本次需要
    进行数据自动处理的分区进行全处理。

    示例性的,若当前是2015年8月,则现在需要将8月份产生的数据周
    期性地从第二数据库导入到第一数据库库的第8分区中。若得知时间标识
    中的内容与时间字段中的内容不同,则只需要对第8分区进行全处理,而
    无需对前7个分区进行全处理,从而在保证第一数据库与第二数据库数据
    一致的情况下,提高了数据自动处理的效率。

    本发明实施例提供的数据增量处理的方法,能够在进行本次数据自动
    处理之前,先获取第一数据库中记录的最近一次数据自动处理的处理标识,
    以及当前第一数据库的元数据中的时间字段,并判断处理标识中的时间标
    识的内容是否与时间字段的内容相同;若相同,则根据处理标识中的位置
    标识进行增量处理,若不相同,则对待数据自动处理的分区进行全处理。
    与现有技术中直接将下次增量处理更改为对整个SSAS的全处理相比,本发
    明通过在进行本次数据自动处理之前,先判断上次数据自动处理的时间是
    否与第一数据库的元数据中记录的最近一次数据处理的时间相同,当两者
    相同时,才对第一数据库中的当前分区进行增量处理,当两者不同时,只
    对当前分区进行全处理,而不对历史分区进行全处理,从而在保证第一数
    据库与第二数据库数据一致的情况下,提高了数据自动处理的效率。

    进一步的,在实际应用中,本次数据自动处理要处理的分区可能是一
    个新的分区,而最近一次数据自动处理所处理的分区是上一个分区。对于
    上述情况,可以采用如下改进方案:在从第一数据库的元数据中获取时间
    字段之前,先检测处理标识是否为与待数据自动处理的分区对应的处理标
    识。若检测结果为是,则从第一数据库的元数据中获取时间字段;若检测
    结果为否,则无需从第一数据库的元数据中获取时间字段,直接对待数据
    自动处理的分区进行全处理即可。

    由于当待数据自动处理的分区是一个新的分区,即第一次要对该分区
    进行数据自动处理时,无论该分区有无数据,只要对该分区进行全处理就
    可以保证第一数据库与第二数据库中数据的一致性。因此,当确定处理标
    识不是对应该分区的处理标识时,直接对该分区进行全处理即可,并且通
    过这种方式可以进一步提高数据自动处理的效率。

    进一步的,处理标识可以保存在每个分区的注解中,也可以保存在其
    他任何地方。因此,当处理标识保存在分区的注解中时,检测处理标识是
    否为与待数据自动处理的分区对应的处理标识的具体实现方式可以为:检
    测处理标识是否位于待数据自动处理的分区的注解当中。

    需要说明的是,当将处理标识保存在其他存储区域时,为了明确处理
    标识与分区的对应关系,可以为每个处理标识添加一个分区标识,从而在
    获取最近一次数据自动处理的处理标识后,可以通过分区标识来判断该处
    理标识是否为待数据自动处理的分区对应的处理标识。

    进一步的,在进行完本次数据自动处理后,需要保存本次数据自动处
    理的处理标识,以作为下次进行数据自动处理的依据。由于在进行完本次
    数据自动处理后,上次的数据自动处理的处理标识就无用了,所以可以直
    接将处理标识中的内容由上次的内容更改为本次的内容。

    具体的,在完成本次数据自动处理后,需要获取本次数据自动处理完
    成时的时间,并将时间标识中的内容更改为本次数据自动处理完成时的时
    间;还需要获取本次数据自动处理完成时第二数据库中最后一行数据的位
    置,并将位置标识中的内容更改为本次数据自动处理完成时第二数据库中
    最后一行数据的位置。

    需要说明的是,当处理标识保存在分区的注解中时,若本次数据自动
    处理所处理的分区是一个新的分区(即之前没有进行过处理),则直接将本
    次数据自动处理完成时的时间和第二数据库中最后一行数据的位置保存在
    该分区的注解中。

    进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一
    种数据增量处理的装置,如图2所示,该装置包括:获取单元、判断单元
    和处理单元。其中,

    获取单元21,用于在进行本次数据自动处理之前,获取第一数据库中
    记录的最近一次数据自动处理的处理标识,数据自动处理为周期性将第二
    数据库中的数据更新到第一数据库中,数据自动处理为增量处理或全处理,
    处理标识包括时间标识和位置标识,时间标识用于表征数据自动处理完成
    时的时间,位置标识用于表征数据自动处理完成后第二数据库中最后一行
    数据的位置;

    获取单元21,还用于从第一数据库的元数据中获取时间字段,时间字
    段用于记录最近一次对第一数据库进行数据处理完成时的时间;

    判断单元22,用于判断时间标识中的内容与时间字段中的内容是否相
    同;

    处理单元23,用于当判断单元22的判断结果为相同时,根据位置标识
    进行增量处理,增量处理为第二数据库中的增量数据导入到第一数据库中,
    当判断单元22的判断结果为不同时,对待数据自动处理的分区进行全处理,
    全处理为删除第一数据库中待处理区域内的全部数据,并将第二数据库中
    对应区域的全部数据导入到该区域中。

    本发明实施例提供的数据增量处理的装置,能够在进行本次数据自动
    处理之前,先获取第一数据库中记录的最近一次数据自动处理的处理标识,
    以及当前第一数据库的元数据中的时间字段,并判断处理标识中的时间标
    识的内容是否与时间字段的内容相同;若相同,则根据处理标识中的位置
    标识进行增量处理,若不相同,则对待数据自动处理的分区进行全处理。
    与现有技术中直接将下次增量处理更改为对整个SSAS的全处理相比,本发
    明通过在进行本次数据自动处理之前,先判断上次数据自动处理的时间是
    否与第一数据库的元数据中记录的最近一次数据处理的时间相同,当两者
    相同时,才对第一数据库中的当前分区进行增量处理,当两者不同时,只
    对当前分区进行全处理,而不对历史分区进行全处理,从而在保证第一数
    据库与第二数据库数据一致的情况下,提高了数据自动处理的效率。

    进一步的,如图3所示,该装置还包括:

    检测单元24,用于在获取单元21从第一数据库的元数据中获取时间字
    段之前,检测处理标识是否为与待数据自动处理的分区对应的处理标识。

    获取单元21,还用于当检测单元24的检测结果为处理标识为与分区对
    应的处理标识时,从第一数据库的元数据中获取时间字段。

    进一步的,处理单元23,还用于当检测单元24的检测结果为处理标识
    不是与分区对应的处理标识时,对分区进行全处理。

    进一步的,检测单元24,用于检测处理标识是否位于分区的注解中。

    进一步的,获取单元21,还用于在处理单元23对分区进行本次数据自
    动处理后,获取本次数据自动处理完成时的时间,以及第二数据库中最后
    一行数据的位置。

    进一步的,如图3所示,该装置还包括:

    更改单元25,用于将时间标识中的内容更改为获取单元21获取的本次
    数据自动处理完成时的时间,以及将位置标识中的内容更改为本次数据自
    动处理完成时第二数据库中最后一行数据的位置。

    在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没
    有详述的部分,可以参见其他实施例的相关描述。

    可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,
    上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施
    例的优劣。

    所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述
    描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的
    对应过程,在此不再赘述。

    在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备
    固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的
    描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对
    任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本
    发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实
    施方式。

    在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,
    本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,
    并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

    类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一
    个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征
    有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将
    该公开的方法解释成反映如下意图:即所要求?;さ谋痉⒚饕蟊仍诿扛?br />权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要
    求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特
    征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方
    式,其中每个权利要求本身都作为本发明的单独实施例。

    本领域那些技术人员可以理解,可以对实施例中的设备中的??榻?br />自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。
    可以把实施例中的??榛虻ピ蜃榧楹铣梢桓瞿?榛虻ピ蜃榧?,以及
    此外可以把它们分成多个子??榛蜃拥ピ蜃幼榧?。除了这样的特征和/或
    过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明
    书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开
    的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本
    说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提
    供相同、等同或相似目的的替代特征来代替。

    此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括
    其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征
    的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下
    面的权利要求书中,所要求?;さ氖凳├娜我庵欢伎梢砸匀我獾淖楹?br />方式来使用。

    本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处
    理器上运行的软件??槭迪?,或者以它们的组合实现。本领域的技术人员
    应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现
    根据本发明实施例的随身电子防丢设备的状态检测方法、设备、服务器及
    系统设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现
    为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例
    如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在
    计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号
    可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他
    形式提供。

    应该注意的是上述实施例对本发明进行说明而不是对本发明进行限
    制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出
    替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成
    对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步
    骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明
    可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实
    现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通
    过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示
    任何顺序??山庑┑ゴ式馐臀?。

    关于本文
    本文标题:数据增量处理的方法和装置.pdf
    链接地址://www.4mum.com.cn/p-6092663.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 福彩开奖号和值走势图带连线走势图带连线 云南十一选五走势 乡镇做什么门头赚钱 000009股票行情 美人捕鱼教程 36选7复式8个号多少钱 7星彩18095 每天赚钱软件怎么注销 股票配资论坛找象泰配资券商背景@G 四川金7乐app官方下载苹果版 小财神彩票首页 华东15选5尾号走势图 安徽十一选五开奖结果图 大学篮球比分直播 捕鱼游戏推荐 华东15选5开奖30期结果