• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 13
    • 下载费用:20 金币  

    走势图分析重庆时时彩: 一种数据加载方法和系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210580016.5

    申请日:

    2012.12.27

    公开号:

    CN103902585A

    公开日:

    2014.07.02

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20121227|||公开
    IPC分类号: G06F17/30; H04L29/08 主分类号: G06F17/30
    申请人: 中国移动通信集团公司
    发明人: 秦平; 齐骥; 钱岭
    地址: 100032 北京市西城区金融大街29号B座十二层
    优先权:
    专利代理机构: 北京德琦知识产权代理有限公司 11018 代理人: 张玉波;宋志强
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210580016.5

    授权公告号:

    |||

    法律状态公告日:

    2014.07.30|||2014.07.02

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本申请公开了一种数据加载方法和系统。该方法包括:配置数据块标识ID与收集点的映射关系,在收集点出现故障时,将该出现故障的收集点映射的数据块ID重新配置为与其他未出现故障的收集点相映射;将需要加载的数据按照预设规则划分为数据块,并为每个数据块赋予ID,获取数据块ID与收集点的映射关系,根据该映射关系,将数据块发给该数据块ID映射的收集点;收集点将数据块写入到数据仓库。应用本发明能够解决由于收集节点出现故障而导致部分数据无法加载到数据仓库的问题。

    权利要求书

    权利要求书
    1.  一种数据加载方法,其特征在于,该方法包括:
    配置数据块标识ID与收集点的映射关系,在收集点出现故障时,将该出现故障的收集点映射的数据块标识ID重新配置为与其他未出现故障的收集点相映射;
    将需要加载的数据按照预设规则划分为数据块,并为每个数据块赋予标识ID,获取数据块标识ID与收集点的映射关系,根据该映射关系,将数据块发给该数据块标识ID映射的收集点;
    收集点将数据块写入到数据仓库。

    2.  根据权利要求1所述的方法,其特征在于,该方法还包括:维护收集点接收到的每个数据块的加载状态信息;
    收集点将数据块写入到数据仓库包括:
    收集点根据数据块的加载状态信息判断接收的数据块是否已被加载到数据仓库中,如果是,则不将该接收的数据块写入到数据仓库,否则,将该接收的数据块写入到数据仓库。

    3.  根据权利要求2所述的方法,其特征在于,所述加载状态信息包括已经加载状态、未加载状态和正在加载状态;
    收集点根据接收的数据块标识ID查询该数据块的加载状态,在该数据块的加载状态为已经加载状态时,丢弃该数据块,在该数据块的加载状态为未加载状态时,将该数据块写入到数据仓库,在该数据块的加载状态为正在加载状态时,根据该数据块标识ID查询数据仓库中该数据块已经加载的内容,删除该数据块已经加载的内容,然后再将该数据块写入到数据仓库;
    其中,收集点向数据仓库发送数据块的内容和该数据块的标识ID,数据仓库存储收集点发送的数据块内容,并且,存储数据块内容与数据块标识ID的对应关系。

    4.  根据权利要求3所述的方法,其特征在于,所述维护收集点接收到的每个数据块的加载状态信息包括:
    维护数据块加载状态表,其中存储有数据块标识ID与相应数据块的加载状态信息的对应关系,在初始化所述数据块加载状态表时,将所有数据块标识ID对应的加载状态信息初始化为未加载状态,在接收到数据块并且确定该数据块标识ID对应的数据加载状态为未加载状态后,将该数据块标识ID对应的加载状态信息修改为正在加载状态,在该数据块全部加载成功后,将该数据块标识ID对应的加载状态信息修改为已经加载状态,在接收到数据块并且确定该数据块标识ID对应的数据加载状态为正在加载 状态、且已经将数据仓库中该数据块已经加载的内容删除后,将该数据块标识ID对应的数据加载状态修改为未加载状态。

    5.  根据权利要求1所述的方法,其特征在于,将该出现故障的收集点映射的数据块标识ID重新配置为与其他未出现故障的收集点相映射包括:
    根据所述其他未出现故障的收集点的负荷状态,选取负荷满足预定条件的收集点,将该出现故障的收集点映射的数据块标识ID重新配置为与所述负荷满足预定条件的收集点相映射,或者,将该出现故障的收集点映射的数据块标识ID均匀地、或按照一定比例地分成两份以上,将各份分别映射不同的未出现故障的收集点。

    6.  根据权利要求1所述的方法,其特征在于,获取数据块标识ID与收集点的映射关系,根据该映射关系,将数据块发给该数据块标识ID映射的收集点包括:
    在向收集点发送数据块出错时,重新获取数据块标识ID与收集点的映射关系,根据重新获取的映射关系确定该数据块映射的收集点,向该收集点发送该数据块。

    7.  一种数据加载系统,其特征在于,该系统包括主节点、代理服务节点和收集点;
    所述主节点,用于配置数据块标识ID与收集点的映射关系,在收集点出现故障时,将该出现故障的收集点映射的数据块标识ID重新配置为与其他未出现故障的收集点相映射;
    所述代理服务节点,用于将需要加载的数据按照预设规则划分为数据块,并为每个数据块赋予标识ID,获取数据块标识ID与收集点的映射关系,根据该映射关系,将数据块发给该数据块标识ID映射的收集点;
    所述收集点,用于将数据块写入到数据仓库。

    8.  根据权利要求7所述的系统,其特征在于,所述收集点包括状态维护??楹托慈肽??;
    所述状态维护???,用于维护收集点接收到的每个数据块的加载状态信息;
    所述写入???,用于根据数据块的加载状态信息判断接收的数据块是否已被加载到数据仓库中,如果是,则不将该接收的数据块写入到数据仓库,否则,将该接收的数据块写入到数据仓库。

    9.  根据权利要求8所述的系统,其特征在于,所述加载状态信息包括已经加载状态、未加载状态和正在加载状态;该系统还包括数据仓库;
    所述写入???,用于向数据仓库发送数据块的内容和该数据块的标识ID;
    所述数据仓库,用于存储收集点发送的数据块内容,并且,存储数据块内容与数据块标识ID的对应关系;
    所述写入???,用于根据接收的数据块标识ID查询该数据块的加载状态,在该数 据块的加载状态为已经加载状态时,丢弃该数据块,在该数据块的加载状态为未加载状态时,将该数据块写入到数据仓库,在该数据块的加载状态为正在加载状态时,根据该数据块标识ID查询数据仓库中该数据块已经加载的内容,删除该数据块已经加载的内容,然后再将该数据块写入到数据仓库。

    10.  根据权利要求9所述的系统,其特征在于,
    所述状态维护???,用于维护数据块加载状态表,其中存储有数据块标识ID与相应数据块的加载状态信息的对应关系,在初始化所述数据块加载状态表时,将所有数据块标识ID对应的加载状态信息初始化为未加载状态,在接收到数据块并且确定该数据块标识ID对应的数据加载状态为未加载状态后,将该数据块标识ID对应的加载状态信息修改为正在加载状态,在该数据块全部加载成功后,将该数据块标识ID对应的加载状态信息修改为已经加载状态,在接收到数据块并且确定该数据块标识ID对应的数据加载状态为正在加载状态、且已经将数据仓库中该数据块已经加载的内容删除后,将该数据块标识ID对应的数据加载状态修改为未加载状态。

    11.  根据权利要求7所述的系统,其特征在于,
    收集点定期向主节点报告自身的状态信息,主节点在规定的时间内没有收到收集点报告的状态信息时,主节点确定所述收集点出现故障。

    12.  根据权利要求7所述的系统,其特征在于,
    所述主节点,用于根据所述其他未出现故障的收集点的负荷状态,选取负荷满足预定条件的收集点,将该出现故障的收集点映射的数据块标识ID重新配置为与所述负荷满足预定条件的收集点相映射,或者,将该出现故障的收集点映射的数据块标识ID均匀地、或按照一定比例地分成两份以上,将各份分别映射不同的未出现故障的收集点。

    13.  根据权利要求7所述的系统,其特征在于,
    所述代理服务节点,用于在向收集点发送数据块出错时,从主节点重新获取数据块标识ID与收集点的映射关系,根据重新获取的映射关系确定该数据块映射的收集点,向该收集点发送该数据块。

    14.  根据权利要求7所述的系统,其特征在于,所述映射关系包括数据块标识ID区间与收集点之间的映射关系。

    关 键 词:
    一种 数据 加载 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种数据加载方法和系统.pdf
    链接地址://www.4mum.com.cn/p-6120471.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03