• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:20 金币  

    重庆时时彩开奖大小: 一种数据处理方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210571950.0

    申请日:

    2012.12.25

    公开号:

    CN103902544A

    公开日:

    2014.07.02

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20121225|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 中国移动通信集团公司
    发明人: 钱岭; 郭磊涛; 张宝海
    地址: 100032 北京市西城区金融大街29号
    优先权:
    专利代理机构: 北京鑫媛睿博知识产权代理有限公司 11297 代理人: 龚家骅
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210571950.0

    授权公告号:

    ||||||

    法律状态公告日:

    2017.11.21|||2014.07.30|||2014.07.02

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明提供了一种数据处理方法及系统,这种方法可以将大规模数据按照多个列分割成更细粒度的多维数据块,从而在针对数据查询时仅处理少数相关的数据块。本发明中的数据块是包括所有数据列(可不包含分区列)的数据块,这和现有的列数据库、列族数据库均不相同。这样在输出较多列时,可以获得更好的数据扫描性能。

    权利要求书

    权利要求书
    1.  一种数据处理方法,其特征在于,该方法包括:
    根据至少2个不同级别的分区键,创建元数据模型,元数据模型中定义的每个数据分区至少包含除分区键所在的数据列以外的所有数据列;
    接收到原始数据后,根据所述元数据模型对所述原始数据进行分区处理。

    2.  如权利要求1所述的方法,其特征在于,根据至少2个不同级别的分区键,创建元数据模型,具体包括:
    根据所述至少2个不同级别的分区键,建立树形结构的元数据模型,每个分区键对应所述树形结构中的一个树状层次,且从根节点到叶子节点,每个树状层次所对应的分区键级别依次降低,所述树形结构中的各节点存储有相应分区信息。

    3.  如权利要求1所述的方法,其特征在于,根据所述元数据模型对所述原始数据进行分区处理,具体包括:
    按照级别从高到低的顺序,依次使用分区键对所述原始数据进行分区处理;其中,每次进行分区处理时所针对的数据,为上一次分区处理得到的数据分区,使用最高级别的分区键进行分区处理时所针对的数据,为所述原始数据,分区处理后得到的数据实体中包含除分区键所在的数据列以外的所有数据列。

    4.  如权利要求1所述的方法,其特征在于,根据所述元数据模型对所述原始数据进行分区处理,具体包括:
    如果分区处理得到的数据实体的数据量小于设定阈值,则将数据量小于设定阈值的数据实体进行合并处理并存储,并根据合并处理操作,更新元数据模型。

    5.  如权利要求1所述的方法,其特征在于,该方法还包括:
    接收到数据查询请求后,根据所述请求中携带的查询条件,通过查询所述元数据模型,确定出需要扫描的数据分区,根据需要扫描的数据分区确定出对应的数据实体;
    根据所述数据查询条件,对需要扫描的数据分区所对应的数据实体进行扫描,得到符合查询条件的数据并返回。

    6.  一种数据处理系统,其特征在于,包括:
    控制???,用于根据至少2个不同级别的分区键,创建元数据模型,并将创建的元数据模型存储到元数据管理???;所述元数据模型中定义的每个数据分区至少包含除分区键所在的数据列以外的所有数据列;
    元数据管理???,用于存储和维护元数据模型;
    数据处理???,用于在接收到原始数据后,根据所述元数据管理??橹械脑菽P?,对所述原始数据进行分区处理。

    7.  如权利要求6所述的数据处理系统,其特征在于,所述控制??榫咛逵糜?,根据所述至少2个不同级别的分区键,建立树形结构的元数据模型,每个分区键对应所述树形结构中的一个树状层次,且从根节点到叶子节点,每个树状层次所对应的分区键级别依次降低,所述树形结构中的各节点存储有相应分区信息。

    8.  如权利要求6所述的数据处理???,其特征在于,所述数据处理??榫咛逵糜?,按照级别从高到低的顺序,依次使用分区键对所述原始数据进行分区处理;其中,每次进行分区处理时所针对的数据,为上一次分区处理得到的数据分区,使用最高级别的分区键进行分区处理时所针对的数据,为所述原始数据,分区处理后得到的数据实体中包含除分区键所在的数据列以外的所有数据列。

    9.  如权利要求6所述的数据处理系统,其特征在于,所述数据处理??榫咛逵糜?,如果分区处理得到的数据实体的数据量小于设定阈值,则将数据量小于设定阈值的数据实体进行合并处理并存储,并根据合并处理操作,更新所述元数据管理??橹械脑菽P?。

    10.  如权利要求6所述的数据处理系统,其特征在于,所述控制??榛褂糜?,接收到数据查询请求后,根据所述请求中携带的查询条件,通过查询所述 元数据管理??橹械脑菽P?,确定出需要扫描的数据分区,根据需要扫描的数据分区确定出对应的数据实体;根据所述数据查询条件,对需要扫描的数据分区所对应的数据实体进行扫描,得到符合查询条件的数据并返回;或者
    所述控制??榛褂糜诮邮盏绞莶檠肭蠛?,根据所述请求中携带的查询条件,通过查询所述元数据管理??橹械脑菽P?,确定出需要扫描的数据分区,根据需要扫描的数据分区确定出对应的数据实体;所述数据处理??榛褂糜?,根据所述数据查询条件,对需要扫描的数据分区所对应的数据实体进行扫描,得到符合查询条件的数据,并通过所述控制??榉祷厮龇喜檠跫氖?。

    关 键 词:
    一种 数据处理 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种数据处理方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6120744.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03