• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 20
    • 下载费用:20 金币  

    重庆时时彩线下门店: 数据查询方法、装置及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410108733.7

    申请日:

    2014.03.21

    公开号:

    CN103927331A

    公开日:

    2014.07.16

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140321|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 珠海多玩信息技术有限公司
    发明人: 喻先兵
    地址: 519080 广东省珠海市唐家湾镇软件园路1号会展中心1-第13层B区
    优先权:
    专利代理机构: 北京三高永信知识产权代理有限责任公司 11138 代理人: 江崇玉
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410108733.7

    授权公告号:

    ||||||

    法律状态公告日:

    2017.03.22|||2014.08.13|||2014.07.16

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种数据查询方法、装置及装置,属于数据存储领域。所述方法包括:Hive获取针对所述数据库集群的HQL查询语句,所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表;根据所述HQL查询语句生成MapReduce执行计划;将所述MapReduce执行计划发送给并行计算架构Hadoop;接收所述Hadoop反馈的查询结果。解决了目前多张关联的分区表无法支持一些关系型查询和统计功能的问题;达到了借助Hive和Hadoop的分布式并行计算特性,来实现对数据库集群中多张关联的分区表的关系型查询和统计功能的效果。

    权利要求书

    权利要求书
    1.  一种数据查询方法,其特征在于,用于与数据库集群相连的并行数据仓库工具Hive中,所述方法包括:
    获取针对所述数据库集群的HQL查询语句,所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表;
    根据所述HQL查询语句生成MapReduce执行计划;
    将所述MapReduce执行计划发送给并行计算架构Hadoop;
    接收所述Hadoop反馈的查询结果,所述查询结果是所述Hadoop根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务后,通过Reduce化简任务汇总每个Mapper映射任务的查询结果得到的。

    2.  根据权利要求1所述的方法,其特征在于,所述根据所述HQL查询语句生成MapReduce执行计划,包括:
    获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息;
    根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划。

    3.  根据权利要求2所述的方法,其特征在于,所述获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息,包括:
    预先存储所述数据库集群的连接信息;根据所述连接信息从所述数据库集群获取所述分区描述信息;
    或,
    获取预先存储的所述分区描述信息。

    4.  根据权利要求2所述的方法,其特征在于,所述根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划,包括:
    根据所述HQL查询语句确定所述数据库集群中每个分区表所对应的查询条 件;
    根据所述Hive表生成所述数据库集群在所述Hadoop中的输入格式;
    将所述查询条件、所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式生成为所述MapReduce执行计划的内容。

    5.  一种数据查询方法,其特征在于,用于与数据库集群相连的并行计算架构Hadoop中,所述方法包括:
    获取MapReduce执行计划,所述MapReduce执行计划是并行数据仓库工具Hive根据针对所述数据库集群的HQL查询语句生成的,所述HQL查询语句指定的Hive表对应于所述数据库集群中关联的至少两张分区表;
    根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务进行查询;
    通过Reduce化简任务汇总每个Mapper映射任务的查询结果;
    向所述Hive反馈汇总后的查询结果。

    6.  根据权利要求5所述的方法,其特征在于,所述根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务,包括:
    根据所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式将所述数据库集群的各个分区表转换为各自对应的输入分片;
    对于每个所述输入分片,启动相应的所述Mapper映射任务执行相应分区表的查询。

    7.  根据权利要求6所述的方法,其特征在于,所述对于每个所述输入分片,启动相应的所述Mapper映射任务执行相应分区表的查询,包括:
    对于每个所述映射任务,根据所述Mapper映射任务所对应的分区表所对应的查询条件生成分区查询语句;
    通过所述分区查询语句在所述分区表对应的输入分片中读取数据作为查询结果。

    8.  一种数据查询装置,其特征在于,用于与数据库集群相连的并行数据仓库工具Hive中,所述装置包括:
    语句接收???,用于获取针对所述数据库集群的HQL查询语句,所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表;
    计划生成???,用于根据所述HQL查询语句生成MapReduce执行计划;
    计划发送???,用于将所述MapReduce执行计划发送给并行计算架构Hadoop;
    结果接收???,用于接收所述Hadoop反馈的查询结果,所述查询结果是所述Hadoop根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务后,通过Reduce化简任务汇总每个Mapper映射任务的查询结果得到的。

    9.  根据权利要求8所述的装置,其特征在于,所述计划生成???,包括:信息获取单元和计划生成单元;
    所述信息获取单元,用于获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息;
    所述计划生成单元,用于根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划。

    10.  根据权利要求9所述的装置,其特征在于,所述信息获取单元,包括:
    连接存储子单元,用于预先存储所述数据库集群的连接信息;第一获取子单元,用于根据所述连接信息从所述数据库集群获取所述分区描述信息;
    或,
    第二获取子单元,用于获取预先存储的所述分区描述信息。

    11.  根据权利要求9所述的装置,其特征在于,所述计划生成单元,包括:
    条件生成子单元、格式生成子单元和计划生成子单元;
    所述条件生成子单元,用于根据所述HQL查询语句确定所述数据库集群中每个分区表所对应的查询条件;
    所述格式生成子单元,用于根据所述Hive表生成所述数据库集群在所述 Hadoop中的输入格式;
    所述计划生成子单元,用于将所述查询条件、所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式生成为所述MapReduce执行计划的内容。

    12.  一种数据查询装置,其特征在于,用于与数据库集群相连的并行计算架构Hadoop中,所述装置包括:
    计划获取???,用于获取MapReduce执行计划,所述MapReduce执行计划是并行数据仓库工具Hive根据针对所述数据库集群的HQL查询语句生成的,所述HQL查询语句指定的Hive表对应于所述数据库集群中关联的至少两张分区表;
    分区查询???,用于根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务进行查询;
    结果汇总???,用于通过Reduce化简任务汇总每个Mapper映射任务的查询结果;
    结果反馈???,用于向所述Hive反馈汇总后的查询结果。

    13.  根据权利要求12所述的装置,其特征在于,所述分区查询???,包括:
    分片生成单元和分区查询单元;
    所述分片生成单元,用于根据所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式将所述数据库集群的各个分区表转换为各自对应的输入分片;
    所述分区查询单元,用于对于每个所述输入分片,启动相应的所述Mapper映射任务执行相应分区表的查询。

    14.  根据权利要求13所述的装置,其特征在于,所述分区查询单元,包括:
    语句生成子单元和分片查询子单元;
    所述语句生成子单元,用于对于每个所述映射任务,根据所述Mapper映射任务所对应的分区表所对应的查询条件生成分区查询语句;
    所述分片查询子单元,用于通过所述分区查询语句在所述分区表对应的输入分片中读取数据作为查询结果。

    15.  一种数据查询系统,其特征在于,所述系统包括数据库集群、与所述数据库集群相连的并行数据仓库工具Hive,以及与所述数据库集群和所述Hive分别相连的并行计算架构Hadoop;
    所述数据库集群,存储有关联的至少两个分区表;
    所述Hive,包括如权利要求8至11任一所述的数据查询装置;
    所述Hadoop,包括如权利要求12至14任一所述的数据查询装置。

    关 键 词:
    数据 查询 方法 装置 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:数据查询方法、装置及系统.pdf
    链接地址://www.4mum.com.cn/p-6117141.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03