• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 17
    • 下载费用:20 金币  

    重庆时时彩害死人潮汕: 基于MAPREDUCE实现分析函数的方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210580817.1

    申请日:

    2012.12.27

    公开号:

    CN103902592A

    公开日:

    2014.07.02

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F17/30申请日:20121227|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 深圳市腾讯计算机系统有限公司
    发明人: 张书彬; 田万鹏; 肖品; 鲍春健; 郭玮
    地址: 510075 广东省深圳市南山区高新区高新南一路飞亚达大厦5-10楼
    优先权:
    专利代理机构: 北京中博世达专利商标代理有限公司 11274 代理人: 申健
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210580817.1

    授权公告号:

    ||||||

    法律状态公告日:

    2018.02.27|||2015.04.22|||2014.07.02

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于MapReduce实现分析函数的方法及系统,涉及数据库领域,用于解决现有技术中基于MapReduce框架的分布式数据仓库无法使用分析函数进行数据进行分析处理的问题。本发明提供的处理数据的方法包括:表扫描算子从文件块获取数据行,将所述数据行发送至映射算子;所述映射算子接收所述数据行,确定分析函数的归约键、分割键和排序键,通过MapReduce框架将所述数据行发送至分析算子;所述分析算子接收所述数据行,对所述数据行进行分析得到分析结果,并将所述数据行和分析结果转发至后继算子。本发明适用于基于MapReduce框架的数据仓库领域,用于实现分析函数。

    权利要求书

    权利要求书
    1.  一种基于MapReduce实现分析函数的方法,其特征在于,包括:
    表扫描算子从文件块获取数据行,将所述数据行发送至映射算子;
    所述映射算子接收所述数据行,确定分析函数的归约键、分割键和排序键,通过MapReduce框架将所述数据行发送至分析算子,所述分析算子属于所述MapReduce框架的Reduce端;
    所述分析算子接收所述数据行,对所述数据行进行分析得到分析结果,并将所述数据行和分析结果转发至后继算子。

    2.  根据权利要求1所述的方法,其特征在于,所述确定分析函数的归约键、分割键和排序键,包括:
    将所述分析函数的分区子句中的列以及排序子句中的列作为归约键;或者
    当所述分析函数没有排序子句但有distinct关键字时,以distinct列作为归约键;或者
    当分析函数不含分区子句、排序子句,也不含distinct关键字时,指定任意常量作为归约键;
    将所述分析函数的分区子句中的列作为分割键;或者
    当所述分析函数不含分区子句时,以与归约键相同的常量作为分割键;
    当所述分析函数含有排序子句时,以排序子句中的列作为排序键。

    3.  根据权利要求1或2所述的方法,其特征在于,所述分析算子接收所述数据行,对所述数据行进行分析得到分析结果,并将所述数据行和分析结果转发至后继算子,包括:
    所述分析算子接收所述数据行,将所述数据行存储于分析算子缓冲区以供所有分析器使用;
    所述分析算子解析出所述数据行的分区字段和排序字段,判断所述数据行 是否属于当前分区,所述当前分区是所述分析算子接收到的上一数据行所属的分区;
    若是,则调用分析函数对应的分析器对所述数据行进行分析,得到分析结果,将所述分析结果存储于分析器缓冲区;
    若否,则结束对所述当前分区的分析,将所述分析算子缓冲区中存储的当前分区的所有数据行、以及所述分析器缓冲区中存储的当前分区的所有分析结果汇总成新的数据行转发至后继算子。

    4.  根据权利要求3所述的方法,其特征在于,如果所述分析函数不需要累计,那么在所述调用分析函数对应的分析器对所述数据行进行分析,得到分析结果之后,直接将所述数据行和分析结果汇总转发至后继算子,无需对所述数据行和分析结果进行缓存。

    5.  根据权利要求3所述的方法,其特征在于,所述分析算子缓冲区包括内存缓冲区和磁盘缓冲区,所述分析算子缓冲区优先将接收的新数据行放入内存缓冲区;如果内存缓冲区已满,则将内存缓冲区中较旧的数据行存入所述磁盘缓冲区,以释放内存缓冲区的存储空间。

    6.  根据权利要求3所述的方法,其特征在于,所述分析器缓冲区包括内存缓冲区和磁盘缓冲区,所述内存缓冲区包括输出缓冲区和输入缓冲区,所述分析器缓冲区用于对分析结果进行缓冲和更新;
    所述分析器缓冲区对分析结果进行缓冲时,将所述分析结果存储于所述输出缓冲区;如果所述输出缓冲区已满,则将所述输出缓冲区中的内容存入所述磁盘缓冲区,以释放所述输出缓冲区的存储空间;
    所述分析器缓冲区对分析结果进行更新时:
    如果待更新行存储于输出缓冲区,则直接根据所述输出缓冲区中的待更新 行和接收到的新数据行对分析结果进行更新;
    如果待更新行存储于输入缓冲区,则直接根据所述输入缓冲区中的待更新行和接收到的新数据行对分析结果进行更新;
    如果待更新行存储于磁盘缓冲区,则将所述输入缓冲区中的内容存储到所述磁盘缓冲区,并将所述磁盘缓冲区中的待更新行所在的缓冲块读入所述输入缓冲区,以使得根据所述输入缓冲区中的待更新行和接收到的新数据行对分析结果进行更新。

    7.  一种基于MapReduce实现分析函数的系统,其特征在于,包括扫描算子、映射算子和分析算子等,其中:
    所述扫描算子用于从文件块获取数据行,将所述数据行发送至映射算子;
    所述映射算子用于接收所述数据行,确定分析函数的归约键、分割键和排序键,通过MapReduce框架将所述数据行发送至分析算子,所述分析算子属于所述MapReduce框架的Reduce端;
    所述分析算子接收所述数据行,对所述数据行进行分析得到分析结果,并将所述数据行和分析结果转发至后继算子。

    8.  根据权利要求7所述的系统,其特征在于,所述映射算子具体用于将所述分析函数的分区子句中的列以及排序子句中的列作为归约键;或者
    当所述分析函数没有排序子句但有distinct关键字时,以distinct列作为归约键;或者
    当分析函数不含分区子句、排序子句,也不含distinct关键字时,指定任意常量作为归约键;
    所述映射算子还用于将所述分析函数的分区子句中的列作为分割键;或者
    当所述分析函数不含分区子句时,以与归约键相同的常量作为分割键;
    所述映射算子还用于当所述分析函数含有排序子句时,以排序子句中的列作为排序键。

    9.  根据权利要求7或8所述的系统,其特征在于,所述分析算子包括:
    存储???,用于接收所述数据行,将所述数据行存储于分析算子缓冲区以供所有分析器使用;
    判断???,用于解析出所述数据行的分区字段和排序字段,判断所述数据行是否属于当前分区,所述当前分区是所述分析算子接收到的上一数据行所属的分区;
    若是,则所述分析算子调用分析函数对应的分析器对所述数据行进行分析,得到分析结果,将所述分析结果存储于分析器缓冲区;
    若否,则所述分析算子结束对所述当前分区的分析,将所述分析算子缓冲区中存储的当前分区的所有数据行、以及所述分析器缓冲区中存储的当前分区的所有分析结果汇总成新的数据行转发至后继算子。

    10.  根据权利要求9所述的系统,其特征在于,如果所述分析函数不需要累计,那么所述分析算子在得到分析结果之后,直接将所述数据行和分析结果汇总转发至后继算子,无需对所述数据行和分析结果进行缓存。

    关 键 词:
    基于 MAPREDUCE 实现 分析 函数 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:基于MAPREDUCE实现分析函数的方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6120482.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03