• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 6
    • 下载费用:30 金币  

    重庆时时彩组选包胆: 一种实现HADOOP文件处理的方法及装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410203430.3

    申请日:

    2014.05.14

    公开号:

    CN103970874A

    公开日:

    2014.08.06

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06F 17/30申请公布日:20140806|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140514|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 浪潮(北京)电子信息产业有限公司
    发明人: 辛国茂; 赵仁明; 房体盈; 亓开元
    地址: 100085 北京市海淀区上地信息路2号2-1号C栋1层
    优先权:
    专利代理机构: 北京安信方达知识产权代理有限公司 11262 代理人: 王丹;栗若木
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410203430.3

    授权公告号:

    ||||||

    法律状态公告日:

    2018.02.16|||2014.09.03|||2014.08.06

    法律状态类型:

    发明专利申请公布后的视为撤回|||实质审查的生效|||公开

    摘要

    本发明公开了一种实现Hadoop文件处理的方法及装置,包括:读取需要处理的分布式文件系统(Hadoop)的文本文件;逐行提取文本文件并转换为映射(Map)规约(Reduce)接受的数据类型的内容;逐行读取转换后的文本文件内容,以确定是否进行断行处理。本发明通过将读取的文本文件直接转换为MapReduce接受的数据类型的内容,逐行的对处理为断行的内容进行确定,节省了预处理过程中删除CR造成的耗时,且不需要额外占用磁盘空间。

    权利要求书

    权利要求书
    1.  一种实现Hadoop文件处理的方法,其特征在于,包括:
    读取需要处理的分布式文件系统Hadoop的文本文件;
    逐行提取文本文件并转换为映射Map规约Reduce接受的数据类型的内容;
    逐行读取转换后的文本文件内容,以确定是否进行断行处理。

    2.  根据权利要求1所述的方法,其特征在于,所述逐行读取转换后的文本文件内容,以确定是否进行断行处理包括:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符LF时,进行断行;或,
    当文本文件内容的字段中包含回车符CR时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。

    3.  一种实现Hadoop文件处理的装置,其特征在于,包括:读取单元、提取转换单元和确定单元;其中,
    读取单元,用于读取需要处理的分布式文件系统Hadoop的文本文件;
    提取转换单元,用于逐行提取文本文件并转换为映射Map规约Reduce接受的数据类型的内容;
    确定单元,用于逐行读取转换后的文本文件内容,以确定是否进行断行处理。

    4.  根据权利要求31所述的装置,其特征在于,所述确定单元具体用于:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符LF时,进行断行;或,
    当文本文件内容的字段中包含回车符CR时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。

    说明书

    说明书一种实现Hadoop文件处理的方法及装置
    技术领域
    本发明涉及大数据领域,尤指一种实现分布式文件系统(hadoop)文件处理的方法及装置。
    背景技术
    随着人类社会全面进入信息时代,数据成为与水、石油同等重要的战略资源。通过挖掘海量数据,能够使政府和企业的运行决策建立在更加科学的依据基础上,提高决策效率、?;Χ阅芰凸卜袼?。而大数据或称巨量资料,是指涉及规模巨大的资料量,目前主流软件工具无法对其进行有效的撷取、管理、处理,使其成为帮助企业进行积极经营决策的资讯。
    分布式文件系统(Hadoop)是大数据发展过程中形成的主流处理系统,可是实现对大数据的分析处理。而映射(Map)规约(Reduce)是Hadoop进行数据处理的核心组件之一,通过MapReduce的编程模型,实现大规模数据集的并行运算。MapReduce极大地方便了编程人员在未掌握Hadoop并行编程的情况下,将自己的程序运行在hadoop上。当前软件的实现是通过指定一个映射(Map)函数,把一组键值对映射成一组新的键值对;通过指定并发的规约(Reduce)函数,确定所有映射的键值对中的每一个共享相同的键组。
    通过采用Java语言编写的Hadoop中的MapReduce程序,采取文件的形式在Hadoop中实现输入和输出。Hadoop中缺省提供MapReduce程序所需的输入输出类,通过这些已有的类来处理文件输入输出(文本文件和二进制文件都可),TextInputFormat是处理文本文件时Hadoop缺省使用的工具类,它逐行读取文件内容供MapReduce进行程序处理。在Unix/Linux的应用环境下采用换行符(LF)表示下一行,Dos和Windows采用回车加换行符(CR+LF)表示下一行。而TextInputFormat则会把CR、LF、CR+LF都处理为断行。在Hadoop的数据文件中的字段可能包含有单独的CR字符(主要由于系统噪声等造成的误码);缺省的TextInputFormat在文件处理过程中会错误地把单独 的CR字符处理为断行,当把单独的CR字符处理为断行的错误严重时,可能导致MapReduce任务执行失败。
    目前,对缺省的TextInputFormat在文件处理过程中错误地把单独的CR字符处理为断行的问题,主要通过对文件进行预处理,把文件中的CR字符去掉,以重新形成新的文件进行处理。当数据文件中数据量大时则耗时较长,且形成新的文件需要额外占用磁盘空间。
    发明内容
    为了解决上述技术问题,本发明提供一种实现Hadoop文件处理的方法及装置,能够节省预处理过程中删除CR造成的耗时,避免占用额外的磁盘空间。
    为了达到上述发明目的,本发明公开了一种实现Hadoop文件处理的方法,包括:
    读取需要处理的分布式文件系统Hadoop的文本文件;
    逐行提取文本文件并转换为映射Map规约Reduce接受的数据类型的内容;
    逐行读取转换后的文本文件内容,以确定是否进行断行处理。
    进一步地,逐行读取转换后的文本文件内容,以确定是否进行断行处理包括:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符LF时,进行断行;或,
    当文本文件内容的字段中包含回车符CR时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。
    一种实现Hadoop文件处理的装置,包括:读取单元、提取转换单元和确定单元;其中,
    读取单元,用于读取需要处理的分布式文件系统Hadoop的文本文件;
    提取转换单元,用于逐行提取文本文件并转换为映射Map规约Reduce接受的数据类型的内容;
    确定单元,用于逐行读取转换后的文本文件内容,以确定是否进行断行处理。
    进一步地,确定单元具体用于:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符LF时,进行断行;或,
    当文本文件内容的字段中包含回车符CR时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。
    本申请技术方案包括:读取需要处理的分布式文件系统(Hadoop)的文本文件;逐行提取文本文件并转换为映射(Map)规约(Reduce)接受的数据类型的内容;逐行读取转换后的文本文件内容,以确定是否进行断行处理。本发明通过将读取的文本文件直接转换为MapReduce接受的数据类型的内容,逐行的对处理为断行的内容进行确定,节省了预处理过程中删除CR造成的耗时,且不需要额外占用磁盘空间。
    附图说明
    此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
    图1为本发明实现Hadoop文件处理的方法的流程图;
    图2为本发明实现Hadoop文件处理的装置的结构框图。
    具体实施方式
    图1为本发明实现Hadoop文件处理的方法的流程图,如图1所示,包括:
    步骤100、读取需要处理的分布式文件系统(Hadoop)的文本文件;
    步骤101、逐行提取文本文件并转换为MapReduce接受的数据类型的内容。
    需要说明的是,MapReduce接受的数据类型常见的有字符串型和长整型等常见的数据类型,具体的根据Hadoop的系统设定;转换的方法为本领域 熟知的常规的转换方法,为本领域技术人员的惯用技术手段,在此不再赘述。
    步骤102、逐行读取转换后的文本文件内容,以确定是否进行断行处理。
    逐行读取转换后的文本文件内容,以确定是否进行断行处理包括:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符LF时,进行断行;或,
    当文本文件内容的字段中包含回车符CR时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。
    本发明不需要对文件进行预处理,省去了预处理数据文件所耗费的时间,提高了Hadoop系统执行处理任务的效率。本发明实现的java类,在继承Hadoop中已有的输入读取的类,拓展相关逻辑并保持相同接口即可实现。
    图2为本发明实现Hadoop文件处理的装置的结构框图,如图2所示,包括:读取单元、提取转换单元和确定单元;其中,
    读取单元,用于读取需要处理的分布式文件系统(Hadoop)的文本文件;
    提取转换单元,用于逐行提取文本文件并转换为MapReduce接受的数据类型的内容;
    确定单元,用于逐行读取转换后的文本文件内容,以确定是否进行断行处理。
    确定单元具体用于:
    逐行读取转换后的文本文件内容,当文本文件内容的字段中包含换行符(LF)时,进行断行;或,
    当文本文件内容的字段中包含回车符(CR)时,进一步判断CR的下一字符是否是LF,如果是,进行断行;否则,不断行。
    虽然本申请所揭露的实施方式如上,但所述的内容仅为便于理解本申请而采用的实施方式,并非用以限定本申请。任何本申请所属领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本申请的专利?;し段?,仍须以所附的权利要求书所界定的范围为准。

    关 键 词:
    一种 实现 HADOOP 文件 处理 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种实现HADOOP文件处理的方法及装置.pdf
    链接地址://www.4mum.com.cn/p-6142784.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03