• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:20 金币  

    重庆时时彩定位胆稳赚方案: 一种HADOOP程序测试的方法和系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210328786.0

    申请日:

    2012.09.06

    公开号:

    CN103678098A

    公开日:

    2014.03.26

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 11/36申请日:20120906|||公开
    IPC分类号: G06F11/36 主分类号: G06F11/36
    申请人: 百度在线网络技术(北京)有限公司
    发明人: 沙安澜
    地址: 100085 北京市海淀区上地十街10号百度大厦
    优先权:
    专利代理机构: 北京鸿德海业知识产权代理事务所(普通合伙) 11412 代理人: 倪志华
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210328786.0

    授权公告号:

    ||||||

    法律状态公告日:

    2017.12.19|||2015.09.02|||2014.03.26

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明提供了一种HADOOP程序测试的方法和系统,其中运行待测试的HADOOP程序过程中,如果运行到对远程HADOOP分布式文件系统(HDFS)的SHELL接口的调用,则将对远程HDFS的SHELL接口的调用命令转换为对本地文件系统(FS)的SHELL接口的调用命令,并将HDFS路径转换为本地FS路径;执行转换后得到的命令,获取执行结果?;蛘?,如果运行到对远程分布式(MAP/REDUCE)计算接口的调用,则将输入和输出路径从HDFS路径转换为本地FS路径,利用本地作业运行器替代作业追踪器,进入执行路径后,执行MAP执行脚本和REDUCE执行脚本,获取执行结果。通过本发明能够缩短测试执行的时间。

    权利要求书

    权利要求书
    1.  一种HADOOP程序测试的方法,其特征在于,该方法包括:
    S1、运行待测试的HADOOP程序;
    S2、如果运行到对远程HADOOP分布式文件系统HDFS的SHELL接口的调用,执行步骤S3;或者,如果运行到对远程分布式MAP/REDUCE计算接口的调用,则执行步骤S4;
    S3、按照预设的远程命令名与本地命令名之间的映射关系,将对远程HDFS的SHELL接口的调用命令转换为对本地文件系统FS的SHELL接口的调用命令,并基于预设的路径映射规则,将对远程HDFS的SHELL接口的调用命令中的HDFS路径转换为本地FS路径;执行转换后得到的命令,获取执行结果,转至步骤S1直至待测试的HADOOP程序运行结束;
    S4、基于预设的路径映射规则,将对远程MAP/REDUCE计算接口的调用涉及到的输入和输出路径从HDFS路径转换为本地FS路径,利用本地作业运行器LocalJobRunner替代作业追踪器JobTracker,进入执行路径后,执行MAP执行脚本和REDUCE执行脚本,获取执行结果,转至步骤S1直至待测试的HADOOP程序运行结束。

    2.  根据权利要求1所述的方法,其特征在于,所述路径映射规则为:
    Localpath=Workspace+HDFSpath;
    其中所述Localpath为本地FS路径,所述Workspace为从配置文件中读取的本地工作路径,所述HDFSpath为HDFS路径。

    3.  根据权利要求1所述的方法,其特征在于,在所述步骤S3中使用python执行所述转换后得到的命令。

    4.  根据权利要求1所述的方法,其特征在于,在所述步骤S4中还包括:将执行路径按照LocalExcpath=Workspace+Excpath转换为本地执行路径,所述进入的执行路径为转换后的本地执行路径;
    其中,所述LocalExcpath为本地执行路径,所述Workspace为从配置文件中读取的本地工作路径,所述Excpath为原始生成的执行路径。

    5.  根据权利要求1所述的方法,其特征在于,执行所述MAP执行脚本和REDUCE执行脚本的过程中,如果存在对HDFS API的调用,则在so动态共享库的函数入口处,将集群路径从HDFS路径转换为本地FS路径。

    6.  根据权利要求1所述的方法,其特征在于,步骤S4中在将输入和输出路径从HDFS路径转换为本地FS路径之后,且利用LocalJobRunner替代JobTracker之前还包括:将执行MAP执行脚本和REDUCE执行脚本过程中使用的文件解压缩;
    在执行MAP执行脚本和REDUCE执行脚本之前还包括:将解压缩的文件拷贝到本地执行路径。

    7.  一种HADOOP程序测试的系统,其特征在于,该系统包括:
    程序获取单元,用于运行待测试的HADOOP程序;
    调用判断单元,用于如果所述程序获取单元运行到对远程HADOOP分布式文件系统HDFS的SHELL接口的调用,则触发SHELL接口调用单元;或者,如果运行到对远程分布式MAP/REDUCE计算接口的调用,则触发分布式计算接口调用单元;
    SHELL接口调用单元,用于受到触发后,按照预设的远程命令名与本地命令名之间的映射关系,将对远程HDFS的SHELL接口的调用命令转换为对本地文件系统FS的SHELL接口的调用命令,并基于预设的路径映射规则,将对远程HDFS的SHELL接口的调用命令中的HDFS路径转换为本地FS路径;执行转换后得到的命令,获取执行结果;
    分布式计算接口调用单元,用于受到触发后,基于预设的路径映射规则,将对远程MAP/REDUCE计算接口的调用涉及到的输入和输出路径从HDFS路径转换为本地FS路径,利用本地作业运行器LocalJobRunner替代作业追踪器JobTracker,获取LocalJobRunner的执行结果;
    LocalJobRunner,用于进入执行路径后,执行MAP执行脚本和REDUCE执行脚本。

    8.  根据权利要求7所述的系统,其特征在于,所述路径映射规则为:
    Localpath=Workspace+HDFSpath;
    其中所述Localpath为本地FS路径,所述Workspace为从配置文件中读取的本地工作路径,所述HDFSpath为HDFS路径。

    9.  根据权利要求7所述的系统,其特征在于,所述SHELL接口调用单元使用python执行所述转换后得到的命令。

    10.  根据权利要求7所述的系统,其特征在于,分布式计算接口调用单元,还用于将执行路径按照LocalExcpath=Workspace+Excpath转换为本地执行路径,所述LocalJobRunner进入的执行路径为转换后的本地执行路径;
    其中,所述LocalExcpath为本地执行路径,所述Workspace为从配置文件中读取的本地工作路径,所述Excpath为原始生成的执行路径。

    11.  根据权利要求7所述的系统,其特征在于,所述LocalJobRunner在执行所述MAP执行脚本和REDUCE执行脚本的过程中,如果存在对HDFS API的调用,则在so动态共享库的函数入口处,将集群路径从HDFS路径转换为本地FS路径。

    12.  根据权利要求7所述的系统,其特征在于,所述分布式计算接口调用单元在将输入和输出路径从HDFS路径转换为本地FS路径之后,且利用LocalJobRunner替代JobTracker之前,还用于将执行MAP执行脚本和REDUCE执行脚本过程中使用的文件解压缩;在所述LocalJobRunner执行MAP执行脚本和REDUCE执行脚本之前将解压缩的文件拷贝到本地执行路径。

    关 键 词:
    一种 HADOOP 程序 测试 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种HADOOP程序测试的方法和系统.pdf
    链接地址://www.4mum.com.cn/p-6181187.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03