• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    重庆时时彩真人视讯计划群: 一种实现文件上传的方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410208886.9

    申请日:

    2014.05.16

    公开号:

    CN103970881A

    公开日:

    2014.08.06

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06F 17/30申请公布日:20140806|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140516|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 浪潮(北京)电子信息产业有限公司
    发明人: 辛国茂; 亓开元; 赵仁明; 房体盈
    地址: 100085 北京市海淀区上地信息路2号2-1号C栋1层
    优先权:
    专利代理机构: 北京安信方达知识产权代理有限公司 11262 代理人: 王丹;栗若木
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410208886.9

    授权公告号:

    ||||||

    法律状态公告日:

    2018.08.10|||2014.09.03|||2014.08.06

    法律状态类型:

    发明专利申请公布后的视为撤回|||实质审查的生效|||公开

    摘要

    本发明公开了一种实现文件上传的方法及装置,包括:获取分布式文件系统(HDFS)预定数量的数据节点;检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。本发明获取预定数量的HDFS的数据节点,通过检测HDFS中的数据节点的连通性后,将文件服务器上传的每个文件相应的HDFS文件上传命令均分给连通的数据节点,实现文件上传,提高文件上传的效率,降低文件上传的时长消耗。

    权利要求书

    权利要求书
    1.  一种实现文件上传的方法,其特征在于,包括:
    获取分布式文件系统HDFS预定数量的数据节点;
    检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;
    设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;
    根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。

    2.  根据权利要求1所述的方法,其特征在于,所述获取HDFS预定数量的数据节点具体包括:通过所述文件服务器的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。

    3.  根据权利要求1所述的方法,其特征在于,所述检测获取的预定数量的数据节点的连通性,得到连通的数据节点及连通的数据节点的数量具体包括:
    通过安全外壳协议SSH方式发送查询指令到所述获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量。

    4.  根据权利要求1所述的方法,其特征在于,所述根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传具体包括:
    将所述统计HDFS文件上传命令的命令数除以所述连通的数据节点的数量,得到分配给所述各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。

    5.  根据权利要求1所述的方法,其特征在于,设置文件服务器上传的每个文件相应的HDFS文件上传命令时,该方法还包括,获取文件服务器上传文件的各文件的文件大??;
    根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。

    6.  一种实现文件上传的装置,其特征在于,包括:获取单元、检测单元、设置统计单元和上传单元;其中,
    获取单元,用于获取分布式文件系统HDFS预定数量的数据节点;
    检测单元,用于检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;
    设置统计单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;
    第一上传单元,用于根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。

    7.  根据权利要求7所述的装置,其特征在于,所述获取单元具体用于:通过所述文件服务器的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。

    8.  根据权利要求7所述的装置,其特征在于,所述检测单元具体用于:
    通过安全外壳协议SSH方式发送查询指令到所述获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量。

    9.  根据权利要求7所述的装置,其特征在于,所述第一上传单元具体用于:
    将所述统计HDFS文件上传命令的命令数除以所述连通的数据节点的数量,得到分配给各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给所述各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。

    10.  根据权利要求7所述的装置,其特征在于,该装置还包括获取文件属性单元和第二上传单元;其中,
    获取文件属性单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令时,获取文件服务器上传文件的各文件的文件大??;
    第二上传单元,用于根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。

    说明书

    说明书一种实现文件上传的方法及系统
    技术领域
    本发明涉及大数据领域,尤指一种实现文件上传的方法及系统。
    背景技术
    随着人类社会全面进入信息时代,数据成为与水、石油同等重要的战略资源。通过挖掘海量数据,能够使政府和企业的运行决策建立在更加科学的依据基础上,提高决策效率、?;Χ阅芰凸卜袼?。大数据或称巨量资料,是指针对规模巨大的数据进行有效的撷取、管理、处理,使其成为帮助企业进行积极经营决策的资讯。
    分布式文件系统(HDFS,指Hadoop分布式文件系统)被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上,通过提供高吞吐量的数据访问,进行大规模数据集的分析应用。因为运行在HDFS上的程序有大量的数据集(典型的HDFS文件大小是TB的级别),所以HDFS被调整成支持大文件的处理系统。HDFS具有很高的聚合数据带宽,且一个集群支持数百个数据节点,用于支持千万级别的文件的分析处理。
    HDFS分析处理数据的文件来源有很多途径,其中,文件服务器(比如网络文件系统(NFS))中的已有文件是一种非常重要的数据来源。以银行业务系统为例,银行每天将其业务中从数据库中卸载的数据表生成一个增量文件发送到文件服务器,形成其重要的业务数据;通过有针对性的挖掘分析一段时间内的业务数据的文件,实现对银行业务的发展了解,进而进行银行决策调整以促进相关业务的发展。要进行数据分析,首先要把其上传到HDFS中,为了实现有效完整的分析,可能需要上传几年的业务数据的文件到HDFS中,其中涉及的文件的数据量巨大且数目较多。传统的文件上传方法是通过选择HDFS的其中一个数据节点依次的上传文件,按照这种方法存在以下问题:一方面文件服务器的带宽没有得到充分利用,另一方面HDFS其他数据节点没有得到利用。因此,采用一个数据节点进行文件上传往往耗时过长,无法 发挥HDFS的系统性能。
    发明内容
    为了解决上述技术问题,本发明提供一种实现文件上传的方法及系统,能够充分利用HDFS中的数据节点进行数据传输,提高文件上传的效率,降低文件上传的时长消耗。
    为了达到上述发明目的,本发明公开了一种实现文件上传的方法,包括:
    获取分布式文件系统HDFS预定数量的数据节点;
    检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;
    设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;
    根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。
    进一步地,获取HDFS预定数量的数据节点具体包括:通过所述文件服务器的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。
    进一步地,检测获取的预定数量的数据节点的连通性,得到连通的数据节点及连通的数据节点的数量具体包括:
    通过安全外壳协议SSH方式发送查询指令到所述获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量。
    进一步地,根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传具体包括:
    将所述统计HDFS文件上传命令的命令数除以所述连通的数据节点的数量,得到分配给所述各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。
    进一步地,设置文件服务器上传的每个文件相应的HDFS文件上传命令时,该方法还包括,获取文件服务器上传文件的各文件的文件大??;
    根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。
    另一方面,本申请还提供一种实现文件上传的装置,包括:获取单元、检测单元、设置统计单元和上传单元;其中,
    获取单元,用于获取分布式文件系统HDFS预定数量的数据节点;
    检测单元,用于检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;
    设置统计单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;
    第一上传单元,用于根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。
    进一步地,获取单元具体用于:通过所述文件服务器的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。
    进一步地,检测单元具体用于:
    通过安全外壳协议SSH方式发送查询指令到所述获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量
    进一步地,第一上传单元具体用于:
    将所述统计HDFS文件上传命令的命令数除以所述连通的数据节点的数量,得到分配给各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给所述各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。
    进一步地,该装置还包括获取文件属性单元和第二上传单元;其中,
    获取文件属性单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令时,获取文件服务器上传文件的各文件的文件大??;
    第二上传单元,用于根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。
    本申请技术方案包括:获取分布式文件系统(HDFS)预定数量的数据节点;检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。本发明获取预定数量的HDFS的数据节点,通过检测HDFS中的数据节点的连通性后,将文件服务器上传的每个文件相应的HDFS文件上传命令均分给连通的数据节点,实现文件上传,提高文件上传的效率,降低文件上传的时长消耗。
    附图说明
    此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
    图1为本发明实现文件上传的方法的流程图;
    图2为本发明实现文件上传的装置的结构框图。
    具体实施方式
    图1为本发明实现文件上传的方法的流程图,如图1所示,包括:
    步骤100、获取分布式文件系统(HDFS)预定数量的数据节点。
    本步骤中,获取HDFS预定数量的数据节点具体包括:通过文件服务器 的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。
    需要说明的是,获取文件服务器的带宽利用率,可以通过文件上传的历史文件过程中的信息,也可以通过上传一份测试文件,而从上传该测试文件的过程中获得,获得带宽利用率的方法为本领域技术人员熟知的技术方法,在此不再赘述?;竦么砝寐?,根据设定的带宽可使用的最大比例值,除以带宽利用率,获得HDFS数据节点的预定数量。当然根据技术人员对HDFS网络的数据节点的连通情况(比如一般数据节点连通概率为90%),则带宽可使用的最大比例值可以除以一般数据节点连通概率,进而确保进行数据上传时,数据节点的数量符合实际。
    步骤101、检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量。
    本步骤中,检测获取的预定数量的数据节点的连通性,得到连通的数据节点及连通的数据节点的数量具体包括:
    通过安全外壳协议(SSH)方式发送查询指令到获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量。
    需要说明的是,这里的查询指令是指本领域技术人员熟知的用于查询系统相关信息的简易指令,通过这些查询指令可以间接的获取数据节点的连通性信息,避免由于节点宕机或其他原因的数据节点不工作,影响文件上传。
    步骤102、设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数。
    步骤103、根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。
    本步骤中,根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传具体包括:
    将统计HDFS文件上传命令的命令数除以连通的数据节点的数量,得到分配给各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。
    需要说明的是,本领域技术人员应当知道,在将文件上传命令分配给各数据节点是,一般的需要建立相应的线程,在线程中通过SSH方式分配文件上传命令。
    设置文件服务器上传的每个文件相应的HDFS文件上传命令时,本发明方法还包括:获取文件服务器上传文件的各文件的文件大??;
    根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。
    图2为本发明实现文件上传的装置的结构框图,如图2所示,包括:获取单元、检测单元、设置统计单元和上传单元;其中,
    获取单元,用于获取分布式文件系统(HDFS)预定数量的数据节点。
    获取单元具体用于:通过文件服务器的带宽利用率,确定HDFS数据节点的预定数量,以获取HDFS预定数量的数据节点。
    检测单元,用于检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量。
    检测单元具体用于:
    通过安全外壳协议SSH方式发送查询指令到获取的预定数量的数据节点,通过查询指令的反馈信息确定各数据节点的连通性,获得所有连通的数据节点及连通的数据节点的数量。
    设置统计单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数。
    第一上传单元,用于根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。
    第一上传单元具体用于:
    将统计HDFS文件上传命令的命令数除以连通的数据节点的数量,得到分配给各连通的数据节点的HDFS文件上传命令的命令数;
    按照分配给各连通的数据节点的HDFS文件上传命令的命令数,将相应数量的HDFS文件上传命令分配给各数据节点进行文件上传。
    本发明装置还包括获取文件属性单元和第二上传单元;其中,
    获取文件属性单元,用于设置文件服务器上传的每个文件相应的HDFS文件上传命令时,获取文件服务器上传文件的各文件的文件大??;
    第二上传单元,用于根据各文件的文件大小,统计上传文件的总大??;
    将上传文件的总大小除以连通的数据节点的数量,获得均分给各连通的数据节点上传文件的大??;
    按照均分给各连通的数据节点上传文件的大小,将相应的HDFS文件上传命令发送给相应的数据节点进行文件上传。
    虽然本申请所揭露的实施方式如上,但所述的内容仅为便于理解本申请而采用的实施方式,并非用以限定本申请。任何本申请所属领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本申请的专利?;し段?,仍须以所附的权利要求书所界定的范围为准。

    关 键 词:
    一种 实现 文件 上传 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种实现文件上传的方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6142922.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03