• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩能够赚钱吗: 一种元数据集群动态子树分区方法及装置.pdf

    关 键 词:
    一种 数据 集群 动态 子树 分区 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201710025126.8

    申请日:

    2017.01.13

    公开号:

    CN106598744A

    公开日:

    2017.04.26

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 9/50申请日:20170113|||公开
    IPC分类号: G06F9/50; G06F17/30 主分类号: G06F9/50
    申请人: 郑州云海信息技术有限公司
    发明人: 张延良
    地址: 450018 河南省郑州市郑东新区心怡路278号16层1601室
    优先权:
    专利代理机构: 北京集佳知识产权代理有限公司 11227 代理人: 罗满
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201710025126.8

    授权公告号:

    |||

    法律状态公告日:

    2017.05.24|||2017.04.26

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种元数据集群动态子树分区方法,包括:根据目录结构确定动态子树分区目录级别,所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应;在新建目录时,若新建的目录属于所述动态子树分区目录级别,则向所述新建的目录分配元数据服务;可见,在本方案中,首先确定态子树分区目录级别,然后在该目录级别上新建的目录会依据元数据服务个数,轮询将目录分配到元数据服务上,这样,在这些目录下IO负载就均衡到每个元数据服务上,从而实现元数据集群动态子树分区,提升元数据服务性能;本发明还公开了一种元数据集群动态子树分区装置,同样能实现上述技术效果。

    权利要求书

    1.一种元数据集群动态子树分区方法,其特征在于,包括:
    根据目录结构确定动态子树分区目录级别,所述动态子树分区目录级别下的目录与元
    数据集群中的元数据服务相对应;
    在新建目录时,若新建的目录属于所述动态子树分区目录级别,则向所述新建的目录
    分配元数据服务。
    2.根据权利要求1所述的元数据集群动态子树分区方法,其特征在于,若新建的目录不
    属于所述动态子树分区目录级别,则直接创建目录。
    3.根据权利要求2所述的元数据集群动态子树分区方法,其特征在于,所述若新建的目
    录属于所述动态子树分区目录级别,则向所述新建的目录分配元数据服务,包括:
    若新建的目录属于所述动态子树分区目录级别,则以轮训方式,将所述新建的目录分
    配至所述元数据集群中的元数据服务。
    4.根据权利要求1-3中任意一项所述的元数据集群动态子树分区方法,其特征在于,所
    述根据目录结构确定动态子树分区目录级别,包括:
    将目录结构中新建目录频率大于预定阈值的目录级别,作为所述动态子树分区目录级
    别。
    5.一种元数据集群动态子树分区装置,其特征在于,包括:
    目录级别确定???,用于根据目录结构确定动态子树分区目录级别,所述动态子树分
    区目录级别下的目录与元数据集群中的元数据服务相对应;
    元数据服务分配???,用于在新建目录时,若新建的目录属于所述动态子树分区目录
    级别,则向所述新建的目录分配元数据服务。
    6.根据权利要求5所述的元数据集群动态子树分区装置,其特征在于,包括:
    判断???,用于判断新建的目录是否属于所述动态子树分区目录级别;
    目录创建???,用于在新建的目录不属于所述动态子树分区目录级别时,直接创建目
    录。
    7.根据权利要求6所述的元数据集群动态子树分区装置,其特征在于,所述元数据服务
    分配???,以轮训方式,将所述新建的目录分配至所述元数据集群中的元数据服务。
    8.根据权利要求5-7中任意一项所述的元数据集群动态子树分区装置,其特征在于,所
    述目录级别确定??榻柯冀峁怪行陆柯计德蚀笥谠ざㄣ兄档哪柯技侗?,作为所述动态
    子树分区目录级别。

    说明书

    一种元数据集群动态子树分区方法及装置

    技术领域

    本发明涉及分布式文件系统领域,更具体地说,涉及一种元数据集群动态子树分
    区方法及装置。

    背景技术

    目前,在视频监控应用中,用户会为每个摄像头每天创建一个目录,然后每天将监
    控数据直接写到该目录下,特别是卡口图片的存储,会涉及大量的元数据操作,因此,针对:
    客户应用每天会新建很多目录,然后在这些目录下同时写入大量数据的这种场景,可使用
    元数据集群来提升元数据性能和负载均衡。目前,元数据集群性能提升和负载均衡有两种
    方式:元数据集群静态子树分区和元数据集群动态子树分区。元数据集群静态子树分区容
    易实现,就是通过子树分区命令,手动对已存在的目录进行分区,这种使用方式不友好,也
    不能实现负载的有效均衡。元数据集群动态子树分区是依据一定的元数据负载算法,将负
    载自动均衡到各元数据上,该方式很难实现,目前还没有看到具备动态子树分区的产品。

    因此,如何实现元数据集群的动态子树分区,是本领域技术人员需要解决的问题。

    发明内容

    本发明的目的在于提供及一种元数据集群动态子树分区方法及装置,以实现动态
    的向新建的目录分配元数据服务。

    为实现上述目的,本发明实施例提供了如下技术方案:

    一种元数据集群动态子树分区方法,包括:

    根据目录结构确定动态子树分区目录级别,所述动态子树分区目录级别下的目录
    与元数据集群中的元数据服务相对应;

    在新建目录时,若新建的目录属于所述动态子树分区目录级别,则向所述新建的
    目录分配元数据服务。

    其中,若新建的目录不属于所述动态子树分区目录级别,则直接创建目录。

    其中,所述若新建的目录属于所述动态子树分区目录级别,则向所述新建的目录
    分配元数据服务,包括:

    若新建的目录属于所述动态子树分区目录级别,则以轮训方式,将所述新建的目
    录分配至所述元数据集群中的元数据服务。

    其中,所述根据目录结构确定动态子树分区目录级别,包括:

    将目录结构中新建目录频率大于预定阈值的目录级别,作为所述动态子树分区目
    录级别。

    一种元数据集群动态子树分区装置,包括:

    目录级别确定???,用于根据目录结构确定动态子树分区目录级别,所述动态子
    树分区目录级别下的目录与元数据集群中的元数据服务相对应;

    元数据服务分配???,用于在新建目录时,若新建的目录属于所述动态子树分区
    目录级别,则向所述新建的目录分配元数据服务。

    其中,包括:

    判断???,用于判断新建的目录是否属于所述动态子树分区目录级别;

    目录创建???,用于在新建的目录不属于所述动态子树分区目录级别时,直接创
    建目录。

    其中,所述元数据服务分配???,以轮训方式,将所述新建的目录分配至所述元数
    据集群中的元数据服务。

    其中,所述目录级别确定??榻柯冀峁怪行陆柯计德蚀笥谠ざㄣ兄档哪柯技?br />别,作为所述动态子树分区目录级别。

    通过以上方案可知,本发明实施例提供的一种元数据集群动态子树分区方法,包
    括:根据目录结构确定动态子树分区目录级别,所述动态子树分区目录级别下的目录与元
    数据集群中的元数据服务相对应;在新建目录时,若新建的目录属于所述动态子树分区目
    录级别,则向所述新建的目录分配元数据服务;

    可见,在本方案中,首先根据新建目录的频率确定态子树分区目录级别,然后在该
    目录级别上新建的目录会依据元数据服务个数,轮询将目录分配到元数据服务上,这样,在
    这些目录下IO负载就均衡到每个元数据服务上,从而实现元数据集群动态子树分区,提升
    元数据服务性能;本发明还公开了一种元数据集群动态子树分区装置,同样能实现上述技
    术效果。

    附图说明

    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现
    有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本
    发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
    根据这些附图获得其他的附图。

    图1为本发明实施例公开的一种元数据集群动态子树分区方法流程示意图;

    图2为本发明实施例公开的一种具体的元数据集群动态子树分区方法流程示意
    图;

    图3为本发明实施例公开的动态子树分区示意图;

    图4为本发明实施例公开的一种元数据集群动态子树分区装置结构示意图。

    具体实施方式

    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
    整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例?;?br />本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
    实施例,都属于本发明?;さ姆段?。

    本发明实施例公开了一种元数据集群动态子树分区方法及装置,以实现动态的向
    新建的目录分配元数据服务。

    参见图1,本发明实施例提供的一种元数据集群动态子树分区方法,包括:

    S101、根据目录结构确定动态子树分区目录级别,所述动态子树分区目录级别下
    的目录与元数据集群中的元数据服务相对应;

    其中,所述根据目录结构确定动态子树分区目录级别,包括:

    将目录结构中新建目录频率大于预定阈值的目录级别,作为所述动态子树分区目
    录级别。

    具体的,在本实施例中,首先需要在存储系统界面中提供设置文件系统目录级别
    的操作界面,用户依据用户目录结构指定需要动态子树分区的目录级别。比如文件系统目
    录结构为/a/b/c/,/为文件系统根目录,a为1级目录,b为2级目录,c为3级目录,若将1级目
    录确定为动态子树分区目录级别,则设置好目录级别后,在这一级创建的目录会自动分配
    元数据服务,在该级目录下写入的数据直接和分配的元数据服务通信,即每个元数据服务
    承担属于它的负载。

    S102、在新建目录时,若新建的目录属于所述动态子树分区目录级别,则向所述新
    建的目录分配元数据服务;其中,若新建的目录不属于所述动态子树分区目录级别,则直接
    创建目录。

    所述若新建的目录属于所述动态子树分区目录级别,则向所述新建的目录分配元
    数据服务,包括:

    若新建的目录属于所述动态子树分区目录级别,则以轮训方式,将所述新建的目
    录分配至所述元数据集群中的元数据服务。

    具体的,参见图2,为本实施例提供的具体的元数据集群动态子树分区方法,在创
    建目录时,若检测到创建的目录为子树分区目录,则创建时进行子树分区处理,自动向该目
    录分配元数据服务;若创建的目录不为子树分区目录,则直接创建,不进行子树分区处理。
    并且在将创建的目录分配至元数据服务时,可以以轮询的方式进行分配。

    具体的,参见图3,为本实施例提供的动态子树分区示意图,若用户依据应用设置
    元数据集群的动态子树分区目录级别为图3中标注部分,也就是dir1的1级目录;客户端运
    行应用程序,进行用户数据存储。在新建目录时,检查该目录是否为动态子树分区目录,若
    新建目录属于dir1的1级目录,则将目录分配一个元数据服务;如果不是,直接创建目录。

    需要说明的是,本方案主要针对类似视频监控中图片和录像存储应用场景提出的
    一种元数据集群动态子树分区。该类应用场景特征:每天按照监控摄像头个数新建对应目
    录,然后向这些目录中保存图片和视频数据。这类数据在几KB到几MB大小不等,摄像头数量
    上百个,数据存储中对元数据压力较大。

    针对上述应用场景,在文件系统中部署N个元数据服务,当创建这些特征目录时,
    自动将目录指定到某个元数据服务上,一般使用轮询分配方式。这样,在目录下写入数据
    后,直接去指定元数据服务上发送IO请求,即能达到元数据压力负责均衡效果,又能实现元
    数据性能的线性增长。

    下面对本发明实施例提供的动态子树分区装置进行介绍,下文描述的动态子树分
    区装置与上文描述的动态子树分区方法可以相互参照。

    参见图4,本发明实施例提供的一种元数据集群动态子树分区装置,包括:

    目录级别确定???00,用于根据目录结构确定动态子树分区目录级别,所述动态
    子树分区目录级别下的目录与元数据集群中的元数据服务相对应;

    元数据服务分配???00,用于在新建目录时,若新建的目录属于所述动态子树分
    区目录级别,则向所述新建的目录分配元数据服务。

    基于上述实施例,在本实施例中包括:

    判断???,用于判断新建的目录是否属于所述动态子树分区目录级别;

    目录创建???,用于在新建的目录不属于所述动态子树分区目录级别时,直接创
    建目录。

    基于上述实施例,所述元数据服务分配???,以轮训方式,将所述新建的目录分配
    至所述元数据集群中的元数据服务。

    基于上述实施例,所述目录级别确定??榻柯冀峁怪行陆柯计德蚀笥谠ざㄣ?br />值的目录级别,作为所述动态子树分区目录级别。

    综上可见,在本实施例提供的一种元数据集群动态子树分区实现方法:首先确定
    每天或定期新建目录的目录级别,然后在目录级别上创建的目录会依据元数据服务个数,
    轮询将目录分配到元数据服务上。这样,在这些目录下IO负载就均衡到每个元数据服务上。
    该方法只需用户指定好需要动态子树分区的目录级别,在实际应用中就可实现元数据集群
    动态子树分区。同时能线性的提升元数据服务性能。这种元数据集群动态子树分区功能可
    以做到存储系统管理界面中,供用户配置使用。

    需要说明的是,本实施例提出了分布式文件系统中元数据集群动态子树分区实现
    方法,该元数据集群动态子树分区功能主要是实现客户端在海量文件操作中元数据压力负
    载平衡和性能提升。元数据作为分布式文件系统的一个重要角色,维护了整个文件系统的
    目录结构,在小文件应用场景中,对元数据和数据压力都很大。本方案从提升元数据性能角
    度出发,通过动态子树分区实现元数据负载均衡和性能提升。

    本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他
    实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

    对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。
    对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的
    一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明
    将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一
    致的最宽的范围。

    关于本文
    本文标题:一种元数据集群动态子树分区方法及装置.pdf
    链接地址://www.4mum.com.cn/p-6028053.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 总进球数竞彩 快乐10分公告 重庆时时彩开奖号码时时 牌九怎么认识 微信捕鱼达人怎么赚钱 广西快三预测号码 广东好彩1分布图 七星彩走势图 福建十一选五开奖 1993年象棋冠军邓有帮 双彩网苹果 正宗山东麻将 湖北30选5今天开奖号码 棋牌游戏中心 快乐飞艇是官方网址 2018年管家婆54期码报