• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 7
    • 下载费用:30 金币  

    重庆时时彩赢点小钱: 一种基于GLUSTERFS集群文件系统的纠删组内扩容的方法.pdf

    关 键 词:
    一种 基于 GLUSTERFS 集群 文件系统 纠删组内 扩容 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610896470.X

    申请日:

    2016.10.13

    公开号:

    CN106372259A

    公开日:

    2017.02.01

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20161013|||公开
    IPC分类号: G06F17/30; G06F3/06 主分类号: G06F17/30
    申请人: 北京鲸鲨软件科技有限公司
    发明人: 王晓强; 贾德明
    地址: 100195 北京市海淀区玉泉山闵庄路3号玉泉慧谷31号楼一层101室
    优先权:
    专利代理机构: 北京风雅颂专利代理有限公司 11403 代理人: 李莎;李弘
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610896470.X

    授权公告号:

    |||

    法律状态公告日:

    2017.03.01|||2017.02.01

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种基于glusterfs集群文件系统的纠删组内扩容的方法,包括:修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关系索引,允许volume内存在不同类型的纠删组;允许存储介质被多个进程管理,当存储介质格式化挂载后,在挂载点内创建多个子目录,并将所述子目录组成纠删组。突破gluster自身的架构限制,允许同一volume中存在不同类型的纠删组。实现glusterfsd进程与存储介质多对一,突破原glsuterfs进程和存储介质一对一的关系,使架构更灵活。充分利用glusterfs自带的功能实现纠删组扩容,对原代码改动较小,更容易实现。

    权利要求书

    1.一种基于glusterfs集群文件系统的纠删组内扩容的方法,其特征在于,包括:
    修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关系索引,允
    许volume内存在不同类型的纠删组;
    允许存储介质被多个进程管理,当存储介质格式化挂载后,在挂载点内创建多个子目
    录,并将所述子目录组成纠删组。
    2.根据权利要求1所述的基于glusterfs集群文件系统的纠删组内扩容的方法,其特征
    在于,当进行组内扩容时,在原介质磁盘的挂载点内分别创建第一子目录,组成第一纠删
    组;
    根据扩容需求增加对应的介质磁盘,并在所述原介质磁盘和新增的介质磁盘内分别创
    建第二子目录,组成第二纠删组,将所述第二纠删组添加到服务器中;
    将所述第一纠删组内的数据转移到所述第二就删组内,删除所述第一子目录,并将所
    述第一纠删组从所述服务器中删除。
    3.根据权利要求2所述的基于glusterfs集群文件系统的纠删组内扩容的方法,其特征
    在于,所述将所述第一纠删组内的数据转移到所述第二就删组内的过程可根据业务需求暂
    ?;蛑匦驴?。
    4.根据权利要求2所述的基于glusterfs集群文件系统的纠删组内扩容的方法,其特征
    在于,还包括对增加的介质磁盘进行格式化。
    5.根据权利要求4所述的基于glusterfs集群文件系统的纠删组内扩容的方法,其特征
    在于,格式化的增加的介质磁盘的格式包括:xfs格式和ext4格式。

    说明书

    一种基于glusterfs集群文件系统的纠删组内扩容的方法

    技术领域

    本发明涉及分布式文件系统领域,特别是指一种基于glusterfs集群文件系统的
    纠删组内扩容的方法。

    背景技术

    glusterfs(Gluster File System)是自由软件主要应用在集群系统中,具有很好
    的可扩展性。软件的结构设计良好,易于扩展和配置,通过各个??榈牧榛畲钆湟缘玫秸攵?br />性的解决方案??山饩鲆韵挛侍猓和绱娲?,联合存储(融合多个节点上的存储空间),冗余
    备份,大文件的负载均衡(分块)。目前glusterfs在一个volume内只允许存在多组相同类型
    的纠删组(即各个纠删组的数据盘数和校验盘数必须相等),而且扩容只能实现整组扩容,
    无法实现组内扩容,即无法实现增减某纠删组内的数据盘或校验盘。

    纠删码(Erasure Code)作为一种前向错误纠正技术主要应用在网络传输中避免
    包的丢失,存储系统利用它来提高存储可靠性。将要存储在系统中的文件分割成k块,然后
    对其编码得到的n个文件分片并进行分布存储,则只需存在k个可用的文件分片,就可以重
    构出原始文件。

    纠删码提供的?;た梢杂孟旅嬲飧黾虻サ墓嚼幢硎荆簄=k+m。变量“k”代表原始
    数据或符号的值。变量“m”代表故障后添加的提供?;さ亩钔饣蛉哂喾诺闹?。变量“n”代
    表纠删码过程后创建的符号的总值。

    目前glusterfs架构不灵活,在一个volume内只允许存在多组相同类型的纠删组,
    而且扩容只能实现整组扩容,无法实现组内扩容,即无法实现增减某纠删组内的数据盘或
    校验盘。

    发明内容

    有鉴于此,本发明的目的在于提出一种能够在纠删组内实现增加数据盘和校验盘
    的基于glusterfs集群文件系统的扩容的方法。

    基于上述目的本发明提供的一种基于glusterfs集群文件系统的纠删组内扩容的
    方法,包括:

    修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关系索
    引,允许volume内存在不同类型的纠删组;

    允许存储介质被多个进程管理,当存储介质格式化挂载后,在挂载点内创建多个
    子目录,并将所述子目录组成纠删组。

    在一些实施例中,当进行组内扩容时,在原介质磁盘的挂载点内分别创建第一子
    目录,组成第一纠删组;

    根据扩容需求增加对应的介质磁盘,并在所述原介质磁盘和新增的介质磁盘内分
    别创建第二子目录,组成第二纠删组,将所述第二纠删组添加到服务器中;

    将所述第一纠删组内的数据转移到所述第二就删组内,删除所述第一子目录,并
    将所述第一纠删组从所述服务器中删除。

    在一些实施例中,所述将所述第一纠删组内的数据转移到所述第二就删组内的过
    程可根据业务需求暂?;蛑匦驴?。

    在一些实施例中,还包括对增加的介质磁盘进行格式化。

    在一些其他实施例中,格式化的增加的介质磁盘的格式包括:xfs格式和ext4格
    式。

    从上面所述可以看出,本发明提供的基于glusterfs集群文件系统的纠删组内扩
    容的方法,包括:修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关
    系索引,允许volume内存在不同类型的纠删组;允许存储介质被多个进程管理,当存储介质
    格式化挂载后,在挂载点内创建多个子目录,并将所述子目录组成纠删组。突破gluster自
    身的架构限制,允许同一volume中存在不同类型的纠删组。实现glusterfsd进程与存储介
    质多对一,突破原glsuterfs进程和存储介质一对一的关系,使架构更灵活。充分利用
    glusterfs自带的功能实现纠删组扩容,对原代码改动较小,更容易实现。

    附图说明

    图1为本发明基于glusterfs集群文件系统的纠删组内扩容的方法的一个实施例
    的流程图。

    具体实施方式

    为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照
    附图,对本发明进一步详细说明。

    本发明提供一种基于glusterfs集群文件系统的纠删组内扩容的方法,包括:

    修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关系索
    引,允许volume内存在不同类型的纠删组;

    允许存储介质被多个进程管理,当存储介质格式化挂载后,在挂载点内创建多个
    子目录,并将所述子目录组成纠删组。

    本发明的方法,突破gluster自身的架构限制,允许同一volume中存在不同类型的
    纠删组。实现glusterfsd进程与存储介质多对一,突破原glsuterfs进程和存储介质一对一
    的关系,使架构更灵活。充分利用glusterfs自带的功能实现纠删组扩容,对原代码改动较
    小,更容易实现。

    作为本发明的一个实施例,当进行组内扩容时,在原介质磁盘的挂载点内分别创
    建第一子目录,组成第一纠删组;

    根据扩容需求增加对应的介质磁盘,并在所述原介质磁盘和新增的介质磁盘内分
    别创建第二子目录,组成第二纠删组,将所述第二纠删组添加到服务器中;

    将所述第一纠删组内的数据转移到所述第二就删组内,删除所述第一子目录,并
    将所述第一纠删组从所述服务器中删除。

    作为本发明的另一个实施例,所述将所述第一纠删组内的数据转移到所述第二就
    删组内的过程可根据业务需求暂?;蛑匦驴?。

    在本发明的一些实施例中,还包括对增加的介质磁盘进行格式化。

    在本发明的一些其他实施例中,格式化的增加的介质磁盘的格式包括:xfs格式和
    ext4格式。

    如图1所示,为本发明基于glusterfs集群文件系统的纠删组内扩容的方法的一个
    实施例的流程图,从图中可以看出,本实施例的基于glusterfs集群文件系统的纠删组内扩
    容的方法包括以下步骤:

    步骤101:修改giusterfs代码,增加纠删组关系索引,不再依赖原简单计算获取组
    关系的方式,依次支持同一volume内允许存在不同类型的纠删组;

    步骤102:改变glusterfs对存储介质只能被一个glusterfsd进程管理的使用方
    式,存储介质格式化挂载后,在挂载点内创建多个子目录,每个子目录作为一个brick(块),
    以此实现同一存储介质被多个glusterfsd进程共享,且可以实现容量动态共享。

    步骤103:在原介质磁盘的挂载店内创建第一子目录,并将所述第一子目录组成第
    一纠删组;

    步骤104:当进行组内扩容时,新增介质磁盘,所述新增介质磁盘包括数据盘和校
    验盘,在原有介质磁盘和新增的介质磁盘的挂载点内创建第二子目录,并将所述第二子目
    录组成第二纠删组;

    步骤105:将所述第二纠删组添加到服务器中;

    步骤106:将所述第一纠删组内的数据转移到第二纠删组内;

    步骤107:删除所述第一子目录,并从服务器中删除第一纠删组。

    从而实现了第二纠删组代替第一纠删组继续提供服务。

    本发明的方法,通过修改glusterfs管理系统(MGMT)代码,增加volume内部纠删组
    关系索引,使其支持在同一volume内允许存在不同类型的纠删组,突破gluster自身的架构
    限制。

    改变glusterfs对存储介质只能被一个glusterfsd进程管理的使用方式,通过创
    建子目录实现同一存储介质被多个glusterfsd进程共享,且可以实现容量动态共享,使架
    构更灵活。

    为了使本发明的方案更容易被理解,现举例说明本发明的技术方案:

    假设纠删组test-disperse-X(2+1)扩容成(3+2),即数据盘增加1,校验盘增加1。
    具体操作步骤如下:

    在三块磁盘介质的挂载点Disk1,Disk2,Disk3内分别创建子目录BrickX,由
    Disk1/BrickX,Disk2/BrickX,Disk3/BrickX组成test-disperse-X纠删组(此步骤在创建
    初始化volume时完成,步骤2、3、4是在线扩容步骤)。

    新增加两块磁盘介质,并格式化(格式化为xfs或ext4等)后挂载至Disk4,Disk5。

    在Disk1,Disk2,Disk3,Disk4,Disk5内分别创建子目录BrickY,使用gluster
    volume add-brick命令将Disk1/BrickY,Disk2/BrickY,Disk3/BrickY,Disk4/BrickY,
    Disk5/BrickY组成3+2类型名为test-disperse-Y的纠删组添加到服务中,至此扩容第一步
    完成。

    使用gluster volume remove-brick命令将test-disperse-X从服务中移除,移除
    过程中会将test-disperse-X组内的数据迁移至test-disperse-Y中,整个迁移过程可根据
    业务压力暂?;蛑匦驴?。test-disperse-X移除成功后,删除Disk1,Disk2,Disk3中的
    BrickX目录,test-disperse-Y接收原test-disperse-X中的数据并完全享有Disk1,Disk2,
    Disk3,Disk4,Disk5五个存储介质的全部存储空间。即test-disperse-Y代替原test-
    disperse-X继续提供服务,而整个过程对用户是透明的,至此由2+1变为3+2的扩容工作完
    成。

    本发明通过修改glusterfs管理系统(MGMT)代码,增加volume内部纠删组关系索
    引,使其支持在同一volume内允许存在不同类型的纠删组,突破gluster自身的架构限制。

    改变glusterfs对存储介质只能被一个glusterfsd进程管理的使用方式,通过创
    建子目录实现同一存储介质被多个glusterfsd进程共享,且可以实现容量动态共享,使架
    构更灵活。

    充分利用glusterfs自带的add-brick、remove-brick功能实现纠删组的扩容。

    此外,领用本发明的技术方案,还可以实现纠删组缩容功能,

    需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两
    个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应
    理解为对本发明实施例的限定,后续实施例对此不再一一说明。

    所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非
    旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例
    或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如
    上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。

    另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可
    以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以
    以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这
    些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当
    完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的
    示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节
    的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明
    性的而不是限制性的。

    尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描
    述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例
    如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。

    本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、
    修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进
    等,均应包含在本发明的?;し段е?。

    关于本文
    本文标题:一种基于GLUSTERFS集群文件系统的纠删组内扩容的方法.pdf
    链接地址://www.4mum.com.cn/p-6014018.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 赛车5码技巧稳赚方法 冷热温6码轮换 重庆彩组选包胆 北赛车pk10直播链接 pk10技巧高手赚钱方法如下 上海时时论坛 上海快三计划软件 免费 p62开奖中特别号有奖吗 时时彩买什么稳赚 北京时时规律破解教程 pk10公式计划软件安卓 皇家时时彩计划软件 北京pk10app破解版 北京pk赛车倍投技巧 3d单选 飞艇冠军6码计划