• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:20 金币  

    重庆时时彩直播间: 分布式文件系统及均衡元数据存储和访问负载的实现方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410069893.5

    申请日:

    2014.02.28

    公开号:

    CN103793534A

    公开日:

    2014.05.14

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 文件的公告送达IPC(主分类):G06F 17/30收件人:苏州博纳讯动软件有限公司文件名称:缴费通知书|||授权|||著录事项变更IPC(主分类):G06F 17/30变更事项:申请人变更前:苏州博纳讯动软件有限公司变更后:苏州博纳讯动软件有限公司变更事项:地址变更前:215213 江苏省苏州市苏州工业园区星湖街328号创意产业园4-A301单元变更后:215213 江苏省苏州市苏州工业园区崇文路199号富华大厦四楼南|||文件的公告送达IPC(主分类):G06F 17/30收件人:苏州博纳讯动软件有限公司文件名称:发明专利申请初步审查合格通知书|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140228|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 苏州博纳讯动软件有限公司
    发明人: 郁岐锋; 花磊
    地址: 215213 江苏省苏州市苏州工业园区星湖街328号创意产业园4-A301单元
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410069893.5

    授权公告号:

    |||||||||||||||

    法律状态公告日:

    2018.07.20|||2017.09.08|||2016.12.07|||2014.07.16|||2014.07.02|||2014.05.14

    法律状态类型:

    文件的公告送达|||授权|||著录事项变更|||文件的公告送达|||实质审查的生效|||公开

    摘要

    本发明属于计算机技术领域,具体涉及一种分布式文件系统,以及在该系统上实现的元数据存储负载和访问负载的均衡方法;本发明通过设计分布式文件系统,并在该系统上实现了一种新的客户端元数据访问方法、元数据服务器之间元数据存储负载均衡方法、以及元数据访问负载均衡和高可用方法,使本发明可以实现在减轻元数据服务器访问负载的同时,保证元数据存储负载和访问负载在元数据服务器之间平衡。

    权利要求书

    权利要求书
    1.  一种分布式文件系统,其特征在于,由客户端,元数据服务器和存储服务器三部分组成;
    所述的客户端包括客户端元数据缓存??楹涂突Ф嗽莘梦誓??;
    所述的元数据服务器分配有元数据目录树形式的元数据,元数据服务器维护一棵或多棵元数据目录子树,并记录:
    本地元数据存储负载Mcount;
    所有元数据服务器的总元数据存储负载TMcount;
    路径和元数据服务器映射表PMT。
    元数据服务器维护的每棵元数据目录子树对应元数据目录树中的一个目录节点,即元数据目录子树根节点,有其对应的路径。

    2.  根据权利要求1所述的分布式文件系统,其特征在于,所述的元数据服务器为多个,共同组成元数据服务器集群。

    3.  根据权利要求1所述的分布式文件系统,其特征在于,所述的存储服务器为多个,共同组成存储服务器集群。

    4.  一种在权利要求1所述的分布式文件系统上实现的客户端元数据访问方法,其特征在于,包括以下步骤:
    步骤10、开始访问元数据;
    步骤11、客户端查询需访问的元数据是否在本地元数据缓存MDCache中,如果:
    是,进入步骤12;
    否,进入步骤15;
    步骤12、完成元数据访问;
    步骤13、判断元数据是否被修改,如果:
    是,进入步骤14;
    否,进入步骤18;
    步骤14、将修改同步到维护该元数据的元数据服务器,进入步骤18;
    步骤15、对比需访问的元数据路径名与路径元数据服务器映射表PMT中路径名, 找出最长匹配,返回最长匹配对应的元数据服务器地址addr;
    步骤16、向地址为addr的元数据服务器发送元数据访问请求并获得返回结果;
    步骤17、根据返回结果更新本地元数据缓存;
    步骤18、元数据访问结束。

    5.  一种在权利要求1所述的分布式文件系统上实现的元数据服务器之间元数据存储负载均衡方法,
    定义分布式文件系统根目录的子目录为一级目录,每个元数据服务器维护一棵或多棵分布式文件系统元数据目录子树,每棵子树中的目录节点维护一个本目录下的元数据计数,记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i,元数据总计数TMcount表示所有元数据服务器上元数据计数的总和,N表示元数据服务器数量,
    其特征在于,包括以下四个步骤:存储负载均衡初始化、初始阈值、目录子树迁移和目录子树合并;
    所述的存储负载均衡初始化具体为:在分布式文件系统初始创建启用时,将新创建的一级目录逐个存放到各个元数据服务器上;元数据目录树中,一级目录下所有目录和文件的元数据,与该一级目录元数据存储在同一个元数据服务器上,使元数据均匀分布到各个元数据服务器上;
    所述的初始阈值具体为:设定初始阈值INP,当元数据服务器上存储的元数据计数小于初始阈值INP时,元数据服务器不对外进行元数据迁移;
    所述的目录子树迁移的总体原则是将元数据服务器存储负载较大的节点迁移到负载较小的节点,具体为包括以下步骤:
    步骤20:设置一个在0和1之间的负载系数α,设置具有δ>δ’>0关系的两个负载增量值δ和δ’;
    步骤21:对比记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i与初始阈值INP之间的大小关系,如果:
    Mcount_i>INP:进入步骤22;
    Mcount_i=INP:进入步骤26;
    Mcount_i<INP:进入步骤26;
    步骤22:按照如下公式计算迁移触发阈值MP:
    MP=min((1+α)×Tmcount/N,Tmcount/N+δ)
    步骤23:对比记号为i的元数据服务器维护一个自身的元数据计数总值Mcount_i与迁移触发阈值MP之间的大小关系,如果:
    Mcount_i>MP:进入步骤24;
    Mcount_i=MP:进入步骤26;
    Mcount_i<MP:进入步骤26;
    步骤24:选择(0,Mcount_i-Tmcount/N+δ’)区间内元数据计数位最接近Mcount_i-Tmcount/N的目录Dir;
    步骤25:在元数据服务器中选择存储负载最小的元数据服务器,触发迁移以Dir为根节点的子树;
    步骤26:结束目录子树迁移;
    所述的目录子树合并具体包括以下步骤:
    步骤30:遍历元数据服务器上的所有子树对;
    步骤31:判断每个子树对是否可以合并,如果:
    是:进行合并后,进入步骤32;
    否:直接进入步骤32;
    步骤32:判断一次遍历过程中是否存在可以合并的子树对,如果:
    是:进入步骤30;
    否:进入步骤33;
    步骤33:结束整个合并过程。

    6.  根据权利要求5所述的元数据服务器之间元数据存储负载均衡方法,其特征在于,所述的步骤31具体包括以下步骤:
    步骤310:判断两个节点之间是否存在祖先节点与子孙节点的关系,如果:
    是:进入步骤311;
    否,进入步骤313;
    步骤311:定义祖先节点为P1节点,子孙节点为P2节点,检查路径和元数据服务器映射表中的每条记录;
    步骤312:判断是否存在PMT表的记录,如果:
    是:对应的目录子树根节点为P1节点的子孙,为P2节点的祖先;
    否:进行子树合并,更新PMT表;
    步骤313:结束子树对是否可以合并的计算。

    7.  一种在权利要求1所述的分布式文件系统上实现的元数据访问负载均衡和高可用方法,其特征在于,为每台元数据服务都配置一台或多台备份主机,所述的备份主机存储相同的元数据副本。

    关 键 词:
    分布式 文件系统 均衡 数据 存储 访问 负载 实现 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:分布式文件系统及均衡元数据存储和访问负载的实现方法.pdf
    链接地址://www.4mum.com.cn/p-6158937.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03