• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 6
    • 下载费用:30 金币  

    重庆时时彩票的分析: 一种分布式文件系统数据迁移的方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410005142.7

    申请日:

    2014.01.06

    公开号:

    CN103793475A

    公开日:

    2014.05.14

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140106|||公开
    IPC分类号: G06F17/30; H04L29/08 主分类号: G06F17/30
    申请人: 无锡城市云计算中心有限公司
    发明人: 郭照斌; 季旻; 姜国梁; 马振杰; 杨鹏
    地址: 214135 江苏省无锡市新区震泽路18号国家软件园鲸鱼座B-2
    优先权:
    专利代理机构: 北京安博达知识产权代理有限公司 11271 代理人: 徐国文
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410005142.7

    授权公告号:

    103793475B||||||

    法律状态公告日:

    2017.06.06|||2014.07.30|||2014.05.14

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种分布式文件系统数据迁移的方法,该方法包括:数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。

    权利要求书

    权利要求书
    1.  一种分布式文件系统数据迁移的方法,其特征在于,所述方法包括:分布式文件系统数据迁移时,迁移的源文件选择为经常修改或写入的分布式文件,对于正在迁移的分布式文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,未修改的数据再迁移;
    所述方法包括下述步骤:
    (1)通过对分布式文件的修改或写入访问次数统计,确定访问频次高的分布式文件为迁移的源文件;
    (2)当有数据写入源文件时,客户端向元数据服务器获取布局信息后,发送到指定的源节点;
    (3)源节点在迁移的目的节点上创建索引节点,然后将数据转发到索引节点上;
    (4)索引节点完成数据写入后返回给源节点,源节点修改索引记录;
    (5)源节点返回给客户端,完成写入,并且相当于完成该块数据的迁移工作;
    (6)后台控制器对没有写入过的内容做迁移,即从源节点复制出数据写到目的节点上,并记录写入的索引记录;
    (7)当源节点上的内容均迁移到索引节点后,通知元数据服务器修改文件布局信息,删除本地对象,至此分布式文件数据迁移完毕。

    2.  如权利要求1所述的方法,其特征在于,所述修改或新写入的数据直接写入到待迁移的目的节点上包括下述方式:
    方式1:数据到达源节点时,由源节点直接转发到待迁移的目的节点上;
    方式2:写入时由客户端直接写到待迁移的目的节点上,然后通知源节点的对象。

    3.  如权利要求1所述的方法,其特征在于,所述原有数据上建立新数据的索引包括:通过位图文件bitmap、数组或树结构建立源节点和目的节点的索引关系;
    按客户端的最小操作单位4K对应1bit记录源节点和目的节点的关系,即每写入一次,将对应偏移处的位图文件bitmap、数组或树结构置为1。

    4.  如权利要求1所述的方法,其特征在于,所述步骤(3)中,源节点查看读取的内容是否在索引节点上,若是则读取索引节点上的内容;若否,则直接读取本地内容返回。

    说明书

    说明书一种分布式文件系统数据迁移的方法
    技术领域
    本发明涉及计算机领域,具体涉及一种分布式文件系统数据迁移的方法。
    背景技术
    分布式文件系统一般包含客户端,元数据服务器和数据服务器,客户端负责文件数据的访问接口制定,元数据服务器处理文件的布局及基本属性,数据服务器存储文件的数据内容。
    各个数据服务节点间的负载,容量均衡常常对整个系统的性能和稳定性有很大的影响,而在线扩容,也即添加新节点又是一个分布式文件系统必备的特征,而新节点的添加必然导致整个分布式文件系统新老节点在容量和负载上的不均衡,而数据迁移是解决该问题的常用方法。
    传统的数据迁移,选择的源文件为不经常访问的文件,以期达到正常写入和迁移的互相干扰,但这种方法均衡起来比较慢,且对正在迁移的文件进行修改或写入操作会导致迁移失败,从而导致之前已迁移数据占用了无效的网络带宽和磁盘io。
    发明内容
    针对现有技术的不足,本发明的目的是提供一种分布式文件系统数据迁移的方法,本发明提出了选择经常访问的文件为源文件,可以达到快速的均衡,且不会导致网络带宽和磁盘io的浪费。
    本发明的目的是采用下述技术方案实现的:
    本发明提供一种分布式文件系统数据迁移的方法,其改进之处在于,所述方法包括:分布式文件系统数据迁移时,迁移的源文件选择为经常修改或写入的分布式文件,对于正在迁移的分布式文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,未修改的数据再迁移;
    所述方法包括下述步骤:
    (1)通过对分布式文件的修改或写入访问次数统计,确定访问频次高的分布式文件为迁移的源文件;
    (2)当有数据写入源文件时,客户端向元数据服务器获取布局信息后,发送到指定的源节点(源文件的布局位置所在的节点为源节点,一个源文件可对应多个源节点);
    (3)源节点在迁移的目的节点上创建索引节点,然后将数据转发到索引节点上;
    (4)索引节点完成数据写入后返回给源节点,源节点修改索引记录;
    (5)源节点返回给客户端,完成写入,并且相当于完成该块数据的迁移工作;
    (6)后台控制器对没有写入过的内容做迁移,即从源节点复制出数据写到目的节点上,并记录写入的索引记录;
    (7)当源节点上的内容均迁移到索引节点后,通知元数据服务器修改文件布局信息,删除本地对象(本地对象为源节点上对应的文件数据内容,可将本地对象均替换为源节点对应的文件数据内容),至此分布式文件数据迁移完毕。
    进一步地,所述修改或新写入的数据直接写入到待迁移的目的节点上包括下述方式:
    方式1:数据到达源节点时,由源节点直接转发到待迁移的目的节点上;
    方式2:写入时由客户端直接写到待迁移的目的节点上,然后通知源节点的对象。
    进一步地,所述原有数据上建立新数据的索引包括:通过位图文件bitmap、数组或树结构建立源节点和目的节点的索引关系;
    按客户端的最小操作单位4K对应1bit记录源节点和目的节点的关系,即每写入一次,将对应偏移处的位图文件bitmap、数组或树结构置为1。
    进一步地,所述步骤(3)中,源节点查看读取的内容是否在索引节点上,若是则读取索引节点上的内容;若否,则直接读取本地内容返回。
    与现有技术比,本发明达到的有益效果是:
    本发明提供的分布式文件系统数据迁移的方法,该方法选择经常访问的文件为源文件,可以达到快速的均衡,且不会导致网络带宽和磁盘io的浪费。数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。
    附图说明
    图1是本发明提供的数据迁移写入的流程图。
    具体实施方式
    下面结合附图对本发明的具体实施方式作进一步的详细说明。
    本发明提供一种分布式文件系统数据迁移的方法,所述方法包括:分布式文件系统数据 迁移时,迁移的源文件选择为经常修改或写入的分布式文件,对于正在迁移的分布式文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,未修改的数据再迁移;
    数据迁移写入的流程图如图1所示,包括下述步骤:
    (1)通过对分布式文件的修改或写入访问次数统计,确定访问频次高的分布式文件为迁移的源文件;
    (2)当有数据写入源文件时,客户端向元数据服务器获取布局信息后,发送到指定的源节点(源文件和源节点两者是什么关系);
    (3)源节点在迁移的目的节点上创建索引节点,然后将数据转发到索引节点上;
    (4)索引节点完成数据写入后返回给源节点,源节点修改索引记录;
    (5)源节点返回给客户端,完成写入,并且相当于完成该块数据的迁移工作;
    (6)后台控制器对没有写入过的内容做迁移,即从源节点复制出数据写到目的节点上,并记录写入的索引记录;
    (7)当源节点上的内容均迁移到索引节点后,通知元数据服务器修改文件布局信息,删除本地对象(本地对象指的是什么?),至此分布式文件数据迁移完毕。
    修改或新写入的数据直接写入到待迁移的目的节点上包括下述方式:
    方式1:数据到达源节点时,由源节点直接转发到待迁移的目的节点上;
    方式2:写入时由客户端直接写到待迁移的目的节点上,然后通知源节点的对象。
    原有数据上建立新数据的索引包括:通过位图文件bitmap、数组或树结构建立源节点和目的节点的索引关系。
    A.数据索引的记录方法:
    可以通过位图文件bitmap的形式记录,按客户端的最小操作单位4K对应1bit记录源对象和目的对象的关系,即每写入一次,将对应偏移处的bitmap置为1.
    B.下面阐述在迁移过程中数据是如何被客户端正常访问到的:
    <1>当客户端需要读取文件时,向元数据服务器获取布局之后,发送到指定的源节点
    <2>源节点查看读取的内容是否在索引对象上,若是则读取索引对象上的内容,若否,则直接读取本地内容返回。
    本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。
    最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照 上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。

    关 键 词:
    一种 分布式 文件系统 数据 迁移 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种分布式文件系统数据迁移的方法.pdf
    链接地址://www.4mum.com.cn/p-6156703.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03