• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:20 金币  

    重庆时时彩三星012路走势图: 一种基于远程日志备份的HBASE数据可用性及持久性的方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410095611.9

    申请日:

    2014.03.14

    公开号:

    CN103870570A

    公开日:

    2014.06.18

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||专利申请权的转移IPC(主分类):G06F17/30变更事项:申请人变更前权利人:广州携智信息科技有限公司变更后权利人:上海艾讯云计算有限公司变更事项:地址变更前权利人:510000 广东省广州市天河区黄埔大道西路33号23楼BCD1房变更后权利人:201499 上海市奉贤区望园路2165弄11号226室登记生效日:20150323|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140314|||公开
    IPC分类号: G06F17/30; G06F11/14; G06F11/34 主分类号: G06F17/30
    申请人: 广州携智信息科技有限公司
    发明人: 杨峰; 陈宁昕; 孙晓燕; 周学海; 唐长城; 谢飞; 赵伟; 李政
    地址: 510000 广东省广州市天河区黄埔大道西路33号23楼BCD1房
    优先权:
    专利代理机构: 广州圣理华知识产权代理有限公司 44302 代理人: 陈业胜;张春耀
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410095611.9

    授权公告号:

    |||||||||

    法律状态公告日:

    2018.04.27|||2015.04.15|||2014.07.16|||2014.06.18

    法律状态类型:

    授权|||专利申请权、专利权的转移|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于远程日志备份的HBase数据可用性及持久性的方法,HBase的数据节点写入时,首先通过分布式系统封装日志记录,并通过网络把日志备份到预先指定的远程节点,保证数据的可用性和持久性,并以此为基础,把大量用户数据和日志记录暂存在内存中,减少数据处理过程中的数据持久化进程;当HBase的数据节点处于空闲的时候,主动把内存中的数据持久化到文件系统,减轻内存存储压力,减少写操作过程中发生持久化进程的频率,提高数据写入的时间性能。这种基于远程日志备份的HBase数据可用性及持久性的方法保证了数据的可用性、持久性,大大提高数据写入速度、提高系统性能。

    权利要求书

    权利要求书
    1.  一种基于远程日志备份的HBase数据可用性及持久性的方法,其特征在于:HBase的数据节点写入时,首先把数据暂存在内存中,通过分布式系统封装日志记录,并通过网络把日志备份到预先指定的远程节点;当HBase的数据节点处于空闲状态时,主动把内存中暂存的中的数据持久化到文件系统。

    2.  根据权利要求1所述的基于远程日志备份的HBase数据可用性及持久性的方法,其特征在于:所述HBase的数据节点写入并备份包括以下步骤:
    (a)HBase的数据节点启动,并且初始化远程日志备份进程,即启动远程日志备份服务,作为集群中某个或多个节点远程备份日志的目标节点;同时获取当前节点备份日志的目标节点或节点群的IP,作为整个HBase的数据节点上所有HRegion发起远程日志备份时共享的变量;
    (b)当HRegion调用写操作处理过程时,把用户数据写入内存存储单元,然后构造日志记录WAL写入本地节点内存,不发起不等待日志持久化进程;而是把WAL及相关信息发送到远程备份节点,并等待备份节点发来的写入确认;
    (c)当HBase的数据节点接收到集群中某个节点发来的WAL时,把它写入本地日志文件,立即返回写入确认,日志同步进程稍后会把日志及时写入文件系统;
    (d)如果HRegion的写操作进程在规定时间内收到超过一半的目标节点返回的写确认就认为远程日志备份成功,并返回写操作成功;否则认为备份失败,并返回写操作失败。

    3.  根据权利要求2所述的基于远程日志备份的HBase数据可用性及持久性的 方法,其特征在于:所述步骤(b)和步骤(d)中HRegion的写操作包括以下步骤:
    (1)首先尝试获取需要的锁;
    (2)检查HRegion和HBase的数据节点状态,此时检查是否需要持久化;
    (3)更新时间戳;
    (4)数据写入内存MemStore,即执行applyFamilyMapToMemstore方法;
    (5)随后构造并写WALEdit,执行addFamilyMapToWALEdit方法;
    (6)通过append方法把WAL日志写入本地日志系统,但不会持久化;
    (7)构造远程日志备份数据,调用startRLP方法把日志数据通过备份进程接口备份到远程节点;如果返回true则写操作执行成功,否则执行失败,且无论成功与否都要释放行锁定。

    4.  根据权利要求1所述的基于远程日志备份的HBase数据可用性及持久性的方法,其特征在于:所述日志备份过程中传输的数据包括日志数据单元、确认数据及日志同步通知。

    5.  根据权利要求1所述的基于远程日志备份的HBase数据可用性及持久性的方法,其特征在于:所述HBase的数据节点包括空存储状态、存储状态、预备持久化状态和持久化状态四种状态;所述HBase的数据节点处于空存储状态时,如果接收到的是读操作请求,HBase的数据节点承载的MemStore中没有写入数据、还是空置的,所以HBase的数据节点仍然处在空存储状态;当HBase的数据节点处于空存储状态时,如果HBase的数据节点接收到写操作请求,就会有用户数据写入某个或某几个MemStore,此时HBase的数据节点转入存储状态,若处于存储状态的HBase的数据节点没有任何的操作正在进行,也没有任何的请求需要响应,则进入预备持久化状态; 如果HBase的数据节点处于预备持久化状态,则会判断当前待持久化队列是否为空,如果待持久化队列为空,则直接转入空存储状态,如果队列不为空则启动等待计时器,如果等待计时器时间到达,节点仍然没有正在运行的任务或者没有收到任何操作请求,节点会启动持久化进程,把日志写入文件系统,当前的HBase的数据节点进入持久化状态;当处于预备持久化状态的HBase的数据节点在等待计时的过程中,如果有读写请求或者节点需要运行其他任务,则立即停止等待计时,节点终止预备持久化状态、重新进入存储状态;而处于持久化状态的HBase的数据节点不会被中断,直至完成了一个持久化过程,比如把日志文件或者某个HRegion的MemStore数据全部写入了文件系统,则重新转入预备持久化状态。

    关 键 词:
    一种 基于 远程 日志 备份 HBASE 数据 可用性 持久性 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种基于远程日志备份的HBASE数据可用性及持久性的方法.pdf
    链接地址://www.4mum.com.cn/p-6126286.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03