• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 18
    • 下载费用:20 金币  

    重庆时时彩怎么玩稳当: 一种HBASE数据库的数据管理方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410055361.6

    申请日:

    2014.02.18

    公开号:

    CN103838830A

    公开日:

    2014.06.04

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140218|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 广东亿迅科技有限公司
    发明人: 钟坚; 何广柏; 邹国栋; 张伟; 王腾; 石巍; 赖志坚
    地址: 510630 广东省广州市天河区龙口中路130号龙威广场B座
    优先权:
    专利代理机构: 北京邦信阳专利商标代理有限公司 11012 代理人: 金玺
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410055361.6

    授权公告号:

    ||||||

    法律状态公告日:

    2017.03.29|||2014.07.02|||2014.06.04

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开一种HBase数据库的数据管理方法及系统,管理方法包括:响应数据写入请求,生成用于在HBase数据库中保存的待存储HBase记录;将所述待存储HBase记录中所包括的内容的大小超过预设字段阈值的字段作为大字段,提取所述大字段的内容生成大字段数据块;向保存在HDFS文件系统中的容器文件写入所述大字段数据块;将所述大字段数据块在所述HDFS文件系统中的位置作为索引,将所述待存储HBase记录中的大字段的内容替换为所述索引;在HBase中保存所述待存储HBase记录。本发明可以很好地发挥HBase及HDFS的优势,而回避HBase对大字段处理的不足,以及HDFS在存储小文件时资源消耗过大的不足,较好地满足了业务的需要,在实际应用中取得了良好的效果。

    权利要求书

    权利要求书
    1.  一种HBase数据库的数据管理方法,其特征在于,包括:
    响应数据写入请求,生成用于在HBase数据库中保存的待存储HBase记录;
    将所述待存储HBase记录中所包括的内容的大小超过预设字段阈值的字段作为大字段,提取所述大字段的内容生成大字段数据块;
    向保存在HDFS文件系统中的容器文件写入所述大字段数据块;
    将所述大字段数据块在所述HDFS文件系统中的位置作为索引,将所述待存储HBase记录中的大字段的内容替换为所述索引;
    在HBase中保存所述待存储HBase记录。

    2.  根据权利要求1所述的HBase数据库的数据管理方法,其特征在于,所述索引包括所述容器文件的文件名,以及所述大字段数据块在所述容器文件中的偏移量。

    3.  根据权利要求1所述的HBase数据库的数据管理方法,其特征在于,还包括:
    响应数据读取请求,从HBase数据库中获取所请求的待读取HBase记录;
    如果所述待读取HBase记录的字段中包含有所述索引,则所述索引作为待读取索引,根据所述待读取索引从所述HDFS文件系统中获取对应的大字段数据块作为待读取大字段数据块;
    在所述待读取HBase记录中,将从所述待读取大字段数据块中提取的大字段的内容替换对应的所述待读取索引;
    返回所述待读取HBase记录。

    4.  根据权利要求1所述的HBase数据库的数据管理方法,其特征在于,还包括:
    获取所述HBase数据库中的所有HBase记录中的索引作为待紧缩索引;
    从所述HDFS文件系统中的容器文件中选择待紧缩容器文件;
    将包括有所述待紧缩索引对应的大字段数据块的待紧缩容器文件作为原容器文件,对所述原容器文件执行紧缩操作;
    所述紧缩操作包括:
    将原容器文件中所述待紧缩索引对应的大字段数据块迁移到新建立的容器文件中,并获取每个所述待紧缩索引对应的大字段数据块在新建立的容器文件中的索引作为紧缩后索引;
    将所述待紧缩索引替换为对应的紧缩后索引;
    删除所述原容器文件。

    5.  根据权利要求4所述的HBase数据库的数据管理方法,其特征在于,所述从所述HDFS文件系统中的容器文件中选择待紧缩容器文件,具体包括:
    将所述待紧缩索引根据容器文件分组,统计出每个容器文件的所包括与所述待紧缩索引对应的大字段数据块的数量,作为每个容器文件的有效大字段数据块数量;
    获取每个容器文件中所包括的大字段数据块的数量,作为每个容器文件的总大字段数;
    将有效大字段数据块数量占总大字段数的比例小于预设比例阈值的容器文件作为待紧缩容器文件。

    6.  一种HBase数据库的数据管理系统,其特征在于,包括:
    数据写入请求响应???,用于响应数据写入请求,生成用于在HBase数据库中保存的待存储HBase记录;
    大字段数据块生成???,用于将所述待存储HBase记录中所包括的内容的大小超过预设字段阈值的字段作为大字段,提取所述大字段的内容生成大字段数据块;
    大字段数据块写入???,用于向保存在HDFS文件系统中的容器文件写入所述大字段数据块;
    待存储HBase记录替换???,用于将所述大字段数据块在所述HDFS文件系统中的位置作为索引,将所述待存储HBase记录中的大字段的内容替换为所述索引;
    待存储HBase记录保存???,用于在HBase中保存所述待存储HBase记录。

    7.  根据权利要求6所述的HBase数据库的数据管理系统,其特征在于,所述索引包括所述容器文件的文件名,以及所述大字段数据块在所述容器文件中的偏移量。

    8.  根据权利要求6所述的HBase数据库的数据管理系统,其特征在于,还包括:
    数据读取请求响应???,用于响应数据读取请求,从HBase数据库中获取所请求的待读取HBase记录;
    待读取大字段数据块获取???,用于如果所述待读取HBase记录的字段中包含有所述索引,则所述索引作为待读取索引,根据所述待读取索引从所述HDFS文件系统中获取对应的大字段数据块作为待读取大字段数据块;
    待读取HBase记录替换???,用于在所述待读取HBase记录中,将从所述待读取大字段数据块中提取的大字段的内容替换对应的所述待读取索引;
    待读取HBase记录返回???,用于返回所述待读取HBase记录。

    9.  根据权利要求6所述的HBase数据库的数据管理系统,其特征在于,还包括:
    待紧缩索引获取???,用于获取所述HBase数据库中的所有HBase记录中的索引作为待紧缩索引;
    待紧缩容器文件选择???,用于从所述HDFS文件系统中的容器文件中选择待紧缩容器文件;
    紧缩操作???,用于将包括有所述待紧缩索引对应的大字段数据块的待紧缩容器文件作为原容器文件,对所述原容器文件执行紧缩操作;
    所述紧缩操作包括:
    将原容器文件中所述待紧缩索引对应的大字段数据块迁移到新建立的容器文件中,并获取每个所述待紧缩索引对应的大字段数据块在新建立的容器文件中的索引作为紧缩后索引;
    将所述待紧缩索引替换为对应的紧缩后索引;
    删除所述原容器文件。

    10.  根据权利要求9所述的HBase数据库的数据管理系统,其特征在于,所述待紧缩容器文件选择???,具体用于:
    将所述待紧缩索引根据容器文件分组,统计出每个容器文件的所包括与所述待紧缩索引对应的大字段数据块的数量,作为每个容器文件的有效大字段数据块数量;
    获取每个容器文件中所包括的大字段数据块的数量,作为每个容器文件的总大字段数;
    将有效大字段数据块数量占总大字段数的比例小于预设比例阈值的容器文件作为待紧缩容器文件。

    关 键 词:
    一种 HBASE 数据库 数据管理 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种HBASE数据库的数据管理方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6147576.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 买彩票稳赚不赔 11选5专家计划软件下载 大乐透开奖前多长时间停售 彩神计划下载 pk10实战顺势投注技巧 彩名堂免费计划软件下载2.0.6 广西福彩投注客户端 福彩七乐彩综合走势图 六码三中三 大乐透中奖查询 福利彩票模拟投注器 白小姐六肖期期准淮 河北时时开奖号码 江苏时时网址 刘伯温推荐六肖 北京pk10官方在线计划