• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:20 金币  

    重庆时时彩五星规律: 一种分布式数据库中海量小文件的多级优化存储方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201610375410.3

    申请日:

    2016.05.30

    公开号:

    CN105956183A

    公开日:

    2016.09.21

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20160530|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 广东电网有限责任公司电力调度控制中心; 中国能源建设集团广东省电力设计研究院有限公司
    发明人: 张华琛; 高如超; 卢乐书; 陈振辉; 雷通; 黄琦
    地址: 510600 广东省广州市越秀区梅花路75号
    优先权:
    专利代理机构: 北京邦信阳专利商标代理有限公司 11012 代理人: 张伟杰
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610375410.3

    授权公告号:

    ||||||

    法律状态公告日:

    2019.04.30|||2016.10.19|||2016.09.21

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开一种分布式数据库中海量小文件的多级优化存储方法及系统,方法包括:分布式数据库的管理节点响应于包括至少一个小文件的小文件输入事件,将所述小文件放入合并队列,将每个合并队列所包括的小文件分别合并后得到合并文件并保存在分布式数据库的工作节点中,所述小文件的文件长度小于预设小文件长度阈值;分布式数据库的管理节点为每个所述合并文件所包括的每个小文件构建索引并保存在分布式数据库的管理节点中;客户端根据所述索引,从所述合并文件中获取所述小文件。本发明从HDFS的文件存取流程出发,使用合并队列算法将小文件合并为大文件,减少小文件数量,同时,构建索引提高文件检索性能。

    权利要求书

    1.一种分布式数据库中海量小文件的多级优化存储方法,其特征在
    于,包括:
    文件合并步骤,分布式数据库的管理节点响应于包括至少一个小文
    件的小文件输入事件,将所述小文件放入合并队列,将每个合并队列所
    包括的小文件分别合并后得到合并文件并保存在分布式数据库的工作节
    点中,所述小文件的文件长度小于预设小文件长度阈值;
    文件索引步骤,分布式数据库的管理节点为每个所述合并文件所包
    括的每个小文件构建索引并保存在分布式数据库的管理节点中;
    文件读取步骤,客户端根据所述索引,从所述合并文件中获取所述
    小文件。
    2.根据权利要求1所述的分布式数据库中海量小文件的多级优化存
    储方法,其特征在于,所述文件合并步骤,具体包括:
    小文件输入响应子步骤,分布式数据库的管理节点响应于包括至少
    一个小文件的小文件输入事件;
    小文件选择子步骤,选择所述小文件输入事件所包括的其中一个小
    文件作为当前小文件;
    长度比较子步骤,获取预设的合并队列组中所有合并队列的剩余长
    度,如果所述当前小文件的文件长度小于或等于所有合并队列的剩余长
    度的最大值,则将剩余长度大于或等于所述当前小文件的文件长度的合
    并队列作为当前合并队列,执行小文件加入子步骤,如果所述当前小文
    件的文件长度大于所有合并队列的剩余长度的最大值,则执行合并队列
    选择子步骤;
    合并缓冲选择子步骤,将剩余长度最小的合并队列作为待判断合并
    队列,如果所述待判断合并队列满足预设均衡合并条件,则将所述待判
    断合并队列所包括的小文件合并得到合并文件并保存在分布式数据库的
    工作节点后,清空所述待判断合并队列,将所述待判断合并队列作为当
    前合并队列,执行小文件加入子步骤,如果所述待判断合并队列不满足
    预设均衡合并条件,则从预设的缓冲队列组中选择一个缓冲队列作为当
    前合并队列,从缓冲队列组中移除并加入合并队列组,执行小文件加入
    子步骤;
    小文件加入子步骤,将所述当前小文件加入所述当前合并队列,如
    果所述小文件输入事件还包括其小文件,则执行小文件选择子步骤,否
    则将所述合并队列组中每个合并队列所包括的小文件分别合并后得到合
    并文件并保存在分布式数据库的工作节点中。
    3.根据权利要求2所述的分布式数据库中海量小文件的多级优化存
    储方法,其特征在于,所述合并缓冲选择子步骤,具体包括:
    将剩余长度最小的合并队列作为待判断合并队列;
    如果预设的缓冲队列组所包括的缓冲队列的数量小于或等于1,则将
    所述待判断合并队列所包括的小文件合并得到合并文件并保存在分布式
    数据库的工作节点后,清空所述待判断合并队列,将所述待判断合并队
    列作为当前合并队列,执行小文件加入子步骤;
    如果预设的缓冲队列组所包括的缓冲队列的数量大于1,则判断所述
    待判断合并队列是否满足预设均衡合并条件:
    如果所述待判断合并队列满足预设均衡合并条件,则将所述待判断
    合并队列所包括的小文件合并得到合并文件并保存在分布式数据库的工
    作节点后,清空所述待判断合并队列,如果所述合并队列组所包括的合
    并队列的数量大于预设合并队列阈值,则将所述待判断合并队列从所述
    合并队列组中移除并作为缓冲队列加入缓冲队列组,执行长度比较子步
    骤,如果所述合并队列组所包括的合并队列的数量小于或等于预设合并
    队列阈值,则将所述待判断合并队列作为当前合并队列,执行小文件加
    入子步骤;
    如果所述待判断合并队列不满足预设均衡合并条件,则选择一个预
    设的缓冲队列作为当前合并队列加入合并队列组,执行小文件加入子步
    骤。
    4.根据权利要求1所述的分布式数据库中海量小文件的多级优化存
    储方法,其特征在于,所述文件索引步骤,具体包括:
    小文件预设置子步骤,分布式数据库的管理节点将每个所述合并文
    件所包括的每个小文件的文件名映射为哈希值,将每个小文件所对应的
    合并文件的文件名和每个小文件在所对应的合并文件中的位置信息作为
    索引内容;
    索引树构建子步骤,构建包括至少一层的文件名索引树,以所述文
    件名索引树的根节点为当前节点,所述文件名索引树的每一层与一个质
    数对应;
    插入小文件选择子步骤,选择其中一个小文件作为当前插入小文件;
    节点判断子步骤,若当前节点置为未使用,则将所述当前插入小文
    件的哈希值和索引内容插入当前节点,并将当前节点置为使用,若当前
    节点置为使用,则计算所述当前插入小文件的哈希值与当前层所对应质
    数的余数i;
    子节点判断子步骤,如果当前节点的第i个子节点为空,则创建当
    前节点的第i个子节点,将当前节点的第i个子节点作为当前节点,执
    行节点判断子步骤,否则,将当前节点的第i个子节点作为当前节点,
    执行节点判断子步骤。
    5.根据权利要求1所述的分布式数据库中海量小文件的多级优化存
    储方法,其特征在于:
    所述文件索引步骤,具体包括:分布式数据库的管理节点构建用于
    指示所有每个小文件所对应的合并文件的文件名和每个小文件在所对应
    的合并文件中的位置信息的文件名索引树,为每个合并文件构建一个平
    衡多路查找树,每个所述平衡多路查找树包括对应的合并文件所包括的
    每个小文件在所对应的合并文件中的位置信息;
    所述文件读取步骤,具体包括:
    客户端响应于包括小文件标识的小文件读取请求,从本地缓存中查
    找关于所述小文件标识所指定的小文件所在的合并文件的平衡多路查找
    树;
    如果所述本地缓存中有关于所述小文件标识所指定的小文件所在的
    合并文件的平衡多路查找树,则根据所述平衡多路查找树,从分布式数
    据库的工作节点中获取所述小文件标识所指定的小文件;
    如果所述本地缓存中没有关于所述小文件标识所指定的小文件所在
    的合并文件的平衡多路查找树,则所述客户端向所述分布式数据库的管
    理节点发送包括小文件标识的小文件读取请求,所述分布式数据库的管
    理节点根据所述文件名索引树查找所述小文件标识所指定的小文件,并
    获取所述小文件标识所指定的小文件所对应的合并文件的平衡多路查找
    树,将所述小文件和所述平衡多路查找树返回客户端,所述客户端保存
    小文件并在缓存中保存所述平衡多路查找树。
    6.一种分布式数据库中海量小文件的多级优化存储系统,其特征在
    于,包括:
    文件合并???,用于:分布式数据库的管理节点响应于包括至少一
    个小文件的小文件输入事件,将所述小文件放入合并队列,将每个合并
    队列所包括的小文件分别合并后得到合并文件并保存在分布式数据库的
    工作节点中,所述小文件的文件长度小于预设小文件长度阈值;
    文件索引???,用于:分布式数据库的管理节点为每个所述合并文
    件所包括的每个小文件构建索引并保存在分布式数据库的管理节点中;
    文件读取???,用于:客户端根据所述索引,从所述合并文件中获
    取所述小文件。
    7.根据权利要求6所述的分布式数据库中海量小文件的多级优化存
    储系统,其特征在于,所述文件合并???,具体用于:
    小文件输入响应子???,用于:分布式数据库的管理节点响应于包
    括至少一个小文件的小文件输入事件;
    小文件选择子???,用于:选择所述小文件输入事件所包括的其中
    一个小文件作为当前小文件;
    长度比较子???,用于:获取预设的合并队列组中所有合并队列的
    剩余长度,如果所述当前小文件的文件长度小于或等于所有合并队列的
    剩余长度的最大值,则将剩余长度大于或等于所述当前小文件的文件长
    度的合并队列作为当前合并队列,执行小文件加入子???,如果所述当
    前小文件的文件长度大于所有合并队列的剩余长度的最大值,则执行合
    并队列选择子???;
    合并缓冲选择子???,用于:将剩余长度最小的合并队列作为待判
    断合并队列,如果所述待判断合并队列满足预设均衡合并条件,则将所
    述待判断合并队列所包括的小文件合并得到合并文件并保存在分布式数
    据库的工作节点后,清空所述待判断合并队列,将所述待判断合并队列
    作为当前合并队列,执行小文件加入子???,如果所述待判断合并队列
    不满足预设均衡合并条件,则从预设的缓冲队列组中选择一个缓冲队列
    作为当前合并队列,从缓冲队列组中移除并加入合并队列组,执行小文
    件加入子???;
    小文件加入子???,用于:将所述当前小文件加入所述当前合并队
    列,如果所述小文件输入事件还包括其小文件,则执行小文件选择子模
    块,否则将所述合并队列组中每个合并队列所包括的小文件分别合并后
    得到合并文件并保存在分布式数据库的工作节点中。
    8.根据权利要求7所述的分布式数据库中海量小文件的多级优化存
    储系统,其特征在于,所述合并缓冲选择子???,具体用于:
    将剩余长度最小的合并队列作为待判断合并队列;
    如果预设的缓冲队列组所包括的缓冲队列的数量小于或等于6,则将
    所述待判断合并队列所包括的小文件合并得到合并文件并保存在分布式
    数据库的工作节点后,清空所述待判断合并队列,将所述待判断合并队
    列作为当前合并队列,执行小文件加入子???;
    如果预设的缓冲队列组所包括的缓冲队列的数量大于6,则判断所述
    待判断合并队列是否满足预设均衡合并条件:
    如果所述待判断合并队列满足预设均衡合并条件,则将所述待判断
    合并队列所包括的小文件合并得到合并文件并保存在分布式数据库的工
    作节点后,清空所述待判断合并队列,如果所述合并队列组所包括的合
    并队列的数量大于预设合并队列阈值,则将所述待判断合并队列从所述
    合并队列组中移除并作为缓冲队列加入缓冲队列组,执行长度比较子模
    块,如果所述合并队列组所包括的合并队列的数量小于或等于预设合并
    队列阈值,则将所述待判断合并队列作为当前合并队列,执行小文件加
    入子???;
    如果所述待判断合并队列不满足预设均衡合并条件,则选择一个预
    设的缓冲队列作为当前合并队列加入合并队列组,执行小文件加入子模
    块。
    9.根据权利要求6所述的分布式数据库中海量小文件的多级优化存
    储系统,其特征在于,所述文件索引???,具体用于:
    小文件预设置子???,用于:分布式数据库的管理节点将每个所述
    合并文件所包括的每个小文件的文件名映射为哈希值,将每个小文件所
    对应的合并文件的文件名和每个小文件在所对应的合并文件中的位置信
    息作为索引内容;
    索引树构建子???,用于:构建包括至少一层的文件名索引树,以
    所述文件名索引树的根节点为当前节点,所述文件名索引树的每一层与
    一个质数对应;
    插入小文件选择子???,用于:选择其中一个小文件作为当前插入
    小文件;
    节点判断子???,用于:若当前节点置为未使用,则将所述当前插
    入小文件的哈希值和索引内容插入当前节点,并将当前节点置为使用,
    若当前节点置为使用,则计算所述当前插入小文件的哈希值与当前层所
    对应质数的余数i;
    子节点判断子???,用于:如果当前节点的第i个子节点为空,则
    创建当前节点的第i个子节点,将当前节点的第i个子节点作为当前节
    点,执行节点判断子???,否则,将当前节点的第i个子节点作为当前
    节点,执行节点判断子???。
    10.根据权利要求6所述的分布式数据库中海量小文件的多级优化
    存储系统,其特征在于:
    所述文件索引???,具体用于:分布式数据库的管理节点构建用于
    指示所有每个小文件所对应的合并文件的文件名和每个小文件在所对应
    的合并文件中的位置信息的文件名索引树,为每个合并文件构建一个平
    衡多路查找树,每个所述平衡多路查找树包括对应的合并文件所包括的
    每个小文件在所对应的合并文件中的位置信息;
    所述文件读取???,具体用于:
    客户端响应于包括小文件标识的小文件读取请求,从本地缓存中查
    找关于所述小文件标识所指定的小文件所在的合并文件的平衡多路查找
    树;
    如果所述本地缓存中有关于所述小文件标识所指定的小文件所在的
    合并文件的平衡多路查找树,则根据所述平衡多路查找树,从分布式数
    据库的工作节点中获取所述小文件标识所指定的小文件;
    如果所述本地缓存中没有关于所述小文件标识所指定的小文件所在
    的合并文件的平衡多路查找树,则所述客户端向所述分布式数据库的管
    理节点发送包括小文件标识的小文件读取请求,所述分布式数据库的管
    理节点根据所述文件名索引树查找所述小文件标识所指定的小文件,并
    获取所述小文件标识所指定的小文件所对应的合并文件的平衡多路查找
    树,将所述小文件和所述平衡多路查找树返回客户端,所述客户端保存
    小文件并在缓存中保存所述平衡多路查找树。

    关 键 词:
    一种 分布式 数据库 海量 文件 多级 优化 存储 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种分布式数据库中海量小文件的多级优化存储方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6199936.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03