• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    老重庆时时彩360彩票: 基于文件存储动态聚合的优化方法.pdf

    关 键 词:
    基于 文件 存储 动态 聚合 优化 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110086026.9

    申请日:

    2011.04.07

    公开号:

    CN102156730A

    公开日:

    2011.08.17

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 专利权的转移IPC(主分类):G06F17/30变更事项:专利权人变更前权利人:国家电网公司变更后权利人:国家电网公司变更事项:地址变更前权利人:100031 北京市西城区西长安街86号变更后权利人:100031 北京市西城区西长安街86号变更事项:专利权人变更前权利人:江苏省电力公司变更后权利人:江苏省电力公司 江苏省电力公司信息通信分公司登记生效日:20150403|||专利权的转移IPC(主分类):G06F 17/30变更事项:专利权人变更前权利人:江苏省电力公司变更后权利人:国家电网公司变更事项:地址变更前权利人:210024 江苏省南京市上海路215号变更后权利人:100031 北京市西城区西长安街86号变更事项:专利权人变更后权利人:江苏省电力公司登记生效日:20130718|||授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20110407|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 江苏省电力公司
    发明人: 王纪军; 唐巍; 洪昕
    地址: 210024 江苏省南京市上海路215号
    优先权:
    专利代理机构: 南京汇盛专利商标事务所(普通合伙) 32238 代理人: 陈扬
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110086026.9

    授权公告号:

    ||||||102156730B||||||

    法律状态公告日:

    2015.04.22|||2013.08.07|||2013.03.20|||2011.09.28|||2011.08.17

    法律状态类型:

    专利申请权、专利权的转移|||专利申请权、专利权的转移|||授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于文件存储动态聚合的优化方法,该优化方法通过将文件动态组合,获取节点经常访问的文件的副本并打包存储于本地节点,减少节点远程读取文件的次数,降低用户数据访问延迟,具体步骤为:基于数据主本判定是否数据交叠,基于副本放置的最优化算法,基于存储空间的优化算法,存储请求文件。本发明选择被复制的副本不仅在当前耗费代价最小,在以后的时间内耗费代价也为最小。

    权利要求书

    1.一种基于文件存储动态聚合的优化方法,其特征在于该优化方法通过将文件动态组合,获取节点经常访问的文件的副本并打包存储于本地节点,减少节点远程读取文件的次数,降低用户数据访问延迟,具体步骤如下:1)基于数据主本判定是否数据交叠,检查用户发出的请求文件是否在本地节点,有数据交叠,则该请求文件存在本地节点;无数据交叠时,则进入步骤2);2)基于副本放置的最优化算法,检查本地是否用足够的存储空间容纳请求文件,有存储空间,则选择一个耗费代价最低的远程节点获取该请求文件副本,代价包含文件传输时间和在远程节点上的排队时间;无存储空间,则转步骤3);3)基于存储空间的优化算法,计算节点远程读取请求文件的次数t1;计算本地节点存储的所有文件中读取最少的文件的次数t2,若t1>?t2,则删除后者并腾出空间存储请求文件。2.根据权利要求1所述的基于文件存储动态聚合的优化方法,其特征在于:步骤1)中,基于数据主本判定是否数据交叠算法如下:设系统中共有n个节点????????????????????????????????????????????????,每个节点含有m个文件,用户在访问时,对某一节点发出文件请求,假设请求包含多个文件,该请求可以表示为一个文件集合;定于节点有数据主本,那么由生成的集合即为需要复制的对象;设请求文件的数据主本为,当用户访问时,对任意的和,?可有两种情况:或者,即与可能有交叠数据也可能没有交叠数据;当,即有数据交叠时,该请求文件存在本地节点;当,即无数据交叠时,进入步骤2);将交迭数据内容用集合表示:,则:,即使当和在同一个站点都存在时不进行交叠数据重复传播。3.根据权利要求1所述的基于文件存储动态聚合的优化方法,其特征在于:步骤2)中,基于副本放置的最优化算法如下:对于某个文件,假设其副本使用代价为,其中,创建副本的成本为,访问副本的费用为,正常数和表示创建和访问副本在总代价中所占的权重,则;副本放置策略就是在满足规定的约束条件下,使得副本创建与访问的代价总和最??;假设创建副本的站点的存储空间为,则所有站点平均存储空间为,而反映了平均存储空间与站点的存储空间的比值;假设:表示在某段时间内对站点的某个副本的请求次数,站点访问副本站点的一次费用为,可用站点与之间的最短路径时间表示,那么;即文件请求次数越多,函数值越大;若,即站点未发出对副本文件的访问请求,那么它就不产生访问副本的费用;根据上述分析有????????????????????(1)因此,副本放置问题可转化为如下最优化问题:目标函数:??????????????????(2)约束条件:???????????????????????????????(3)???????????????????????????(4)??????????????????????(5)其中,目标函数(2)使得各站点的副本创建成本加上各请求站点到与它最近的副本存放站点的成本加权总和最小,?和的大小是经验值,根据副本存储空间和副本请求次数对响应时间的影响程度来设置;约束条件(3)表示可以创建的副本数目为个;约束条件(4)表示每个请求站点只对应惟一的一个副本站点为它服务;约束条件(5)表示如果副本位于站点,那么站点的副本请求只能指派到站点;计算在时间周期内的传输代价,以决定是否重新放置副本来换取最优的平均响应时间;因此,新的目标函数由式(2)更改为???????????????????(6)与式(2)相比,新的目标函数式(8)中增加了一项调整成本的累加,实现对时间周期内的迭代计算,每个变元符号添加了一个上脚标;其中,若在周期内站点的副本需要重新放置,则,否则;表示在周期内将离站点最近的站点的副本传输到站点的成本。4.?根据权利要求1所述的基于文件存储动态聚合的优化方法,其特征在于:步骤3)中,基于存储空间的优化算法如下:文件fi相对于作业jk的相关度定义为作业jk访问过fi的总次数,表示为;文件fi相对于一组作业本地集合的相关度定义为作业集合J中的作业访问过文件fi的总次数,即;若将本地运行的作业集合表示为Jlocal,文件fi相对于本地作业集Jlocal的相关度记为;则文件动态组合的副本复制策略的目标是尽可能保留具有较高Glocal的文件存储在本地,并删除具有较低Glocal的文件,为新副本的创建腾出空间。

    说明书

    基于文件存储动态聚合的优化方法

    技术领域

    本发明属于分布式存储领域,具体地说是一种基于文件存储动态聚合的优化方法。

    背景技术

    分布式存储建立了海量数据的一体化存储、处理、访问、传输与服务的架构和异构分布环境,数据的复制不仅可以提高数据访问的效率,而且能提高系统的负载均衡性和可靠性。

    传统复制方法是将一个数据主本复制给不同站点的副本,此情况存在原因是过去或现在的某些复制需求以及处理流程比较简单。随着数据复制技术的发展,情况发生了许多变化,在同一数据源对象上可划分出不同的复制源副本,这些不同复制源副本独立具有自己的多个副本,这种情况称为“多分割副本复制”(Multi-Intersected?Copy?Replication,简称MICR)。尽管针对多分割副本复制的研究已经出现,但仍有部分问题没有解决,主要是未修改的主本数据不进行传播和并行链路的多分割副本复制问题。

    另外,基于经济学模型的复制策略,是按照反向拍卖协议确定副本创建位置及进行副本选择,它将数据传输时间作为拍卖的价格指标。该模型在评估数据复制价值时存在这样的问题:节点往往根据自身利益进行决策,因而不一定得到全局最佳效益。

    发明内容

    为了使分布式存储的整体性能达到最优,本发明的目的是提供一种基于文件存储动态聚合的优化方法,该优化方法选择被复制的副本不仅在当前耗费代价最小,?在以后的时间内耗费代价也为最小,得到全局最佳效益,减少节点远程读取文件的次数,降低用户数据访问延迟。

    本发明的目的是通过以下技术方案来实现的:

    一种基于文件存储动态聚合的优化方法,其特征在于该优化方法通过将文件动态组合,获取节点经常访问的文件的副本并打包存储于本地节点,减少节点远程读取文件的次数,降低用户数据访问延迟,具体步骤如下:

    1)基于数据主本判定是否数据交叠,检查用户发出的请求文件是否在本地节点,有数据交叠,则该请求文件存在本地节点;无数据交叠时,则进入步骤2);

    2)基于副本放置的最优化算法,检查本地是否用足够的存储空间容纳请求文件,有存储空间,则选择一个耗费代价最低的远程节点获取该请求文件副本,代价包含文件传输时间和在远程节点上的排队时间;无存储空间,则转步骤3)。

    3)基于存储空间的优化算法,计算节点远程读取请求文件的次数t1;计算本地节点存储的所有文件中读取最少的文件的次数t2,若t1>?t2,则删除后者并腾出空间存储请求文件。

    本发明中,基于数据主本判定是否数据交叠的算法如下:

    设系统中共有n个节点????????????????????????????????????????????????,每个节点含有m个文件,用户在访问时,对某一节点发出文件请求,假设请求包含多个文件,该请求可以表示为一个文件集合。

    定于节点有数据主本,那么由生成的集合即为需要复制的对象。设请求文件的数据主本为,当用户访问时,对任意的和,?可有两种情况:或者,即与可能有交叠数据也可能没有交叠数据。

    当,即有数据交叠时,该请求文件存在本地节点。当,即无数据交叠时,进入内容2。这里将交迭数据内容用集合表示:,由此可推出:,这样描述的目的是使当和在同一个站点都存在时不进行交叠数据重复传播。

    基于副本放置的最优化算法如下:

    对于某个文件,假设其副本使用代价为,其中,创建副本的成本为,访问副本的费用为,正常数和表示创建和访问副本在总代价中所占的权重,则。副本放置策略就是在满足规定的约束条件下,使得副本创建与访问的代价总和最小。

    假设创建副本的站点的存储空间为,则所有站点平均存储空间为,而反映了平均存储空间与站点的存储空间的比值。

    假设:表示在某段时间内对站点的某个副本的请求次数,站点访问副本站点的一次费用为?(可用站点与之间的最短路径时间表示),那么??梢钥闯?,文件请求次数越多,函数值越大;若,即站点未发出对副本文件的访问请求,那么它就不产生访问副本的费用。根据上述分析有

    ????????????????????(1)

    因此,副本放置问题可转化为如下最优化问题:

    目标函数:

    ??????????????????(2)

    约束条件:

    ???????????????????????????????(3)

    ???????????????????????????(4)

    ???????????????????(5)

    其中,目标函数(2)使得各站点的副本创建成本加上各请求站点到与它最近的副本存放站点的成本加权总和最小,?和的大小是经验值,根据副本存储空间和副本请求次数对响应时间的影响程度来设置;约束条件(3)表示可以创建的副本数目为个;约束条件(4)表示每个请求站点只对应惟一的一个副本站点为它服务;约束条件(5)表示如果副本位于站点,那么站点的副本请求只能指派到站点。

    计算在时间周期内的传输代价,以决定是否重新放置副本来换取最优的平均响应时间。因此,新的目标函数由式(2)更改为

    ???????????????????(6)

    与式(2)相比,新的目标函数式(8)中增加了一项调整成本的累加,实现对时间周期内的迭代计算,每个变元符号添加了一个上脚标。其中,若在周期内站点的副本需要重新放置,则,否则;表示在周期内将离站点最近的站点的副本传输到站点的成本。

    基于存储空间的优化算法如下:

    1、文件fi相对于作业jk的相关度定义为作业jk访问过fi的总次数,表示为。

    2、文件fi相对于一组作业本地集合的相关度定义为作业集合J中的作业访问过文件fi的总次数,即。

    3、?若将本地运行的作业集合表示为Jlocal,文件fi相对于本地作业集Jlocal的相关度记为。则文件动态组合的副本复制策略的目标是尽可能保留具有较高Glocal的文件存储在本地,并删除具有较低Glocal的文件,为新副本的创建腾出空间。

    云存储系统中,会出现多个文件经常被集体访问的情况,无疑这些文件间具有较强的关联度,然而这些文件可能分布在多个节点上。本发明选择被复制的副本不仅在当前耗费代价最小,?在以后的时间内耗费代价也为最小,得到全局最佳效益。

    本发明算法通过将文件动态组合,获取节点经常访问的多个文件的副本并打包存储于本地节点,减少节点远程读取文件的次数,最终达到降低用户数据访问延迟的目标。

    附图说明

    图1为本发明实的结构框图。

    具体实施方式

    一种本发明所述的基于文件存储动态聚合的优化方法,该优化方法通过将文件动态组合,获取节点经常访问的文件的副本并打包存储于本地节点,减少节点远程读取文件的次数,降低用户数据访问延迟,具体步骤如下:

    1)基于数据主本判定是否数据交叠,检查用户发出的请求文件是否在本地节点,有数据交叠,则该请求文件存在本地节点;无数据交叠时,则进入步骤2);

    设系统中共有n个节点,每个节点含有m个文件,用户在访问时,对某一节点发出文件请求,假设请求包含多个文件,该请求可以表示为一个文件集合。

    定于节点有数据主本,那么由生成的集合即为需要复制的对象。设请求文件的数据主本为,当用户访问时,对任意的和,?可有两种情况:或者,即与可能有交叠数据也可能没有交叠数据。

    当,即有数据交叠时,该请求文件存在本地节点。当,即无数据交叠时,进入内容2。这里将交迭数据内容用集合表示:,由此可推出:,这样描述的目的是使当和在同一个站点都存在时不进行交叠数据重复传播。

    2)基于副本放置的最优化算法,检查本地是否用足够的存储空间容纳请求文件,有存储空间,则选择一个耗费代价最低的远程节点获取该请求文件副本,代价包含文件传输时间和在远程节点上的排队时间;无存储空间,则转步骤3)。

    对于某个文件,假设其副本使用代价为,其中,创建副本的成本为,访问副本的费用为,正常数和表示创建和访问副本在总代价中所占的权重,则。副本放置策略就是在满足规定的约束条件下,使得副本创建与访问的代价总和最小。

    假设创建副本的站点的存储空间为,则所有站点平均存储空间为,而反映了平均存储空间与站点的存储空间的比值。

    假设:表示在某段时间内对站点的某个副本的请求次数,站点访问副本站点的一次费用为?(可用站点与之间的最短路径时间表示),那么??梢钥闯?,文件请求次数越多,函数值越大;若,即站点未发出对副本文件的访问请求,那么它就不产生访问副本的费用。根据上述分析有

    ????????????????????(1)

    因此,副本放置问题可转化为如下最优化问题:

    目标函数:

    ??????????????????(2)

    约束条件:

    ???????????????????????????????(3)

    ???????????????????????????(4)

    ???????????????????(5)

    其中,目标函数(2)使得各站点的副本创建成本加上各请求站点到与它最近的副本存放站点的成本加权总和最小,?和的大小是经验值,根据副本存储空间和副本请求次数对响应时间的影响程度来设置;约束条件(3)表示可以创建的副本数目为个;约束条件(4)表示每个请求站点只对应惟一的一个副本站点为它服务;约束条件(5)表示如果副本位于站点,那么站点的副本请求只能指派到站点。

    计算在时间周期内的传输代价,以决定是否重新放置副本来换取最优的平均响应时间。因此,新的目标函数由式(2)更改为

    ???????????????????(6)

    与式(2)相比,新的目标函数式(8)中增加了一项调整成本的累加,实现对时间周期内的迭代计算,每个变元符号添加了一个上脚标。其中,若在周期内站点的副本需要重新放置,则,否则;表示在周期内将离站点最近的站点的副本传输到站点的成本。

    3)基于存储空间的优化算法,计算节点远程读取请求文件的次数t1;计算本地节点存储的所有文件中读取最少的文件的次数t2,若t1>?t2,则删除后者并腾出空间存储请求文件。

    基于存储空间的优化算法如下:

    1、文件fi相对于作业jk的相关度定义为作业jk访问过fi的总次数,表示为。

    2、文件fi相对于一组作业本地集合的相关度定义为作业集合J中的作业访问过文件fi的总次数,即。

    3、?若将本地运行的作业集合表示为Jlocal,文件fi相对于本地作业集Jlocal的相关度记为。则文件动态组合的副本复制策略的目标是尽可能保留具有较高Glocal的文件存储在本地,并删除具有较低Glocal的文件,为新副本的创建腾出空间。

    本发明选择被复制的副本不仅在当前耗费代价最小,?在以后的时间内耗费代价也为最小,得到全局最佳效益。

    关于本文
    本文标题:基于文件存储动态聚合的优化方法.pdf
    链接地址://www.4mum.com.cn/p-5867933.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 时时彩012路计划软件 宁夏11选5奖金 广东11选5一定牛 湖北十一选五直播 大神棋牌最新版 中彩网手机客户端买彩票 内蒙古十一选五遗漏号一定牛 投注站 幸运飞艇微信实力群 永利开户送38元体验金 舟山星空棋牌510k 重庆时时彩后一技巧 l辽宁11选5开奖号码 悠洋棋牌官方下载 11选5玩法介绍 时时彩怎样能看出组三组六