• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:30 金币  

    重庆时时彩改单骗局: 一种调整数据块存储位置的方法及系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410208154.X

    申请日:

    2014.05.16

    公开号:

    CN103970879A

    公开日:

    2014.08.06

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140516|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 中国人民解放军国防科学技术大学
    发明人: 杨树强; 陈志坤; 金松昌; 尹洪; 贾焰; 韩伟红; 周斌; 李爱平
    地址: 410073 湖南省长沙市开福区砚瓦池正街47号
    优先权:
    专利代理机构: 北京集佳知识产权代理有限公司 11227 代理人: 王宝筠
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410208154.X

    授权公告号:

    103970879B||||||

    法律状态公告日:

    2017.05.24|||2014.09.03|||2014.08.06

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开一种调整数据块存储位置的方法及系统。所述方法包括:获取分布式网络中的n个数据块;利用超图确定n个数据块中任意m个数据块之间的相关度,m<n;将m个数据块划分至多个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;对于任意一个数据块集合,分别计算将数据块集合中的数据块迁移至分布式网络中的各个数据存储节点中所对应的迁移代价值;确定最小的迁移代价值对应的目标数据存储节点;将数据块集合中的数据块存储至目标数据存储节点。采用本发明的方法或系统,可以将相关度较高的数据块存储到尽可能少的数据存储节点上,进而降低对数据进行处理时的网络通信开销,提高对数据进行处理的效率。

    权利要求书

    权利要求书
    1.  一种调整数据块存储位置的方法,其特征在于,包括:
    获取分布式网络中的n个数据块;
    利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    确定最小的所述迁移代价值对应的目标数据存储节点;
    将所述数据块集合中的数据块存储至所述目标数据存储节点。

    2.  根据权利要求1所述的方法,其特征在于,所述利用超图确定所述n个数据块中任意m个数据块之间的相关度,具体包括:
    确定历史操作访问过的数据块;
    将所述历史操作访问过的数据块设定为超图的顶点;
    根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重;fumji=1表示在历史操作中第j个操作访问了第i个数据块;k代表的是历史操作的总数;
    将每个历史操作作为一条超边;
    将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    根据公式wej=frgj计算每个超边的权重,其中wej表示超边j的权重;
    根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。

    3.  根据权利要求1所述的方法,其特征在于,所述计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前,还包括:
    判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中。

    4.  根据权利要求1所述的方法,其特征在于,所述计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值,具体包括:
    根据公式
    计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移到数据存储节点j上的代价。

    5.  根据权利要求2所述的方法,其特征在于,所述将所述m个数据块划分至多个数据块集合,具体包括:
    采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。

    6.  一种调整数据块存储位置的系统,其特征在于,包括:
    数据块获取单元,用于获取分布式网络中的n个数据块;
    相关度确定单元,用于利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    集合划分单元,用于将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    迁移代价值计算单元,用于对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所 对应的迁移代价值;
    目标数据存储节点确定单元,用于确定最小的所述迁移代价值对应的目标数据存储节点;
    存储单元,用于将所述数据块集合中的数据块存储至所述目标数据存储节点。

    7.  根据权利要求6所述的系统,其特征在于,所述相关度确定单元,具体包括:
    数据块确定子单元,用于确定历史操作访问过的数据块;
    超图顶点设定子单元,用于将所述历史操作访问过的数据块设定为超图的顶点;
    顶点权重计算子单元,用于根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重;
    超边确定子单元,用于将每个历史操作作为一条超边;
    超边顶点确定子单元,用于将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    超边权重计算子单元,用于根据公式wej=frqj计算每个超边的权重,其中wej表示超边j的权重;
    根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。

    8.  根据权利要求6所述的系统,其特征在于,还包括:
    数据块个数判断单元,用于在计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前,判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    第一转移单元,用于当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    第二转移单元,用于当所述数据块集合中的数据块个数大于所述预设个数 范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中。

    9.  根据权利要求6所述的系统,其特征在于,所述迁移代价值计算单元,具体包括:
    迁移代价值计算子单元,用于根据公式
    计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移到数据存储节点j上的代价。

    10.  根据权利要求7所述的系统,其特征在于,所述集合划分单元,具体包括:
    集合划分子单元,用于采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。

    说明书

    说明书一种调整数据块存储位置的方法及系统
    技术领域
    本发明涉及大数据存储领域,特别是涉及一种调整数据块存储位置的方法及系统。
    背景技术
    随着互联网技术的不断发展,互联网中的数据存储节点中存储的数据量也越来越大。在大数据环境下,当某个操作涉及到的数据量较大时,该操作涉及到的数据在网络中的存储位置将直接影响该操作的效率。
    例如,当某一个操作需要访问的数据(或数据块)如果被分散存储在多个数据存储节点上,则执行该操作的计算节点需要分别从多个不同的数据存储节点获取数据以便完成该操作。此时,将会有大量的数据通过网络进行传输(即从数据存储节点传输至计算节点),带来大量的网络通信开销。
    由上述可知,现有技术中的数据存储方法,由于将数据杂乱无章的分散存储在多个数据存储节点上,导致计算节点在执行涉及多个数据存储节点存储的数据的操作时,需要从多个不同的数据存储节点获取数据。这导致了大量的网络通信开销,同时也降低了对数据进行处理的效率。
    发明内容
    本发明的目的是提供一种调整数据块存储位置的方法及系统,可以将相关度较高的数据块存储到尽可能少的数据存储节点上,进而降低对数据进行处理时的网络通信开销,提高对数据进行处理的效率。
    为实现上述目的,本发明提供了如下方案:
    一种调整数据块存储位置的方法,包括:
    获取分布式网络中的n个数据块;
    利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一 个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    确定最小的所述迁移代价值对应的目标数据存储节点;
    将所述数据块集合中的数据块存储至所述目标数据存储节点。
    可选的,所述利用超图确定所述n个数据块中任意m个数据块之间的相关度,具体包括:
    确定历史操作访问过的数据块;
    将所述历史操作访问过的数据块设定为超图的顶点;
    根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重;fumji=1表示在历史操作中第j个操作访问了第i个数据块;k代表的是历史操作的总数;
    将每个历史操作作为一条超边;
    将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    根据公式wej=frqj计算每个超边的权重,其中wej表示超边j的权重;
    根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。
    可选的,所述计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前,还包括:
    判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中。
    可选的,所述计算将所述数据块集合中的数据块迁移至所述分布式网络中 的各个数据存储节点中所对应的迁移代价值,具体包括:
    根据公式
    计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移到数据存储节点j上的代价。
    可选的,所述将所述m个数据块划分至多个数据块集合,具体包括:
    采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。
    一种调整数据块存储位置的系统,包括:
    数据块获取单元,用于获取分布式网络中的n个数据块;
    相关度确定单元,用于利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    集合划分单元,用于将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    迁移代价值计算单元,用于对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    目标数据存储节点确定单元,用于确定最小的所述迁移代价值对应的目标数据存储节点;
    存储单元,用于将所述数据块集合中的数据块存储至所述目标数据存储节点。
    可选的,所述相关度确定单元,具体包括:
    数据块确定子单元,用于确定历史操作访问过的数据块;
    超图顶点设定子单元,用于将所述历史操作访问过的数据块设定为超图的顶点;
    顶点权重计算子单元,用于根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重;
    超边确定子单元,用于将每个历史操作作为一条超边;
    超边顶点确定子单元,用于将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    超边权重计算子单元,用于根据公式wej=frqj计算每个超边的权重,其中wej表示超边j的权重;
    根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。
    可选的,还包括:
    数据块个数判断单元,用于在计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前,判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    第一转移单元,用于当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    第二转移单元,用于当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中。
    可选的,所述迁移代价值计算单元,具体包括:
    迁移代价值计算子单元,用于根据公式
    计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移 到数据存储节点j上的代价。
    可选的,所述集合划分单元,具体包括:
    集合划分子单元,用于采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。
    根据本发明提供的具体实施例,本发明公开了以下技术效果:
    本发明的调整数据块存储位置的方法或系统,通过利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;将所述m个数据块划分至多个数据块集合;对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;确定最小的所述迁移代价值对应的目标数据存储节点;将所述数据块集合中的数据块存储至所述目标数据存储节点;可以将相关度较高的数据块存储到尽可能少的数据存储节点上,进而降低对数据进行处理时的网络通信开销,提高对数据进行处理的效率;同时,由于计算了迁移代价,还可以以较小的代价实现数据块存储位置的调整。
    附图说明
    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
    图1为本发明的调整数据块存储位置的方法实施例1的流程图;
    图2为本发明的调整数据块存储位置的方法实施例2的流程图;
    图3为本发明的调整数据块存储位置的系统实施例的结构图。
    具体实施方式
    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例?;诒痉⒚髦械氖凳├?,本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例,都属于本发明?;さ姆段?。
    为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
    图1为本发明的调整数据块存储位置的方法实施例1的流程图。如图1所示,该方法可以包括:
    步骤101:获取分布式网络中的n个数据块;
    所述分布式网络中包括多个数据存储节点,所述n个数据块可以分布在所述多个数据存储节点中。
    数据块是由多个数据组成的数据集合,例如数据库中多个数据项组成的数据项集合就可以称为数据块。
    所述n个数据块中的任意两个数据块,可以存储在同一个数据存储节点,也可以存储在两个不同的数据存储节点中。当某种操作需要同时访问这两个数据时,如果这两个数据存储在不同的数据存储节点中,则执行该操作的服务器需要分别从两个不同的数据存储节点获取数据。这会带来较大的数据传输开销。
    步骤102:利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    超图是一种广义上的图,它的一条边可以连接任意数量的顶点。形式上,超图H是一个集合组H=(X,E),其中X是一个有限集合,该集合的元素被称为节点或顶点,E是X的非空子集的集合,被称为超边或连接。因此,E是X的一个子集。
    具体的,可以采用以下方式确定所述n个数据块中任意m个数据块之间的相关度:
    步骤a:确定历史操作访问过的数据块;
    分布式网络中的计算节点在执行某个历史操作时,访问过的数据块,均可以采用本发明的方法计算相关度。
    假设某一个历史操作,需要访问x个数据块,则这x个数据块之间就具有 相关关系。需要说明的是,相关关系有强弱之分,下面的步骤可以计算多个数据块之间的相关度。
    步骤b:将所述历史操作访问过的数据块设定为超图的顶点;
    步骤c:根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重;fumji=1表示在历史操作中第j个操作访问了第i个数据块;k代表的是历史操作的总数;
    步骤d:将每个历史操作作为一条超边;
    步骤e:将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    步骤f:根据公式wej=frqj计算每个超边的权重,其中wej表示超边j的权重;
    步骤g:根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。
    采用上面的步骤,可以计算多个数据块之间的相关度。而现有技术中,通常只能计算两个数据块之间的相关度。
    步骤103:将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    根据前面的步骤计算出数据块之间的相关度之后,可以将相关度较高(即大于预设相关阈值)的数据块划分至相同的数据块集合。每个数据块集合中包含的任意一个数据块,均不属于另外的数据块集合。
    对于构造好的超图模型,可以采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。
    划分后得到的各个数据块集合中的各个数据块之间,均具有较高的相关程度。也就是说,对于任意一种数据操作,该操作需要访问的多个数据块中的一部分或者全部,具有较高的概率是位于同一个数据块集合中的。
    步骤104:对于任意一个所述数据块集合,分别计算将所述数据块集合中 的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    在采用本发明的方法之前,相关程度较高的多个数据块往往是分散存储在多个数据存储节点中的。本发明的实施例中,需要将同一个数据块集合中的数据块尽量存储在同一个数据存储节点。因此,本发明的方法需要对数据块进行迁移。
    在迁移之前,由于分布式网络中具有多个数据存储节点,还需要确定迁移代价最小的目标数据存储节点。假设有三个数据块分别存储在三个数据存储节点中,那么,通??梢越胝馊鍪荽娲⒔诘愕木嗬胫妥钚〉氖荽娲⒔诘?,作为所述目标数据存储节点。需要说明的是,三个数据块所在的三个数据存储节点也可以作为所述目标数据存储节点。即,数据块集合中的数据块所在的数据存储节点,可以作为所述目标数据存储节点。
    具体的,还可以根据公式
    计算将所述数据集合中的数据迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移到数据存储节点j上的代价。
    上面的公式主要是计算将数据块集合Ci迁移到节点j上的迁移代价。迁移代价主要是根据需要迁移的数据块数量以及数据块权重决定的。每个数据块的大小可以是一样的,数据块的迁移代价跟该数据块的权重是有关的。权重越大的数据块被迁移了则其代价越高,所以迁移的代价也可以表示为被迁移的数据块权重之和。
    步骤105:确定最小的所述迁移代价值对应的目标数据存储节点;
    步骤106:将所述数据块集合中的数据块存储至所述目标数据存储节点。
    将所述数据块集合中的数据块存储至所述目标数据存储节点之后,可以将原本存储所述数据块集合中的数据块的数据存储节点的存储空间进行释放,用 于存储另外的数据。
    综上所述,本实施例中,通过利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;将所述m个数据块划分至多个数据块集合;对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;确定最小的所述迁移代价值对应的目标数据存储节点;将所述数据块集合中的数据块存储至所述目标数据存储节点;可以将相关度较高的数据块存储到尽可能少的数据存储节点上,进而降低对数据进行处理时的网络通信开销,提高对数据进行处理的效率;同时,由于计算了迁移代价,还可以以较小的代价实现数据块存储位置的调整。
    实际应用中,为了防止某个数据块集合中的数据块个数过多,导致数据存储节点无法完整的存储下该数据块集合,本发明还提供了另一个实施例。
    图2为本发明的调整数据块存储位置的方法实施例2的流程图。如图2所示,该方法可以包括:
    步骤201:获取分布式网络中的n个数据块;
    步骤202:利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    步骤203:将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    步骤204:判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    所述预设个数范围具有上限和下限数值??梢愿菔导市枨笊瓒ㄉ舷奘岛拖孪奘?。
    步骤205:当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,可以 表示该数据块中的数据个数过少,进一步可以表示当前划分的数据块集合的个数过多。此时,可以将其它的数据块集合中的数据块转移至所述数据块集合。
    可以确定与数据块个数较少的数据块集合中的数据块的相关度较高的数据块,优先将这些数据块转移至所述数据块集合。
    步骤206:当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中;
    当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,可以表示该数据块中的数据个数过多,可能导致数据存储节点无法完整的存储下该数据块集合。此时,可以将所述数据块集合中的数据块转移至其它的数据块集合中。
    可以确定与所述数据块集合中的数据块的相关度较高的数据块所在的数据块集合,优先将数据块转移至相关度较高的数据块所在的数据块集合中。
    步骤207:对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    步骤208:确定最小的所述迁移代价值对应的目标数据存储节点;
    步骤209:将所述数据块集合中的数据块存储至所述目标数据存储节点。
    本实施例中,通过当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中,可以防止某个数据块集合中的数据块个数过多,导致数据存储节点无法完整的存储下该数据块集合;通过当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合,可以尽量避免划分的数据块集合的数目过多。
    本发明还公开了一种调整数据块存储位置的系统。
    图3为本发明的调整数据块存储位置的系统实施例的结构图。如图3所示,该系统可以包括:
    数据块获取单元301,用于获取分布式网络中的n个数据块;
    相关度确定单元302,用于利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;
    集合划分单元303,用于将所述m个数据块划分至多个数据块集合,所述m个数据块中的任意一个数据块只属于所述多个数据块集合中的一个数据块集合,属于同一个数据块集合的数据块之间的相关度大于预设相关阈值;
    迁移代价值计算单元304,用于对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    目标数据存储节点确定单元305,用于确定最小的所述迁移代价值对应的目标数据存储节点;
    存储单元306,用于将所述数据块集合中的数据块存储至所述目标数据存储节点。
    本实施例中,通过利用超图确定所述n个数据块中任意m个数据块之间的相关度,m<n;将所述m个数据块划分至多个数据块集合;对于任意一个所述数据块集合,分别计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;确定最小的所述迁移代价值对应的目标数据存储节点;将所述数据块集合中的数据块存储至所述目标数据存储节点;可以将相关度较高的数据块存储到尽可能少的数据存储节点上,进而降低对数据进行处理时的网络通信开销,提高对数据进行处理的效率;同时,由于计算了迁移代价,还可以以较小的代价实现数据块存储位置的调整。
    实际应用中,所述相关度确定单元302,具体可以包括:
    数据块确定子单元,用于确定历史操作访问过的数据块;
    超图顶点设定子单元,用于将所述历史操作访问过的数据块设定为超图的顶点;
    顶点权重计算子单元,用于根据公式wvi=Σj|fumji=1frqj(1in,1jk)]]>计算每个顶点的权重,其中frqj表示的历史操作j的频率,wvi表示顶点i的权重; fumji=1表示在历史操作中第j个操作访问了第i个数据块;k代表的是历史操作的总数;
    超边确定子单元,用于将每个历史操作作为一条超边;
    超边顶点确定子单元,用于将与该超边对应的历史操作访问过的数据块,作为该超边的顶点;
    超边权重计算子单元,用于根据公式wej=frqj计算每个超边的权重,其中wej表示超边j的权重;
    根据上述步骤构造的超图模型中,所述超边的权重用于表示数据块之间的相关度。
    实际应用中,还可以包括:
    数据块个数判断单元,用于在计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值之前,判断所述数据块集合中的数据块个数是否位于预设个数范围内;
    第一转移单元,用于当所述数据块集合中的数据块个数小于所述预设个数范围的下限时,将其它的数据块集合中的数据块转移至所述数据块集合;
    第二转移单元,用于当所述数据块集合中的数据块个数大于所述预设个数范围的上限时,将所述数据块集合中的数据块转移至其它的数据块集合中。
    实际应用中,所述迁移代价值计算单元304,具体可以包括:
    迁移代价值计算子单元,用于根据公式
    计算将所述数据块集合中的数据块迁移至所述分布式网络中的各个数据存储节点中所对应的迁移代价值;
    其中,表示数据块集合Ci中第m个数据块的权重,表示数据块集合Ci中第m个数据块现在所属的站点ID,Costi→j表示的是将数据块集合i迁移到数据存储节点j上的代价。
    实际应用中,所述集合划分单元303,具体可以包括:
    集合划分子单元,用于采用hMetis超图划分算法,将所述超图模型划分为多个数据块集合,以便确保所述多个数据块集合为具有最小割的划分结果。
    本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
    本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

    关 键 词:
    一种 调整 数据 存储 位置 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种调整数据块存储位置的方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6142859.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03