• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 26
    • 下载费用:30 金币  

    重庆时时彩独胆走势分析: 数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端.pdf

    关 键 词:
    数据 存储 方法 系统 记录 控制 设备 命令 接收 信息处理 终端
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN03800649.9

    申请日:

    2003.05.07

    公开号:

    CN1533534A

    公开日:

    2004.09.29

    当前法律状态:

    终止

    有效性:

    无权

    法律详情: 未缴年费专利权终止IPC(主分类):G06F 13/00申请日:20030507授权公告日:20100526终止日期:20150507|||授权|||实质审查的生效|||公开
    IPC分类号: G06F13/00; H04L12/56 主分类号: G06F13/00; H04L12/56
    申请人: 索尼株式会社;
    发明人: 片山靖
    地址: 日本东京都
    优先权: 2002.05.14 JP 139232/2002
    专利代理机构: 北京市柳沈律师事务所 代理人: 黄小临;王志森
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN03800649.9

    授权公告号:

    |||1533534B||||||

    法律状态公告日:

    2016.06.22|||2010.05.26|||2004.12.15|||2004.09.29

    法律状态类型:

    专利权的终止|||授权|||实质审查的生效|||公开

    摘要

    一种分布式存储系统,包括:n个节点(201、202、…、20n);记录命令装置(10),用于命令并控制将数据记录到节点中;以及发送命令装置(30),用于读出在节点中记录的数据,其中,这些节点和装置通过网络连接。记录命令装置(10)对由p个块构成的数据执行编码率为q/p的FEC编码,从而生成由q个块构成的数据。然后,记录命令装置(10)将由节点记录的记录概率α加到该数据,并且将它发送到网络上。在读出期间,发送命令装置(30)在响应中发送加有用于执行数据响应的响应概率β的数据。

    权利要求书

    1.一种数据存储方法,用于在通过网络相互连接的多个信息终端中分布
    和记录数据,包括:
    编码步骤,用于对分块第一数据进行编码以生成分块第二数据;
    分组化步骤,用于将所述第二数据分组化;
    记录概率产生步骤,用于产生一个记录概率,指示是否在所述分组化步
    骤中生成的分组要被记录在所述多个信息处理终端中;
    发送步骤,用于向所述多个信息处理终端发送所述分组和记录概率;以

    记录步骤,用于根据所述记录概率在所述信息处理终端中记录所述分组;
    其中
    作为用于读出以所述记录概率记录在所述多个信息处理终端的一个或几
    个中的所述分组的处理,所述方法包括:
    响应请求数据生成步骤,用于生成附有响应概率的响应请求数据,所述
    响应概率指示是否要响应所述分组;
    发送步骤,用于向所述多个信息处理终端发送所述响应请求数据;以及
    响应步骤,用于根据所述响应概率响应所述多个信息处理终端中的所述
    分组。
    2.如权利要求1所述的数据存储方法,其中所述记录概率包括在所述分
    组中,并且与所述分组一起发送到所述多个信息处理终端。
    3.如权利要求1所述的数据存储方法,其中所述记录概率以不同于所述
    分组的一个分组发送。
    4.如权利要求1所述的数据存储方法,其中在所述响应步骤中响应的分
    组数等于或大于所述第一数据的块数。
    5.如权利要求4所述的数据存储方法,还包括:
    分组分布控制步骤,用于改变所述第一和第二数据的比率、记录概率和
    响应概率以控制所述分组的分布。
    6.如权利要求4所述的数据存储方法,其中,在所述分组分布控制步骤
    中,改变所述记录概率、响应概率、所述信息处理终端的数量和所述第二数
    据的块数,从而使所述记录概率、响应概率、所述信息处理终端的数量和所
    述第二数据的块数的乘积等于或大于所述第一数据的块数。
    7.如权利要求6所述的数据存储方法,其中,在所述分组分布控制步骤
    中,改变所述网络中的数据损失概率、所述记录概率、响应概率、所述信息
    处理终端的数量和所述第二数据的块数,从而使所述网络中的所述数据损失
    概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据
    的块数的乘积等于或大于所述第一数据的块数。
    8.如权利要求4所述的数据存储方法,其中,在所述分组分布控制步骤
    中,改变所述多个信息终端不响应的概率、所述记录概率、响应概率、所述
    信息处理终端的数量和所述第二数据的块数,从而使所述多个信息终端不响
    应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二
    数据的块数的乘积等于或大于所述第一数据的块数。
    9.如权利要求1所述的数据存储方法,其中,在所述记录概率产生步骤
    中和在所述响应概率产生步骤中,提高所述记录概率、响应概率或编码率以
    降低在所述响应步骤中响应的分组的重叠概率。
    10.一种数据存储系统,用于在通过网络相互连接的多个信息终端中分
    布和记录数据,包括数据记录控制装置;所述数据记录控制装置具有:
    编码部件,用于对分块第一数据进行编码以生成分块第二数据;
    分组化部件,用于将所述第二数据分组化;
    记录概率产生部件,用于产生一个记录概率,所述记录概率指示是否在
    所述分组化部件中生成的分组要被记录在所述多个信息处理终端中;以及
    发送部件,用于向所述多个信息处理终端发送所述记录概率和所述响应
    请求数据;
    所述数据存储系统还包括多个信息处理终端,所述信息处理终端每个包
    括:
    发送/接收部件,用于通过所述数据记录控制装置发送/接收所述分组和记
    录概率;
    记录部件,用于记录所述分组;以及
    控制部件,用于管理控制是否根据所述记录概率要记录所接收的分组和
    是否以所述响应概率来响应所记录的分组;
    所述部件通过网络整体上相互连接。
    11.如权利要求10所述的数据存储系统,其中所述记录概率包括在所述
    分组中,并且与所述分组一起发送到所述多个信息处理终端。
    12.如权利要求10所述的数据存储系统,其中所述记录概率以不同于所
    述分组的一个分组发送。
    13.如权利要求10所述的数据存储系统,其中在所述数据接收控制装置
    的所述接收部件中接收的分组数等于或大于所述第一数据的块数。
    14.如权利要求13所述的数据存储系统,还包括:
    分组分布控制部件,用于改变所述第一和第二数据的比率、记录概率和
    响应概率以控制所述分组的分布。
    15.如权利要求13所述的数据存储系统,其中,在所述分组分布控制部
    件中,改变所述记录概率、响应概率、所述信息处理终端的数量和所述第二
    数据的块数,从而使所述记录概率、响应概率、所述信息处理终端的数量和
    所述第二数据的块数的乘积等于或大于所述第一数据的块数。
    16.如权利要求15所述的数据存储系统,其中,在所述分组分布控制部
    件中,改变所述网络中的数据损失概率、所述记录概率、响应概率、所述信
    息处理终端的数量和所述第二数据的块数,从而使所述网络中的所述数据损
    失概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数
    据的块数的乘积等于或大于所述第一数据的块数。
    17.如权利要求13所述的数据存储系统,其中,在所述分组分布控制部
    件中,改变所述多个信息终端不响应的概率、所述记录概率、响应概率、所
    述信息处理终端的数量和所述第二数据的块数,从而使所述多个信息终端不
    响应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第
    二数据的块数的乘积等于或大于所述第一数据的块数。
    18.如权利要求10所述的数据存储系统,其中,在所述记录概率产生部
    件中和在所述响应概率产生部件中,提高所述记录概率、响应概率或编码率
    以降低由所述信息处理终端响应的分组的重叠概率。
    19.一种数据记录控制设备,用于在通过网络相互连接的多个信息终端
    中分布和记录数据,所述设备包括:
    编码部件,用于对分块第一数据进行编码以生成分块第二数据;
    分组化部件,用于将所述第二数据分组化;
    记录概率产生部件,用于产生一个记录概率,所述记录概率指定是否由
    所述分组化部件生成的分组要被记录在所述多个信息处理终端中;
    响应请求数据生成部件,用于生成附有响应概率的响应请求数据,所述
    响应概率指示是否要响应所述分组;
    发送部件,用于向所述多个信息处理终端发送包括所述记录概率和所述
    响应请求数据的分组;以及
    接收部件,用于接收从所述终端发送的分组。
    20.一种数据记录命令设备,用于在通过网络相互连接的多个信息终端
    中分布和记录数据,所述设备包括:
    编码部件,用于对分块第一数据进行编码以生成分块第二数据;
    分组化部件,用于将第二数据分组化;
    记录概率产生部件,用于产生一个记录概率,所述记录概率指示是否在
    所述分组化部件中生成的分组要被记录在所述多个信息处理终端中;以及
    发送部件,用于向所述多个信息处理终端发送包括所述记录概率的所述
    分组。
    21.一种数据接收设备,用于从通过网络相互连接的多个信息处理终端
    接收数据,所述设备包括:
    响应请求数据生成部件,用于生成附有响应概率的响应请求数据,所述
    响应概率指示是否要响应在所述多个信息处理终端中记录的分组;
    发送部件,用于向所述信息处理终端发送所述响应请求数据;以及
    接收部件,用于接收从所述信息处理终端发送的分组。
    22.一种信息处理终端,包括:
    发送/接收部件,用于利用通过网络与之相连的外部装置发送/接收数据;
    记录部件,用于记录分组;以及
    控制部件,用于控制是否要根据附于所述分组的记录概率来记录所述分
    组和是否以从所述外部装置发送的响应概率来响应所记录的分组。

    说明书

    数据存储方法和系统、数据记录控制 设备、数据记录命令设备、数据接收设备 和信息处理终端

    技术领域

    本发明涉及一种数据存储方法和数据存储系统、数据记录控制设备、数
    据记录命令设备、数据接收设备和信息处理终端,具体而言,涉及一种用于
    存储分布在通过网络相互连接的多个节点上的数据的数据存储方法和数据存
    储系统。更具体而言,它涉及一种可以方便地用于该数据存储系统中的数据
    记录控制设备、数据记录命令设备、数据接收设备和信息处理终端。

    本申请要求2002年5月14日在日本提交的日本专利申请第2002-139232
    号的优先权,在此将其全文引作参考。

    背景技术

    近来,在大型存储系统中,数据被分布和记录在通过网络相互连接的大
    量信息处理终端中。在该分布式存储系统中,用于记录和管理数据的服务器
    通过例如组播向信息处理终端或其他服务器发送数据,从而记录在所述信息
    处理终端或其他服务器中所提供的本地记录介质上。

    如果在这种情况下要根据需要取出数据,则必须在记录介质中记录大量
    的数据。例如,如果数据是具有大约2千兆字节的数据容量的运动图像,并
    且要记录500个这样的运动图像,则需要不少于1万亿字节的容量。

    另一方面,如果作为通过流式传输提供数据的示例,服务器通过单播向
    请求数据的客户端提供数据,则使用一个协议,其中请求重发数据,诸如
    TCP/IP的到达完成信号(ACK信号),以便获得无错误的发送。

    但是,该技术向服务器施加了很大的负担,因此在本领域的现有状态下,
    即使使用高性能服务器也只能向几百个客户端提供服务。即使使用了未采用
    ACK的协议如UDP/IP,可以向其提供服务的客户端的数量也不超过千位级。
    因此,如果试图通过流式传输来提供数据,则提高了服务器端的成本,因此
    限制了客户端的数量。

    近来,已经提出了这样的系统,其中,使用FEC(前向纠错)来作为组
    播技术,并且向多个客户端发送数据而不请求重发数据。该系统是这样的一
    种系统,其中,服务器通过组播重复发送流,并且客户端从所述流获取必要
    的信号,并且解码和再现所获取的数据。

    在10分钟内发送500个运动图像——其中每个为2千兆字节——的图像
    数据中,则需要大约14.7千兆比特/秒的传输带宽。如果要在一分钟内发送同
    样数量的图像数据,则需要大约147千兆比特/秒的传输带宽。虽然上述数值
    是理论值,但是能够承受所述容量的服务器或传输系统是成本极其高的,如
    果建立这样的服务器,则是不实用的。虽然存在其中数据被分布和记录在多
    个主机中的系统,但是这样的系统需要增加用于数据管理或数据通信的处理,
    因为需要由多个服务器来管理海量数据。

    发明内容

    考虑到本领域的上述状态,本发明的目的是提供:一种数据存储方法和
    数据存储系统,其中可以分布和管理大量的数据而不需要复杂的处理或很大
    的传输带宽,也不施加负担于各个终端;一种数据记录控制设备,用于以可
    以分布和记录大量的数据而不需要复杂的处理或很大的传输带宽并且也不施
    加负担于各个终端的方式以及以可以从记录站点取出数据的方式来管理控
    制;一种数据记录命令设备,其中可以分布和管理大量的数据而不需要复杂
    的处理或很大的传输带宽,也不施加负担于各个终端;一种数据接收设备,
    用于接收被分布和记录在各个终端上的数据;以及一种信息处理终端,它能
    够分布和记录大量的数据。

    在一个方面,本发明提供了一种数据存储方法,用于在通过网络相互连
    接的多个信息终端中分布和记录数据,包括:编码步骤,用于对分块第一数
    据进行编码以生成分块第二数据;分组化步骤,用于将第二数据分组化;记
    录概率产生步骤,用于产生一个记录概率,指示是否在分组化步骤中生成的
    分组要被记录在所述多个信息处理终端中;发送步骤,用于向所述多个信息
    处理终端发送所述分组和所述记录概率;以及记录步骤,用于根据所述记录
    概率来在所述信息处理终端中记录所述分组。作为用于读出以所述记录概率
    记录在所述多个信息处理终端的一个或几个中的分组的处理,所述方法包括:
    响应请求数据生成步骤,用于生成附有响应概率的响应请求数据,所述响应
    概率指示是否要响应所述分组;发送步骤,用于向所述多个信息处理终端发
    送所述响应请求数据;以及响应步骤,用于根据所述响应概率响应所述多个
    信息处理终端中的分组。

    在另一个方面,本发明提供了一种数据存储系统,用于在通过网络相互
    连接的多个信息终端中分布和记录数据,包括一个数据记录控制装置,所述
    数据记录控制装置具有:编码部件,用于对分块第一数据进行编码以生成分
    块第二数据;分组化部件,用于将第二数据分组化;记录概率产生部件,用
    于产生一个记录概率,所述记录概率指示是否在分组化步骤中生成的分组要
    被记录在所述多个信息处理终端中;以及发送部件,用于向所述多个信息处
    理终端发送所述记录概率和响应请求数据。所述数据存储系统还包括多个信
    息处理终端,所述信息处理终端均具有:发送/接收部件,用于通过所述数据
    记录控制装置发送/接收所述分组和所述记录概率;记录部件,用于记录所述
    分组;以及控制部件,用于管理控制是否根据所述记录概率要记录所接收的
    分组和是否以响应概率来响应所记录的分组。上述部件通过网络相互连接。

    在另一个方面,本发明提供了一种数据记录控制设备,用于在通过网络
    相互连接的多个信息终端中分布和记录数据,其中所述设备包括:编码部件,
    用于对分块第一数据进行编码以生成分块第二数据;分组化部件,用于将第
    二数据分组化;记录概率产生部件,用于产生一个记录概率,所述记录概率
    指示是否由所述分组化部件生成的分组要被记录在所述多个信息处理终端
    中;响应请求数据生成部件,用于生成附有响应概率的响应请求数据,所述
    响应概率指示是否要响应所述分组;发送部件,用于向所述多个信息处理终
    端发送包括所述记录概率和响应请求数据的分组;以及接收部件,用于接收
    从所述终端发送的分组。

    在另一个方面,本发明提供了一种数据记录命令设备,用于在通过网络
    相互连接的多个信息终端中分布和记录数据,其中所述设备包括:编码部件,
    用于对分块第一数据进行编码以生成分块第二数据;分组化部件,用于将第
    二数据分组化;记录概率产生部件,用于产生一个记录概率,所述记录概率
    指示是否在所述分组化部件中生成的分组要被记录在所述多个信息处理终端
    中;以及发送部件,用于向所述多个信息处理终端发送包括所述记录概率的
    分组。

    在另一个方面,本发明提供了一种数据接收设备,用于从通过网络相互
    连接的多个信息处理终端接收数据,其中所述设备包括:响应请求数据生成
    部件,用于生成附有响应概率的响应请求数据,所述响应概率指示是否要响
    应在所述多个信息处理终端中记录的分组;发送部件,用于向所述信息处理
    终端发送所述响应请求数据;以及接收部件,用于接收从所述信息处理终端
    发送的分组。

    在另一个方面,本发明提供了一种信息处理终端,包括:发送/接收部件,
    用于利用通过网络与之相连的外部装置发送/接收数据;记录部件,用于记录
    分组;以及控制部件,用于控制是否要根据附于所述分组的记录概率来记录
    所述分组和是否以从所述外部装置发送的响应概率来响应所记录的分组。

    本发明的上述和其他方面被陈述在所附权利要求中,以下将参照附图来
    详细说明它们。

    附图说明

    图1示出了本发明的分布式存储系统的结构。

    图2示出了记录命令设备的内部结构。

    图3示出了用于存储要记录的数据的分组的结构。

    图4示出了一个节点的内部结构。

    图5示出了发送命令设备的内部结构。

    图6示出了用于请求数据发送的分组的结构。

    图7示出了从节点响应的分组的结构。

    图8A和8B示出了用于生成分组的处理。

    图9示出了用于包括要记录的数据的分组的传输信道。

    图10示出了用于请求数据响应的分组的传输信道。

    图11示出了用于从节点向发送命令设备响应的分组的传输信道。

    图12A和12B示出了将从节点发送的分组恢复为原始数据的处理。

    具体实施方式

    参照附图,详细说明本发明的某些特定实施例。图1示出了分布式存储
    系统的一个特定实施例,其中数据被分布和记录在构成网络的多个终端上。
    该分布式存储系统包括:以网格形式相互连接的n个节点201、202、...、20n-1、
    20n;记录命令装置10,用于命令将数据分布和记录到相应节点中;以及发送
    命令装置30,用于读出在相应节点中记录的数据。虽然记录命令装置10、节
    点20和发送命令装置30在本特定实施例中是单独装置,但是也可以将两个
    装置组合为具有各个装置功能的单个记录发送命令设备?;蛘?,可以在每个
    节点上提供记录命令装置10和发送命令装置30的功能。在这种情况下,可
    以无区别地使用构成网络的各个装置。

    而且,在图1中,未示出形成网络的传输控制设备,诸如路由器。但是,
    实际上,提供了这样的传输控制设备,诸如路由器,用于选择经过节点20的
    分组的信道。该传输控制设备可以与节点20分开提供,或者可以向节点20
    提供与传输控制设备类似的功能。

    现在说明记录命令装置10。图2示出了记录命令装置10的内部结构。
    记录命令装置10包括FEC(前向纠错)编码器11,用于执行FEC编码;交
    织器12,用于交织编码数据;分组生成单元13,用于将从交织器12输出的
    数据转换为分组;网络接口14,用于建立与网络的连接。该记录命令装置经
    由数据输入单元15被提供数据。

    FEC编码器11使用EFC编码来对输入数据进行编码。应当注意,FEC
    编码是在接收器端执行纠错的编码系统的一般术语,该编码系统诸如为
    tornado编码系统、read?tornado编码系统或turbo编码系统。FEC编码器11
    将从数据输入单元15输入的数据划分为p个块,并且向这p个块应用FEC
    编码,以便将这p个块转换为q个块。这种从p个块到q个块的编码被称为
    以编码率q/p来编码。通过改变该编码率q/p,有可能改变本分布式存储系统
    的记录效率或发送效率。

    交织器12互换编码数据的顺序。通过由交织器12执行的这种数据顺序
    重新排列,数据以由分组损失产生的突发错误转换为随机错误的方式分布。

    分组生成单元13将从交织器12发送的数据划分为预定大小的数据,并
    且将控制信息附加到如此划分的数据以生成分组。图3示出了由分组生成单
    元13生成的分组40的结构。分组40包括首标41、记录概率声明部分42、
    有效载荷43和脚注44。在有效载荷43中,声明了由FEC编码器11转换的
    发送信息。在首标41和脚注44中,声明了控制信息,包括数据ID,指定数
    据的种类、CRC(循环冗余校验)的校验和、节点20的GUID(全局唯一ID)
    和网络地址。

    在记录概率声明部分42中,声明了如后所述各个节点记录该分组的概
    率。节点的控制器22根据该记录概率α来记录分组。

    构成分布式存储系统的所有各个节点根据该记录概率确定是否应当记录
    分组。以这种方式,数据以概率α记录在构成分布式存储系统的多个节点中。
    在该分布式存储系统中,在节点数n足够大而且已经解码了足够大块数q的
    情况下,数据可以以均匀概率记录在各个节点中。

    网络接口14被提供分组化数据,并且以单播或组播向每个节点20发送
    该数据。

    现在说明节点20的结构。图4示出了节点20的结构。节点20包括网络
    接口21、控制器22和记录单元23,并且通过网络接口21连接到网络。

    控制器22执行用于在记录单元23中记录输入分组40的记录处理和用于
    响应于来自其他节点20的请求而响应数据的响应处理。

    记录处理是根据输入分组40的记录概率α来验证是否分组40要被记录
    在记录单元23中的处理。应当注意,在构成分布式存储系统的节点数n足够
    大而且已经解码了足够大块数q的情况下,分组均匀地记录在所有节点中,
    从而在整个分布式存储系统的范围内以概率α来记录数据。

    响应处理是当接收到从发送命令装置发送的、请求发送数据的分组时开
    始的处理。后面将说明该数据发送请求分组的数据结构。简而言之,该分组
    声明了响应数据的概率β,并且控制器22以概率β来响应所记录的数据。当
    确定应当响应数据时,控制器22检索目标数据以生成响应分组。

    现在说明发送命令装置30。图5示出了其结构。具体地说,发送命令装
    置30包括:网络接口31,用于通过网络向外部发送/从外部接收数据;数据
    请求单元32,用于请求节点发送数据;分组互连单元33,用于互连划分为分
    组的数据;去交织器34;以及FEC解码器35。解码数据进入应用处理器36
    以便输出到未示出的外部设备,诸如监视器或扬声器,或者存储在未示出的
    记录装置中。

    数据请求单元32向构成分布式存储系统的每个节点发送用于请求数据
    的分组。图6示出了数据请求分组50的结构。分组50包括首标51、响应概
    率声明部分52、请求声明部分53和脚注54。在请求声明部分53中,声明了
    用于区分所请求数据的数据ID。在首标51和脚注54中,声明了控制信息,
    包括CRC校验和、节点的网络地址、GUID或指定数据顺序的序号。

    在响应概率声明部分52中,记录了响应概率β。响应概率β是用于验证
    是否接收到分组50的节点要响应数据的变量。根据该变量,某个节点可能确
    定应响应数据,而另一个节点可能确定不应响应数据。注意,响应概率β是
    当宏观地看待分布式存储系统的时候所保持的值,也就是,在整个分布式存
    储系统的范围内,数据响应概率是β。因此,如果在整个分布式存储系统中
    存在n个节点20,则被响应的分组的数量是节点20的数量n和响应概率β
    的乘积,或n×β。

    分组互连单元33互连从节点20响应的分组。图7示出了从节点响应的
    分组60的数据结构。参照图7,分组60包括首标61、有效载荷62和脚注
    63。在有效载荷62中存储了要被响应的数据,在首标61和脚注63中,存储
    了控制信息,诸如CDC校验和、节点的网络地址或指定数据顺序的序号。

    当接收到图7的分组60时,分组互连单元33读出序号并且互换分组60
    的顺序,消除诸如首标61或脚注63的控制信息,并且以序号的次序互连分
    组。

    去交织器34去交织所互连的分组以将数据组置于正确的次序。FEC解码
    器35对经过去交织的数据进行FEC解码以恢复原始数据。

    由FEC解码器35解码的数据被输出到应用处理器36。该应用处理器36
    在未示出的存储单元中存储解码数据,或者向诸如监视器或扬声器的输入/输
    出接口输出解码数据。

    因此,本特定实施例的分布式存储系统是用于以记录概率α在各个节点
    中记录数据、并且以响应概率β响应在各个节点中记录的数据的系统。从记
    录命令装置10输出的原始数据被以α×n×β的比率响应。例如,如果p个
    块被编码为q个块,则响应q×α×n×β个块。如果响应块数大于编码之前
    的块数p,则可以对数据进行解码,如后面将要说明的论文RIZZ097所述。
    这样,通过确定α、β和q/p的值从而使响应块数大于p,有可能对目标数据
    进行解码。

    现在参照图8到12来说明分布式存储系统的操作。首先,说明数据记录
    操作。在记录数据中,记录命令装置10从数据输入单元15输入目标数据,
    并且向FEC编码器11输出所输入的数据。

    FEC解码器11将输入数据划分为p个块,如图8B所示。FEC解码器然
    后以q/p的编码率来进行FEC编码,以便将划分为p个块的数据转换为q个
    编码块。

    如上所述,FEC编码是在接收器端执行纠错的编码系统的一般术语,该
    编码系统诸如为tornado编码系统、read?tornado编码系统或turbo编码系统。
    当给定数据是以编码率q/p来编码的时,如果剩有不少于q个编码块,则可
    以恢复原始数据,即使由于损失而丢失了几个块也是如此,如论文RIZZ097
    (http.//www.iet.unipi.it/luigi//fec.html#fec.ps)中所发表的那样。

    经过FEC编码的数据被输出到交织器12,交织器12然后重新排列编码
    数据的顺序以分布数据。从交织器12输出的数据传送到分组生成单元13。
    分组生成单元13将分布数据划分为预定的大小,并且将首标或脚注附加到所
    划分的数据以生成图8B所示的分组40。

    如上所述生成的分组40传送到网络接口14。网络接口14使用单播或组
    播向分布式存储系统的每个节点发送被分组化的数据,如图9所示。

    接收到从记录命令装置10发送的分组40的节点开始记录处理,并且读
    出分组40的记录概率α以判定是否分组40要被记录。如果确定该分组要被
    记录,则该节点在记录单元23中记录数据,并且如果确定该分组不要被记录,
    则该节点向其他节点输出所接收的分组。注意,记录概率α是指示整体上要
    在分布式存储系统中记录多少数据的值。因此,如果发送数据是q个编码块,
    则整体上q×α个数据被记录在分布式存储系统中。

    以下说明取出数据的处理。当取出数据时,发送命令装置30生成分组
    50并且使用单播或组播向各个节点输出分组50,如图10所示。

    当接收到分组50时,该节点开始响应处理。在分组50中,除了通常的
    控制信息之外,还声明了用于区分数据的数据ID和响应分组的响应概率β。
    因此,在响应处理中,节点根据分组50的响应概率β来确定是否要响应数据。
    如果确定要响应数据,则节点的控制器22生成包括数据的分组60,并且向
    发送命令装置30发送所生成的分组。如果确定不要响应数据,则节点控制器
    22不执行处理。

    图11示出了从每个节点向发送命令装置30响应分组的方式。参照图11,
    分布式存储系统的节点可能响应数据或者可能不响应数据。但是,总体上,
    每个节点以响应概率β来响应数据。如果在分布式存储系统中存在n个节点,
    则各节点在总体上以n×β的比率来响应数据。因为q×α个数据已被记录在
    分布式存储系统中,所以如上所述,根据记录概率α,q×α×n×β个数据
    被响应。

    现在参照图12,说明数据的解码。在接收到从各个节点发送的数据时,
    发送命令装置30向分组互连单元33输入所接收的数据以互连分组。图12A
    示出了从多个节点向发送命令装置30响应的分组60。在图12A中,以阴影
    所示的位置表示发生了数据损失的位置。在分布式存储系统中,由于是以α
    ×n×β的比率来响应原始数据,因此不是所有分组都被响应,从而删除了几
    个分组,如图12A所示。

    但是,这些数据经过交织,从而在去交织时,突发类数据损失通过分布
    而转换为随机数据损失。这些数据可以经过FEC编码以恢复图12B所示的原
    始数据。

    在FEC编码中,如果数据是以编码率q/p来编码的,并且存在不少于p
    个编码数据块,则数据解码是可能的。当所发送的q个数据是以α×n×β的
    比率来响应的时,响应数据的数量是q×α×n×β。通过设置q/p、α和β的值
    从而使该数量q×α×n×β不小于p,可以恢复原始数据。

    而且,在本特定实施例中,由于如果编码率q/p、记录概率α和响应概率
    β设成满足关系式p?q×α×n×β则足够,因此可以通过在满足上述关系式的
    范围内改变编码率q/p、记录概率α和响应概率β来改变数据记录效率或发送
    效率。下面说明参数q/p、α和β的设置示例。

    例如,如果对于对其进行了极其大量的响应请求的数据,增大记录概率
    α的值并且减小响应概率β的值,则从各个节点发送的数据减少,从而简化
    各节点中的数据检索处理或数据发送处理。

    类似可能的是增大编码率q/p的值和减小响应概率β,而不是增大记录
    概率α的值,从而简化各节点中的数据检索处理或数据发送处理。

    而且,可以通过降低编码率q/p和增大记录概率α来抑制发送分组数。
    当p足够大时,这是有效的。另一方面,通过减小记录概率α和降低编码率
    q/p,可以避免在多个节点中记录相同的分组。当p值足够小时,这是有效的。

    通过增大响应概率β和通过减小记录概率α或编码率q/p。有可能降低总
    体上在分布式存储系统中记录的编码数据的容量?;蛘?,在数据记录、输出
    或发送期间,通过控制α、β或q/p的值从而使a×n×α×q×β的值比p足
    够大,其中a是分组损失的概率,可以响应足够数量的数据,。

    通过以数学方式来估计从多个节点响应的唯一分组的数量并且增大记录
    概率、响应概率或编码率,有可能提高唯一分组出现的概率。

    利用上述的本特定实施例的分布式存储系统,可以通过向构成该系统的
    节点发送声明记录概率α的分组40来分布和记录数据??梢酝ü沟靡韵煊?
    概率β来响应在该节点中记录的数据来取出数据。通过以这种方式分布和记
    录数据,可以存储数据而不将数据管理负担集中在一个服务器中。另外,利
    用本特定实施例的分布式存储系统,其中,给定数据由多个节点共同拥有,
    可以降低整个系统所需的数据量。

    通过从多个节点接收数据,可以以稳定的通信量来执行数据发送/接收,
    而不是在一个服务器中具有沉重的进入通信量。

    通过改变α、β或q/p的值,有可能改变发送效率或记录数据量。而且,
    当例如在数据记录、输出或发送的时候出现分组损失的情况下,通过考虑损
    失概率a,可以改变参数α、β或q/p的值,从而即使在分组损失的情况下也
    可以取出足够用于解码的数据量。

    而且,利用本分布式存储系统,其中可以通过基于记录概率和响应概率
    的计算来实现分布式记录和读出,数据管理较为简单,从而诸如便携式摄像
    机或移动电话的具有低处理能力的家用设备可以适用于本系统。另外,由于
    诸如便携式摄像机或移动电话的具有低处理能力的家用设备可以用作节点,
    因此可以极其容易地构建数百万节点的分布式存储系统。

    在上述分布式存储系统中,发送命令装置通过同一分组来发送用于记录
    的数据和记录概率?;蛘?,用于记录的数据和记录概率可以通过不同的分组
    来发送,或者记录在外部记录装置中,从而从各个信息处理节点引用。

    上述特定示例仅仅用来说明本发明,因此本发明包括本发明的主旨范围
    内的修改。例如,虽然便携式摄像机、个人录像机或家用网关可以当作节点,
    但是也可以使用任何其他适当装置作为节点,其中,该其他适当装置包括用
    于记录数据的记录单元、用于允许预定计算的控制器以及允许数据发送/接收
    的网络接口。

    虽然记录概率α和响应概率β是在分组中记录的,但是有可能在可选记
    录装置中或者在分组中记录记录概率α和响应概率β,并且如此记录的数据
    可以被每个节点引用。特别地,如果read?tornado编码系统用作FEC编码,
    则可以省略交织处理。

    对于本领域内的技术人员显然的是,本发明不限于参照附图所述的实施
    例,在不脱离由所附权利要求限定的本发明的范围和主旨的情况下,可以设
    想不同的改变、替换或等同物。

    工业应用

    利用上述本发明的数据存储方法,将通过对第一数据进行编码所获得的
    第二数据形成为分组,产生一个记录概率,用于指示是否每个分组要被记录
    在多个信息处理终端中,并且向该多个信息终端发送记录概率和分组。为了
    读出以该记录概率记录在任何信息处理终端中的分组,生成附有用于指示是
    否要响应分组的响应概率的响应请求数据,并且将其发送到多个信息处理终
    端。信息处理终端根据响应概率来响应分组。以这种方式,可以分布和记录
    大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各个
    终端,同时可以从记录位置取出数据以进行数据重建。

    利用本发明的数据存储系统,将通过对第一数据进行编码所获得的第二
    数据形成为分组,产生一个记录概率,用于指示是否每个分组要被记录在多
    个信息处理终端中,并且向该多个信息终端发送记录概率和分组。为了读出
    以该记录概率记录在任何信息处理终端中的分组,生成附有用于指示是否要
    响应分组的响应概率的响应请求数据,并且将其发送到多个信息处理终端。
    然后,信息处理终端根据响应概率来响应分组。以这种方式,可以分布和记
    录大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各
    个终端,同时可以从记录位置取出数据以进行数据重建。

    利用本发明的数据记录控制设备,可以分布和记录大量数据而不需要复
    杂的处理或大量的传输带宽并且不需要施加负担于各个终端,同时可以从记
    录位置取出数据以进行重建。

    利用本发明的数据记录命令设备,可以分布和记录大量数据而不需要复
    杂的处理或大量的传输带宽并且不需要施加负担于各个终端。

    利用数据接收设备,可以接收和重建在各个终端中分布和记录的数据而
    不需要复杂的处理或大量的传输带宽。

    而且,利用本发明的信息处理终端,可以分布和记录大量的数据而不需
    要复杂的处理或大量的传输带宽。

    关于本文
    本文标题:数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端.pdf
    链接地址://www.4mum.com.cn/p-6198150.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 鼎博彩票网址 山东福利彩票网 云南十一选五任五遗漏 内蒙古时时彩昨天开奖结果 浙江体彩61中奖规则 nba篮球比分直播网 u购彩群 麻将机塑料配件大全 深圳风采星期几开奖 上证指数5年走势图 福彩3d开机号历史记录 3d试机号对应码 彩票网 天津快乐十分前三组推荐 福建体彩25选5 天天2筒子棋牌官网