• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 18
    • 下载费用:30 金币  

    重庆时时彩与平台合作: 存储数据的方法和装置.pdf

    关 键 词:
    存储 数据 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201180002046.1

    申请日:

    2011.09.28

    公开号:

    CN102388374A

    公开日:

    2012.03.21

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 12/08申请公布日:20120321|||实质审查的生效IPC(主分类):G06F 12/08申请日:20110928|||公开
    IPC分类号: G06F12/08 主分类号: G06F12/08
    申请人: 华为技术有限公司
    发明人: 张振龙; 巩玉旺
    地址: 518129 中国广东省深圳市龙岗区坂田华为总部办公楼
    优先权:
    专利代理机构: 北京龙双利达知识产权代理有限公司 11329 代理人: 王君;肖鹂
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201180002046.1

    授权公告号:

    ||||||

    法律状态公告日:

    2015.01.28|||2012.05.02|||2012.03.21

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明实施例提供了一种存储数据的方法和装置。该方法包括:基于原有数据记录建立热点数据模型;根据该热点数据模型从上述原有数据记录和/或新的数据记录中筛选出热点数据;将筛选出的热点数据存储到第一存储设备中。本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面上实现有效的存储策略。

    权利要求书

    1.一种存储数据的方法,其特征在于,包括:
    基于原有数据记录建立热点数据模型;
    根据所述热点数据模型从所述原有数据记录或新的数据记录中筛选出热
    点数据;
    将筛选出的热点数据存储到第一存储设备中。
    2.根据权利要求1所述的方法,其特征在于,还包括:
    将原有数据记录中不是热点数据的数据记录存储到第二存储设备中,其
    中所述第一存储设备的存储速率高于第二存储设备的存储速率。
    3.根据权利要求2所述的方法,其特征在于,还包括:
    在接收到查询请求时,对查询进行优化,以生成相应的执行计划;
    根据所述执行计划分别从所述第一存储设备和所述第二存储设备中获取
    数据。
    4.根据权利要求1至3中的任一项所述的方法,其特征在于,还包括:
    在所述热点数据模型过期的情况下,重新进行所述建立热点数据模型的
    过程,并且根据重新建立的热点数据模型更新所述第一存储设备中的热点数
    据。
    5.根据权利要求1至4中的任一项所述的方法,其特征在于,所述热点
    数据模型过期包括:所述热点数据模型的生命周期超过预设时间或者所述热
    点数据在所述第一存储设备中的命中率太低。
    6.根据权利要求1至5中的任一项所述的方法,其特征在于,所述第一
    存储设备为高速存储设备,所述基于原有数据记录建立热点数据模型,包括:
    从所述原有数据记录中抽取出样本数据记录;
    确定所述样本数据记录的命中次数;
    将所述样本数据记录作为用于建立所述热点数据模型的数据源,并且基
    于所述命中次数建立所述热点数据模型。
    7.一种存储数据的装置,其特征在于,包括:
    建立???,用于基于原有数据记录建立热点数据模型;
    筛选???,用于根据所述热点数据模型从所述原有数据记录或新的数据
    记录中筛选出热点数据;
    存储???,用于将筛选出的热点数据存储到第一存储设备中。
    8.根据权利要求7所述的装置,其特征在于,所述存储??榛菇惺?br />据记录中不是热点数据的数据记录存储到第二存储设备中,其中所述第一存
    储设备的存储速率高于第二存储设备的存储速率。
    9.根据权利要求8所述的装置,其特征在于,还包括:
    优化???,用于在接收到查询请求时,对查询进行优化,以生成相应的
    执行计划;
    获取???,用于根据所述执行计划分别从所述第一存储设备和所述第二
    存储设备中获取数据。
    10.根据权利要求7至9中的任一项所述的装置,其特征在于,所述建
    立??榛乖谒鋈鹊闶菽P凸诘那榭鱿?,重新进行所述建立热点数据模
    型的过程,并且根据重新建立的热点数据模型更新所述第一存储设备中的热
    点数据。
    11.根据权利要求7至10中的任一项所述的装置,其特征在于,所述热
    点数据模型过期包括:所述热点数据模型的生命周期超过预设时间或者所述
    热点数据在所述第一存储设备中的命中率太低。
    12.根据权利要求7至11中的任一项所述的装置,其特征在于,所述第
    一存储设备为高速存储设备,所述建立??榇铀鲈惺菁锹贾谐槿〕鲅?br />本数据记录,确定所述样本数据记录的命中次数,将所述样本数据记录作为
    用于建立所述热点数据模型的数据源,并且基于所述命中次数建立所述热点
    数据模型。

    说明书

    存储数据的方法和装置

    技术领域

    本发明实施例涉及计算机技术领域,并且更具体地,涉及一种存储数据
    的方法和装置。

    背景技术

    新型存储设备的出现,改变了传统的存储架构,促使数据库进行相应的
    改进。例如,新型的高速存储设备SSD(Solid?State?Disk,固态硬盘)和PCM
    (Phase?Change?Memory,相变存储器)的读写速度比普通磁盘快,比内存慢,
    数据掉电不丢失,经常作为数据库的二级缓存(Cache)使用。而如何识别出
    需要缓存的热点数据(Hot?Data),以及如何在新型的高速存储设备上对数据
    进行组织是有效实现数据存储或缓存需要解决的重要问题。

    目前,数据块级别的热点数据识别(Identification)和预识别
    (Pre-identification)技术已经较为完善。在现有技术中,热点数据是指在服
    务器的数据库(Database)运行过程中经常被使用的数据,一般指数据块,即
    热点数据主要以数据块的形式被存储。用于识别这种热点数据的识别算法相
    对比较成熟,例如,通过统计数据块的命中次数获知该数据块是否为热点数
    据。这种存储方法在数据块层面(即数据库下层)对热点数据进行识别和存
    储,无法在数据记录层面(数据库上层)上实现有效的存储策略。

    发明内容

    本发明实施例提供一种存储数据的方法和装置,能够在数据记录层面上
    实现有效的存储策略。

    一方面,提供了一种存储数据的方法,包括:基于原有数据记录建立热
    点数据模型;根据该热点数据模型从上述原有数据记录或新的数据记录中筛
    选出热点数据;将筛选出的热点数据存储到第一存储设备中。

    另一方面,提供了一种存储数据的装置,包括:建立???,用于基于原
    有数据记录建立热点数据模型;筛选???,用于根据该热点数据模型从上述
    所述原有数据记录或新的数据记录中筛选出热点数据;存储???,用于将筛
    选出的热点数据存储到第一存储设备中。

    本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数
    据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面
    上实现有效的存储策略。

    附图说明

    为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技
    术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图
    仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造
    性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是根据本发明一个实施例的存储数据的方法的示意性流程图。

    图2是根据本发明的另一实施例的存储数据的方法的示意性流程图。

    图3是根据本发明的实施例的存储数据的过程的示意性流程图。

    图4是根据本发明的一个实施例的存储数据的装置的结构性示意图。

    图5是根据本发明的另一实施例的存储数据的装置的结构性示意图。

    具体实施方式

    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行
    清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是
    全部的实施例?;诒痉⒚髦械氖凳├?,本领域普通技术人员在没有作出创
    造性劳动前提下所获得的所有其他实施例,都属于本发明?;さ姆段?。

    应理解,本发明的技术方案可以应用于各种使用计算机的领域,例如,
    可以应用于电信领域,电子商务,社交平台等,尤其是涉及大数据量的应用。

    在数据库的实际应用过程中,经常涉及到大数据量的查询,例如,数据
    的查询在数据库的应用中的比重占70%以上,从磁盘中搜索大量数据要花费
    较大的代价,而用户需要查询的数据通常只是数据表中20%左右的数据。

    目前,数据块级别的热点识别与预识别技术识别出的热点数据通常以块
    形式存储在缓存中,因此,没有办法对特定的场景和应用做相应的优化。另
    外,虽然可以根据数据记录的创建时间来识别与数据记录相关的热点数据,
    (例如,可以将预设时段内创建的数据块作为热点数据,并对该数据块进行
    缓存),但仅根据创建时间确定热点数据,灵活性不够,并且决策因子过于简
    单。

    根据本发明的实施例可以在数据记录层面(级别)上预识别(或预判断)
    热点数据,并在数据记录层面上将通过这种预识别技术得到的热点数据存储
    或缓存在高速存储设备上,以提高了数据库的查询效率。

    图1是根据本发明的一个实施例的存储数据的方法100的示意性流程图。
    图1的方法100可以由服务器执行。

    110,基于原有数据记录建立热点数据模型。

    根据本发明的实施例的热点数据指的是数据库中经常被使用的数据记
    录。在关系数据库中,数据记录是指对应于数据源中的一行信息的一组相关
    信息,可以是数据表中的一行,每一行包括n个属性(字段或数据项)。上述
    原有数据记录可以是存储在原有存储设备(例如,普通磁盘)上的数据记录。

    根据本发明实施例的热点数据模型可以是用于识别热点数据的函数模
    型,例如,可通过人工智能方法(例如,贝叶斯分类算法)自动生成该热点
    数据模型,并可根据实际应用情况的变化更新该模型。该热点数据模型用于
    将数据记录进行分类,以将数据记录分成热点数据和非热点数据。

    120,根据上述热点数据模型从上述原有数据记录或新的数据记录中筛选
    出热点数据,或者从上述原有数据记录和新的数据记录中筛选出热点数据。

    根据本发明的实施例将原有数据记录输入到热点数据模型中,以确定原
    有数据记录中各个数据记录是热点数据还是非热点数据。进一步地,也可以
    将新存储的数据记录输入到热点数据模型中,以确定新的数据记录是否为热
    点数据。

    130,将筛选出的热点数据存储到第一存储设备中。

    例如,第一存储设备可以是高速存储设备,也可以是作为缓存或内存的
    存储设备。

    本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数
    据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面
    上实现有效的存储策略。另外,根据本发明的实施例在数据记录层面进行热
    点数据的识别和预识别,使得热点数据的识别和预识别对应用程序透明。

    根据本发明的另一实施例,还包括:将原有数据记录中不是热点数据的
    数据记录存储到第二存储设备中,其中第一存储设备的存储速率高于第二存
    储设备的存储速率。

    例如,根据本发明的实施例,将筛选出的热点数据存储在存储速率较高
    的存储设备(例如,高速存储设备、缓存或内存)中,可以显著提高查询效
    率。

    根据本发明的实施例,第一存储设备为高速存储设备,其中在120中,
    从上述原有数据记录中抽取出样本数据记录;确定上述样本数据记录的命中
    次数;将上述样本数据记录作为用于建立上述热点数据模型的数据源,并且
    基于上述命中次数建立上述热点数据模型。

    例如,为了减少建模的开销,可以随机从普通磁盘上的原有数据记录中
    提取一定数量的数据记录作为样本,并且可以计算这些样本在预设时间内被
    命中的次数,再根据命中次数将这些样本数据记录分为热点数据和非热点数
    据。然后,可以利用人工智能方法对这些分类后的热点数据和非热点数据进
    行分析,以确定数据记录的属性值对热点数据分类的影响,从而得到热点数
    据模型。

    根据本发明的另一实施例,还包括:在上述热点数据模型过期的情况下,
    重新进行上述建立热点数据模型的过程,并且根据重新建立的热点数据模型
    更新第一存储设备中的热点数据。

    根据本发明的实施例,上述热点数据模型过期包括:该热点数据模型的
    生命周期超过预设时间或者上述热点数据在第一存储设备中的命中率太低。

    例如,数据库在运行一段时间之后,数据库中的数据记录可能会变化,
    相应地,基于原数据记录建立的热点数据模型就会过期,另外,可能出现高
    速存储设备中的热点数据的命中率太低的情况,这时,需要从变化后的数据
    记录中重新抽取样本,并根据抽取的样本建立新的热点数据模型,以便维持
    有效的存储策略和高效的查询效率。

    图2是根据本发明的一个实施例的存储数据的方法200的示意性流程图。
    图2的方法200可以由服务器执行。图2的210、220和230类似于图1的
    110、120和130,在此不再赘述。

    210,基于原有数据记录建立热点数据模型。

    220,根据上述热点数据模型从上述原有数据记录或新的数据记录中筛选
    出热点数据,或者从上述原有数据记录和新的数据记录中筛选出热点数据。

    230,将筛选出的热点数据存储到第一存储设备中,并且将原有数据记录
    中不是热点数据的数据记录存储到第二存储设备中,其中第一存储设备的存
    储速率高于第二存储设备的存储速率。

    240,在接收到查询请求时,对查询进行优化,以生成相应的执行计划。

    通常在接收到查询请求时之后,服务器的查询优化器可以产生并评估多
    个执行计划,最后选择开销最低的(例如,运行最快、使用资源最少的)执
    行计划用于查询。例如,在进行查询优化时,可以分别在高速存储设备和普
    通磁盘上各执行一次查询,并且取两者的联合结果集作为最终的执行计划。
    根据本发明的实施例并不限于此,例如,在接收到查询请求时,也可以直接
    使用存储在缓存中的执行计划作为最终的执行计划进行查询。

    250,根据上述执行计划分别从第一存储设备和第二存储设备中获取数
    据。

    本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数
    据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面
    上实现有效的存储策略。另外,根据本发明的实施例在数据记录层面进行热
    点数据的识别和预识别,使得热点数据的识别和预识别对应用程序透明对应
    用程序透明,而将热点数据以数据库上层的方式缓存到特定存储设备中,有
    助于实现查询优化。

    根据本发明的另一实施例,还包括:在上述热点数据模型过期或者上述
    热点数据在第一存储设备中的命中率太低的情况下,重新进行上述建立热点
    数据模型的过程,并且根据重新建立的热点数据模型更新第一存储设备中的
    热点数据。

    下面结合具体例子,更加详细地描述本发明的实施例。图3是根据本发
    明的实施例的存储数据的过程的示意性流程图。

    如表1所示,数据库中的源数据表(Table)列出了9999999条数据记录,
    每个数据记录包含四个属性(字段或数据项):标识、姓名、性别和年龄。上
    述源数据表可以存储在普通磁盘中。在不同的应用或不同的数据表结构中,
    用于决策热点数据的列可以不相同,例如,本实例选择性别和年龄属性(字
    段或数据项)进行判断。例如,可以为用户提供可配置项,以便用户可以在
    创建表格时在数据库应用层面上指定使用哪些列作为用于决策热点数据的对
    象。根据本发明的实施例并不限于此,可以采用统计方式决策出哪些列可以
    用于决策热点数据。

    表1


    310,从原存储设备(例如,普通磁盘)的源数据表的数据记录中抽取出
    样本数据记录。例如,在建立热点数据模型的初期,对大量数据记录进行随
    机抽样统计,将上述源数据表中的一部分数据(例如,20%的数据)提取出
    来作为样本数据记录??梢越臼荼A粼谠娲⑸璞钢?,并进行标识以
    便与其它数据相区分,从而在逻辑上抽象为一张表(在下文中称样本数据表)。
    可选地,可以每隔预设的时间(例如,一天或一周)更新高速存储设备中的
    样本数据记录。

    320,确定各个样本数据记录的命中次数。例如,在样本数据表中加入一
    个统计列,用于统计各个数据记录被命中的次数,如表2所示。

    表2


    330,将上述样本数据记录作为用于建立热点数据模型的数据源,并且基
    于上述命中次数建立热点数据模型。例如,在预设时间(其可以根据具体应
    用设置,例如一天或一周)后,根据各个样本数据记录的命中次数,对上述
    样本数据记录进行排序,将命中次数排名前百分之三十的样本数据记录指定
    为热点数据,根据本发明的实施例并不限于此,可以根据需要调整上述百分
    比。例如,可以利用人工智能方法(例如,贝叶斯分类算法)进行智能分析,
    利用贝叶斯分类算法进行智能分析的过程也称为热点数据的学习过程或训练
    过程。具体的智能分析过程将在稍后进行详细的描述。

    340,根据热点数据模型对源数据表中的数据记录进行分类以筛选出热点
    数据。例如,可以将上述源数据表中的数据记录作为热点数据模型的输入,
    在经过热点数据模型之后,这些数据记录被分成热点数据和非热点数据作为
    热点数据模型的输出。

    350,将筛选出的热点数据存储到高速存储设备中,并且将非热点数据存
    储到原存储设备中。例如,在数据记录层面上将筛选出的热点数据存储到高
    速存储设备中,并将非热点数存储到普通磁盘中。如表3所示,年龄在20岁
    以下,性别为女的数据记录被确定为热点数据,并且被存储到高速存储到设
    备中。如表4所示,非热点数据被存储到普通磁盘中。

    表3


    表4


    360,根据热点数据模型判断新的数据记录为热点数据还是非热点数据。
    在完成热点数据的学习或训练之后,如果有新的数据记录(例如,表5和表
    6中的标识为10000000和标识为10000001的数据记录)需要被存储时,可
    以根据热点数据模型判断该数据记录为热点数据还是非热点数据,如果是热
    点数据,则存储到高速存储设备中,如果非热点数据,则存储在磁盘中。例
    如,表5中的数据存储到普通磁盘中,表6中的数据记录存储到高速存储设
    备中。

    表5


    表6


    370,在接收到查询请求时,对查询进行优化,以生成相应的执行计划,
    并根据执行计划分别从高速存储设备和原存储设备中获取数据。例如,如果
    接收到查询请求,可以在数据库查询优化器层面对查询进行优化(这里最简
    单的优化是将查询语句分别在高速存储设备和原存储设备上各执行一次,并
    且取联合结果集),以生成相应的执行计划,并且根据执行计划分别从高速存
    储设备和原存储设备中取得相应的数据。

    380,在上述热点数据模型过期的情况下,例如上述热点数据在上述高速
    存储设备中的命中率太低或者热点数据模型的生命周期超过预设时间之后,
    重新进行上述建立热点数据模型的过程,并且更新高速存储设备中的热点数
    据模型。例如,在经过一段时间之后,热点数据模型可能发生改变,导致原
    来的热点数据现在已不再是热点。在预设时间内(例如,一天),在非繁忙时
    段,根据命中统计信息,例如,在高速存储设备中的热点数据的命中率小于
    50%时,重新进行建立热点数据模型的过程,并且根据重新建立的热点数据
    模型更新(或刷新)热点数据,例如,从高速存储设备上筛选符合热点数据
    模型的热点数据保留在高速存储设备上,其余的存储到普通磁盘中,然后从
    普通磁盘中选择符合热点数据模型的热点数据,存储到高速存储设备中,其
    余的保留在普通磁盘上。

    下面以利用朴素贝叶斯分类方法为例,具体描述热点数据模型的建立过
    程。为了描述方便,下面的过程仅抽取了10个样本,并且选择性别和年龄属
    性作为用于决策热点数据的对象。如表7所示,第一列和第二列分别是样本
    的性别和年龄属性,第三列指示相应数据记录是否为用于训练(或学习)的
    热点数据(以下简称训练热点数据)。另外,年龄属性的门限值20可以是数
    据表中年龄的平均值。

    表7


    朴素贝叶斯分类公式为 v = arg max v j V P ( v j ) Π i P ( a i | v j ) , ]]>其中v表示朴素贝
    叶斯分类方法输出的目标值,即分类函数的最大值,vj∈V={Yes,No}为每个训
    练样本数据的目标值,aj为用于训练样本数据的各个属性的值。

    本实例的朴素贝叶斯分类公式可以为如下公式:

    h = arg h j H max P ( h j ) P ( Sex | h j ) P ( Age | h j ) , ]]>

    其中h表示某个数据记录是热点数据或非热点数据的概率中的最大值,
    hj表示每个样本数据记录是热点数据或是非热点数据。由该公式可以得到热
    点数据模型的参数如下:P(H=Yes)=6/10=0.6,P(H=No)=4/10=0.4,P
    (Sex=F|H=Yes)=5/6,P(Sex=F|H=No)=1/4,P(Sex=M|H=Yes)
    =1/6,P(Sex=M|H=No)=3/4,P(Age≤20|H=Yes)=4/6,P(Age≤20|H=No)
    =1/4,P(Age>20|H=Yes)=2/6,以及P(Age>20|H=No)=3/4。

    根据上述热点数据模型的参数可以判断某个数据记录为热点数据或非热
    点数据。例如,数据记录1的性别属性为女而年龄属性为14,如果数据记录
    1为热点数据,则P(H=Yes)P(Sex=F|H=Yes)P(Age≤20|H=Yes)
    =0.6×5/6×4/6=0.3333,如果数据记录1为非热点数据,则P(H=No)P(Sex=F|
    H=No)P(Age≤20|H=No)=0.4×1/4×1/4=0.025,最后得到h=0.3333,因
    此可以确定数据记录1最可能为热点数据。再例如,数据记录2的性别属性
    为男而年龄属性为16,如果数据记录2为热点数据,则P(H=Yes)P(Sex=M|
    H=Yes)P(Age≤20|H=Yes)=0.6×1/6×4/6=0.0667,如果数据记录2为非
    热点数据,则P(H=No)P(Sex=M|H=No)P(Age≤20|H=No)
    =0.4×3/4×1/4=0.075,最后得到h=0.075,因此,可以确定数据记录2最可能
    为非热点数据。

    图4是根据本发明的一个实施例的存储数据的装置400的结构性示意图。
    图4的装置可以是服务器,包括:建立???10、筛选???20和存储???br />430。

    建立???10基于原有数据记录建立热点数据模型。筛选???20根据
    上述热点数据模型从上述原有数据记录或新的数据记录中筛选出热点数据,
    或者从上述原有数据记录和新的数据记录中筛选出热点数据。存储???30
    将筛选出的热点数据存储到第一存储设备中。

    本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数
    据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面
    上实现有效的存储策略。另外,根据本发明的实施例在数据记录层面进行热
    点数据的识别和预识别,使得热点数据的识别和预识别对应用程序透明。

    根据本发明的另一实施例,存储???30还将原有数据记录中不是热点
    数据的数据记录存储到第二存储设备中,其中第一存储设备的存储速率高于
    第二存储设备的存储速率。

    根据本发明的另一实施例,建立???10还在上述热点数据模型过期或
    者上述热点数据在第一存储设备中的命中率太低的情况下,重新进行上述建
    立热点数据模型的过程,并且根据重新建立的热点数据模型更新上述热点数
    据模型。

    根据本发明的实施例,第一存储设备为高速存储设备,建立???10从
    上述原有数据记录中抽取出样本数据记录,确定上述样本数据记录的命中次
    数,将上述样本数据记录作为用于建立上述热点数据模型的数据源,并且基
    于上述命中次数建立上述热点数据模型。

    装置400的各个单元的操作和功能可以参考上述图1的方法的110、120
    和130,为了避免重复,在此不再赘述。

    图5示出根据本发明的另一实施例的存储数据的装置500的结构性示意
    图。图5的装置可以是服务器,包括:建立???10、筛选???20、存储模
    块530、优化???40和获取???50。图5的装置500建立???10、筛选
    ???20和存储???30类似于图4的建立???10、筛选???20和存储
    ???30,在此不再赘述。

    优化???40在接收到查询请求时,对查询进行优化,以生成相应的执
    行计划?;袢∧??50根据上述执行计划分别从第一存储设备和第二存储设
    备中获取数据。

    本发明实施例可以在数据记录层面上根据热点数据模型筛选出热点数
    据,并将筛选出的热点数据存储到特定的存储设备中,从而在数据记录层面
    上实现有效的存储策略。另外,根据本发明的实施例在数据记录层面进行热
    点数据的识别和预识别,使得热点数据的识别和预识别对应用程序透明对应
    用程序透明,而将热点数据以数据库上层的方式缓存到特定存储设备中,有
    助于实现查询优化。

    根据本发明的另一实施例,建立???10还在上述热点数据模型过期或
    者上述热点数据在第一存储设备中的命中率太低的情况下,重新进行上述建
    立热点数据模型的过程,并且根据重新建立的热点数据模型更新第一存储设
    备中的热点数据。

    装置500的各个单元的操作和功能可以参考上述图2的方法的210、220、
    230和240,为了避免重复,在此不再赘述。

    根据本发明的实施例在数据库上层进行热点数据的预识别,对应用层透
    明,降低了应用程序开发的复杂度。另外,根据本发明的实施例利用高速存
    储设备作为数据库上层的存储设备或缓存设备,有利于查询优化器的决策,
    而且根据本发明的实施例对新产生数据记录进行热点数据的预识别能够提高
    查询效率。

    本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各
    示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结
    合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特
    定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方
    法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

    所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描
    述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应
    过程,在此不再赘述。

    在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和
    方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示
    意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可
    以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个
    系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间
    的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合
    或通信连接,可以是电性,机械或其它的形式。

    所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作
    为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,
    或者也可以分布到多个网络单元上??梢愿菔导实男枰≡衿渲械牟糠只?br />者全部单元来实现本实施例方案的目的。

    另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,
    也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单
    元中。

    所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用
    时,可以存储在一个计算机可读取存储介质中?;谡庋睦斫?,本发明的
    技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可
    以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,
    包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者
    网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的
    存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only?Memory)、
    随机存取存储器(RAM,Random?Access?Memory)、磁碟或者光盘等各种可
    以存储程序代码的介质。

    以上所述,仅为本发明的具体实施方式,但本发明的?;し段Р⒉痪窒?br />于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易
    想到变化或替换,都应涵盖在本发明的?;し段е?。因此,本发明的?;?br />范围应所述以权利要求的?;し段?。

    关于本文
    本文标题:存储数据的方法和装置.pdf
    链接地址://www.4mum.com.cn/p-5817452.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 天津11天津11选5走势图 开一家散白酒加盟店能赚钱吗 山西十一选五预测 广东十一选五稳赚不赔 养啥牛赚钱 四川时时合法的吗 夏季涮羊肉赚钱吗 3d尾数乐彩网 重庆时时网址合买 建材公司跑销售赚钱吗 11选5走势图选号技巧 中原风彩22选五今晚 福彩双色球2000走势图 北京pk赛车免费计划app 火牛视频 看视频挖矿免费赚钱 湖南快乐10分遗漏