• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 12
    • 下载费用:20 金币  

    重庆时时彩的万位是第几球: 一种多源时间序列数据压缩存储方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210591238.7

    申请日:

    2012.12.29

    公开号:

    CN103914449A

    公开日:

    2014.07.09

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20121229|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 上??陕诚低橙砑邢薰?
    发明人: 俞高宇; 张晓华; 梁俊
    地址: 201203 上海市浦东新区祖冲之路887弄82号二楼北
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210591238.7

    授权公告号:

    103914449B||||||

    法律状态公告日:

    2017.06.16|||2014.08.06|||2014.07.09

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种多源时间序列数据压缩存储方法,包含以下步骤:对各部署对象分组;将各部署对象组划分内部组;在内存中为每个内部组分配一个用于缓存的内存文件;在收到某量测点的时间序列数据时,进行第一级有损压缩,并根据该量测点所属的部署对象组和内部组,找到其对应的内存文件,将压缩后的数据缓存到内存文件中;在内存文件写满或达到预设的时间限制时,将内存文件映射到硬盘,进行第二级无损压缩,将压缩后的数据块存储到关系型数据库中。使得数据缓存时能够快速找到对应的内存文件,并快速定位存储位置,提高了缓存效率;采用分块压缩方式,提高了压缩效率,并且有效地节约了硬盘容量;而且,通过关系型数据库,提高了数据读取速度。

    权利要求书

    权利要求书
    1.  一种多源时间序列数据压缩存储方法,所述多源时间序列数据来自不同部署对象的不同量测点,其特征在于,包含以下步骤:
    根据各部署对象所包含的量测点数量,对所述各部署对象分组,将所包含量测点数量总和小于预设值的至少两个部署对象分为一组,将其余的每个部署对象分别分为一组;
    对各部署对象组进行组内划分,以所述预设值为界限,每达到预设值数量的量测点划分为一内部组,对应一组内标识,其余不足预设值数量的量测点划分为一内部组;
    在内存中为每个部署对象组中的每个内部组分配一个用于缓存的内存文件,并进行内存镜像处理;
    在收到来自一部署对象辖下量测点的时间序列数据时,对该数据进行第一级有损压缩,并根据该量测点所属的部署对象组和内部组,找到该量测点对应的内存文件,将该压缩后的时间序列数据缓存到该内存文件中;
    在所述内存文件写满或达到预设的时间限制时,对该内存文件进行第二级无损压缩,将压缩后的数据块存储到关系型数据库中。

    2.  根据权利要求1所述的多源时间序列数据压缩存储方法,其特征在于,所述第二级无损压缩为LZW压缩;和/或
    所述内存文件对应的存储空间为512K至2M之间;和/或
    所述预设的时间限制为30分钟。

    3.  根据权利要求1所述的多源时间序列数据压缩存储方法,其特征在于,
    所述内存文件的文件体由固定大小、连续的数据片组成,包含索引区和数据区,所述索引区中保存每个所述量测点在该内存文件中存储位置的索引,所述数据区中各连续的数据片对应不同的量测点,单个数据片保存同一量测点的数据。

    4.  根据权利要求3所述的多源时间序列数据压缩存储方法,其特征在于,所述将压缩后的时间序列数据缓存到内存文件中的步骤中,包含以下子步骤:
    根据该数据所属量测点的本地标识找到该量测点对应的存储位置索引,如果该索引表示当前未在数据区中为该量测点分配数据片、或所分配的数据片已存满,则在所述数据区中为该量测点分配一空白数据片,所分配的数据片与该数据区中已分配的数据片连续,将所述量测点数据存储在该新分配的数据片中;反之,则将所述量测点的数据存储在该索引指示的数据片的相应位置;
    如果在存储过程中,当前数据片已存满,则为该量测点新分配一数据片进行存储,所分配的数据片与该数据区中已分配的数据片连续。

    5.  根据权利要求4所述的多源时间序列数据压缩存储方法,其特征在于,还包含以下步骤:
    在接收到来自部署对象辖下量测点的时间序列数据之前,在所述内存文件的数据区中为该内存文件对应的内部组的所有量测点预分配一数据片进行数据缓存,在所述索引区中保存各量测点对应的数据片的位置;或者
    在初次收到一量测点数据时,在所述内存文件数据区中为该量测点分配一数据片进行数据缓存,在所述索引区中保存该量测点对应的数据片的位置。

    6.  根据权利要求4所述的多源时间序列数据压缩存储方法,其特征在于,还包含以下步骤:
    为每个部署对象组的内部组中的各量测点分配唯一对应一本地标识,所述本地标识为连续的序列;
    所述索引区中以所述本地标识为顺序,依次保存每个所述量测点在该内存文件中存储位置的索引;
    所述根据该数据所属量测点的本地标识找到该量测点对应的存储位置索引的步骤中,根据所述量测点的本地标识和单个索引的长度直接定位该量测点对应的索引位置、确定该量测点数据在该内存文件中的存储位置。

    7.  根据权利要求4所述的多源时间序列数据压缩存储方法,其特征在于,所述待存储的量测点数据包含:数据值、质量码、和时间戳;
    所述数据片包含页面头和页面体,所述将量测点数据存储在数据片的步骤中,将量测点数据存储在数据片的页面体中;在将量测点数据存储在数据片中的步骤之后,将该数据片中保存的数据的起始时间和结束时间存储在该数据片的页面头中。

    8.  根据权利要求1至7中任意一项所述的多源时间序列数据压缩存储方法,其特征在于,所述内存文件进行第二级无损压缩的步骤中,以数据片为单位分别进行无损压缩,得到压缩后的各数据块;
    所述将压缩后的数据块存储到关系型数据库中的步骤中,在所述关系型数据库中保存该数据块对应的量测点的标识、该数据块中所存储数据的起始时间、结束时间或相对于起始时间的时间跨度、数据块长度、和该压缩后的数据块。

    9.  根据权利要求8所述的多源时间序列数据压缩存储方法,其特征在于,所述将量测点的数据存储在该索引指示的数据片或新分配的数据片的步骤之后,还包含以下步骤:
    提取该数据片的统计数据,所述统计数据至少包含以下之一:该数据片对应的量测点标识、该数据片中保存的数据的起始时间和结束时间、结束时间或相对于起始时间的时间跨度、数据片中保存的最大值、该最大值对应的时间、数据片中保存的最小值、该最小值对应的时间、数据片中保存的平均值、数据片中保存的值总和;
    所述将压缩后的数据块存储到关系型数据库中的步骤中,还在所述关系型数据库中保存该数据块对应的数据片的统计数据。

    10.  根据权利要求1至8中任意一项所述的多源时间序列数据压缩存储方法,其特征在于,还包含以下步骤:
    在所述部署对象新增量测点时,优先将所述新增的量测点分配到其所属部署对象组中已有的不足预设值数量的内部组,超出预设值数量的部分量测点,划分为该部署对象组中一新内部组,对应一新内存文件。

    关 键 词:
    一种 时间 序列 数据压缩 存储 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种多源时间序列数据压缩存储方法.pdf
    链接地址://www.4mum.com.cn/p-6115668.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03