• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:30 金币  

    重庆时时彩独胆对子码: 传感器数据定位方法和装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210147248.1

    申请日:

    2012.04.27

    公开号:

    CN103377269A

    公开日:

    2013.10.30

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20120427|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 国际商业机器公司
    发明人: 王芝虎; 高波; 樊莉亚; 段宁; 孙伟; 胡珂; 安文豪; 王玉莹
    地址: 美国纽约
    优先权:
    专利代理机构: 北京市中咨律师事务所 11247 代理人: 张亚非;于静
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210147248.1

    授权公告号:

    ||||||

    法律状态公告日:

    2016.12.28|||2013.11.27|||2013.10.30

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    公开了一种传感器数据定位的方法和装置,该方法包括:获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表;响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;以及使用特征参数在索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的块加载到工作处理器内存空间中,以用于回复查询。

    权利要求书

    权利要求书
    1.  一种传感器数据定位方法,包括:
    获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表;
    响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;
    使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的存储块加载到工作处理器内存空间中,以用于回复查询。

    2.  根据权利要求1所述的方法,其中,所述特征属性包括时间属性和空间属性中的任何一个或两者,且所述特征参数相应地包括时间参数和空间参数中的任何一个或两者。

    3.  根据权利要求1所述的方法,还包括建立所述索引表的步骤。

    4.  根据权利要求3的方法,其中,所述建立索引表是通过扫描存储在类Hadoop分布式文件系统管理的数据节点上的存储块中的数据实现的。

    5.  根据权利要求3的方法,其中,所述建立索引表是在将传感器数据写入到类Hadoop分布式文件系统管理的数据节点中的过程中实现的。

    6.  根据权利要求1的方法,其中,所述索引表还包含传感器数据存储块的块标识与传感器数据的其他属性之间的关系。

    7.  根据权利要求1的方法,其中,该方法是在类Hadoop体系结构的名称节点上实现的,从而实现了该方法与类Hadoop体系结构的无缝集成。

    8.  一种传感器数据定位装置,包括:
    索引表获取???,被配置为获取包含传感器数据存储块的块 标识与传感器数据的特征属性之间的映射关系的索引表;
    查询截获???,被配置为响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;以及
    块定位???,被配置为使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的存储块加载到工作处理器内存空间中,以用于回复查询。

    9.  根据权利要求8的装置,其中,所述特征属性包括时间属性和空间属性中的任何一个或两者,且所述特征参数相应地包括时间参数和空间参数中的任何一个或两者。

    10.  根据权利要求8的装置,还包括索引表建立???,被配置为建立所述索引表。

    11.  根据权利要求10的装置,其中,所述索引表建立??榻徊奖慌渲梦ü璐娲⒃诶郒adoop分布式文件系统管理的数据节点上的块中的数据来建立索引表。

    12.  根据权利要求10的装置,其中,所述索引表建立??榻徊奖慌渲梦诮衅魇菪慈氲嚼郒adoop分布式文件系统管理的数据节点中的过程中建立索引表。

    13.  根据权利要求8的装置,其中,所述索引表还包含传感器数据存储块的块标识与传感器数据的其他属性之间的关系。

    14.  根据权利要求8的装置,其中,该装置是在类Hadoop体系结构的名称节点上实现的,从而实现了该装置与类Hadoop体系结构的无缝集成。

    说明书

    说明书传感器数据定位方法和装置
    技术领域
    本发明涉及传感器数据的处理,更具体涉及一种传感器数据的定位方法和装置。
    背景技术
    在智慧的地球(smart planet)场景(例如,城市智慧操作中心(IOC))中,有成千上万的传感器装置分布在城市区域。这些传感器装置产生的数据文件被汇集到数据中心,以支持进一步的智能分析。这些传感器数据具有如下特点:传感器的数据具有天然的时空聚集性,从空间上来说,一个传感器的数据就是传感器所监控区域的数据,从时间上来说,传感器数据按照时间的先后顺序产生和存储传感器数据;这些传感器数据几乎都是“一次写入、多次读取的”;这些来自成千上万的传感器装置的数据文件将被集合为统一的大文件,以方便管理和全局查询。
    目前,类Hadoop技术(包括Hadoop技术以及其他类似的海量数据分布式存储技术)提供了高可用性和高吞吐率能力,以实现海量数据的存储和处理,但低时延(latency),尤其是由低的磁盘I/O带宽造成的低时延,仍然是一个没有解决的问题。由于传感器数据的量过大,通常以具有一定冗余度的块(block)或区块(chunk)的方式存储在分布于各地的各数据节点的磁盘中。当基于类Hadoop的智能应用进行查询时,它将把源文件的所有数据以块的形式从数据节点的磁盘加载到工作处理器所在的内存中。然后再在内存中判断哪些数据和请求相关,哪些数据与当前的请求无关,并将无关的数据在内存里丢弃,这样的做法导致磁盘I/O加载了大量无效的和无关的数据到内存中,从而带来了额外的磁盘I/O压力。而且,源文件越大,则磁盘I/O压力也越大。
    发明内容
    针对现有技术中存在的上述问题,提出了本发明的解决方案。
    在本发明的一个方面,提供了一种传感器数据定位方法,包括:获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表;响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;以及使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的存储块加载到工作存储器内存空间,以用于回复查询。
    在本发明的另一方面,提供了一种传感器数据定位装置,包括:索引表获取???,被配置为建立包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表;查询截获???,被配置为响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;以及块定位???,被配置为使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的存储块加载到工作存储器内存空间,以用于回复查询。
    本发明的解决方案减少了在涉及海量传感器数据的存储和处理的场景中磁盘I/O带宽和工作处理器内存空间的浪费,提高了查询处理效率,减少了时延。
    附图说明
    通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
    图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图;
    图2示出了本发明的方法和装置可在其中实施的一城市智慧操作中心的体系结构的示意图;
    图3更详细地示出了本发明的方法和装置可在其中实施的类Hadoop体系结构及其操作的示意图;
    图4示意性地示出了本发明的基本思想;
    图5示出了根据本发明的实施例的一种传感器数据定位装置;以及
    图6示出了根据本发明的实施例的一种传感器数据定位方法。
    具体实施方式
    下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整的传达给本领域的技术人员。
    图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图1所示,计算机系统100可以包括:CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中,与系统总线104耦合的有CPU 101、RAM 102、ROM 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合,键盘111与键盘控制器106耦合,串行外部设备112与串行接口控制器107耦合,并行外部设备113与并行接口控制器108耦合,以及显示器114与显示控制器109耦合。应当理解,图1所述的结构框图仅仅是为了示例的目的,而不是对本发明范围的限制。在某些情况下,可以根据具体情况增加或减少某些设备。
    所属技术领域的技术人员知道,本发明可以实现为系统、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:可以是完全的 硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“??椤被颉跋低场?。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
    可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
    计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
    计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
    可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计 算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
    下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
    也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。
    也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
    现参照图2,其示出了本发明的方法和装置可在其中实施的一城市智能操作中心的体系结构的示意图。如图2所示,来自大量的传感器的海量传感器数据文件被存储到由诸如Hadoop分布式文件系统(HDFS)等文件系统管理的磁盘中。来自大量的传感器的海量传感器数据文件可以被集合到Hadoop分布式文件系统等文件系统中的一个统一的大文件中,该大文件存储在由文件系统管理的磁盘中。如本领域的技术人员所知的,该磁盘可以仅仅是逻辑上的概念,海量传感器数据实际上可存储在分布于各地的各数据节点上的磁盘中。也就是说,从文件系统的角度来看,其管理着存 储在磁盘中的一个统一的大文件,而在实际上该大文件分散存储在各数据节点的磁盘上。当诸如分析应用等智能应用进行查询时,该城市智能操作中心中的类Hadoop应用将从磁盘首先加载整个统一的大文件的所有数据到工作存储器内存空间中,从而给磁盘IO带宽造成了很大压力,并增大了查询响应的时延。
    对于类HDFS来说,数据组织是基于块的,且数据加载也是基于块的。例如,通常来说,每个块的大小为约64M,而大文件的大小可以为大约300个块,即64M×300=~20G。
    图3更详细地示出了本发明的方法和装置可在其中实施的类Hadoop体系结构及其操作的示意图。如图3所示,类Hadoop应用通过网络与名称节点(name node)以及多个数据节点(data node)相连,并可通过网络与一个或多个类Hadoop客户机(未示出)相连。类Hadoop应用可位于城市智能操作中心(IOC)中,当然也可位于其他应用场景中。数据节点通常分布在不同的地理位置,并可由诸如Linux文件系统等管理。数据节点用于在与其相连的磁盘中存储海量数据,例如海量传感器数据。海量数据通常是以块的形式存储在数据节点中的,并且通常具有所设定的存储冗余度。也就是说,同一文件的数据通常存储在多个块中,所述多个块分布在不同的数据节点中,且该文件的同一块的数据通常存储在设定数目的若干数据节点中。文件、块以及数据节点之间的映射关系是在名称节点中维护的。如图3所示,名称节点中保存了类Hadoop文件系统的文件名称空间,文件名称空间中的文件名(例如/foo/bar)所对应的若干块ID(例如,块2ef0),以及每个块的块位置(例如,块位置1、块位置2),即该块所在的数据节点。
    在类Hadoop文件的读取过程中,如图3所示,类Hadoop应用通常响应于从客户端接收的查询请求,将包含文件名的查询请求发送到名称节点。名称节点根据文件名查找到该文件名所对应的每个块ID,以及每个块的每个块位置,并将每个块ID及其每个块位置返回到类Hadoop应用。然后,类Hadoop应用针对每个块,选取该块的各块位置(即数据节点)中 离客户端最近的数据节点,并向该数据节点发送对于该块的请求。于是,该数据节点根据该请求向客户端返回所请求的块。这样,客户端就可以将从各数据节点所接收到的该文件的每个块组装成为整个文件。
    在类Hadoop文件的写入过程(未示出)中,类Hadoop应用通常响应于从客户端接收的文件写入请求,将包含文件名的写入请求发送到名称节点,并向名称节点申请新的块。名称节点将为该文件分配新的块,并获取用于存储这些块的数据节点列表,该列表的大小取决于冗余度设置,然后将每个块标识和相应的数据节点列表返回到类Hadoop应用。于是,类Hadoop应用将文件切分成多个部分,并依次将每个部分发送到相应的若干数据节点中,以便由数据节点存储在与其关联的磁盘中。
    本发明的发明人发现,来自不同传感器装置的传感器数据在数据文件中通过时间和空间等属性而天然地聚集在一起。在将这些数据文件集合为统一的文件之后,这些聚集仍然保留着。也就是就,具有相同的时间和空间属性的数据通常存储在相同的数据文件中,并通常存储在统一的文件中的相邻的位置,即通常存储在相同的一个或少数几个块中(当然,同一个块中可能存储具有不同的时间和空间属性的数据)?;谝陨戏⑾?,提出了本发明的解决方案。
    图4示意性地示出了本发明的基本思想。如图4所示,文件以块的形式存储在类HDFS管理的磁盘(即各数据节点中的磁盘)中的块1、块2…块N中。在现有技术中,当接收到一个查询后,将从磁盘将文件的所有块加载到类Map/Reduce管理的工作存储器内存空间中。但该查询包含了一空间和时间条件,满足该条件的数据实际只存在于块1和块2中(如图中块1和块2的阴影部分所示),因此,只需要将块1和块2加载到工作存储器内存空间中就可以了。为此,在本发明的解决方案中,将事先建立块标识与传感器数据的诸如时间和空间属性等特征之间的映射关系,并在运行时截获查询以便仅从磁盘加载包含对应于查询条件中的时间和空间等参数的传感器数据的块(如图中的块1和块2所示)。
    现参照图5,其示出了根据本发明的实施例的一种传感器数据定位 装置。如图5所示,该装置包括:索引表获取???01,被配置为获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表;查询截获???02,被配置为响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数;以及块定位???03,被配置为使用特征参数在索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的块加载到工作存储器内存空间,以用于回复查询。
    根据本发明的实施例,所述特征属性包括时间属性和空间属性中的任何一个或两者,且所述特征参数相应地包括时间参数和空间参数中的任何一个或两者。根据本发明的其他实施例,所述特征属性也可包括时间属性和空间属性之外的其他数据属性,且所述特征参数也可相应地包括时间参数和空间参数之外的其他数据特征参数。事实上,所述特征参数可以是可从查询条件中提取的任何种类的数据特征参数,且所述特征属性可以是相应的任何种类的数据特征属性。
    在本发明的实施例中,所述传感器数据以块的形成存储在类Hadoop分布式文件系统管理的各数据节点上。在本发明的实施例中,所述传感器数据保存在类Hadoop分布式文件系统的文件中。这意味着,来自众多传感器的传感器文件被集合到类Hadoop分布式文件系统的文件中。当然,在本发明的另一些实施例中,所述传感器数据也可存储在其他文件系统管理的数据节点上,且所述传感器数据也可保存在其他文件系统的文件中。
    根据本发明的实施例,该传感器数据定位装置还可包括一索引表建立???,用于建立上述索引表。当然,在本明的其他一些实施例中,该索引表建立??榭梢晕挥诟么衅魇荻ㄎ蛔爸弥?,即该装置不包括索引表建立???。此外,在本发明的另一些实施例中,该索引表建立??榭梢杂胨鏊饕砘袢∧??01合并为单个???。
    根据本发明的一实施例,索引表建立??榭赏ü枋萁诘阒写娲⒌目橹械氖堇唇楸晔队肟橹写娲⒌拇衅魇莸奶卣魇粜灾涞挠成涔叵档乃饕?。根据本发明的另一实施例,索引表建立??榭梢栽?将传感器数据写入到类Hadoop分布式文件系统管理的数据节点中的过程中记录传感器数据的特征属性和分配给传感器数据的相应块之间的映射关系,从而建立和更新包含存储传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表。索引表建立??榭梢栽诖衅魇菸募患系揭桓鑫募?、并在开始接收和处理查询的任何时间建立索引表。
    根据本发明的实施例,索引表建立??榭梢越⒌乃饕泶娲⒃诶郒adoop体系结构的名称节点上,或该名称节点可访问的任何其他位置。
    下表示出了索引表建立??樗⒌囊桓鏊饕硎纠?
      块标识  空间  时间  类型...  0021 Xi’erqi China bank  2011-01-22  ...  0021  4rd high school  2011-01-22  ...   ...  ...  ...  ...  12246  intersection 1101  2011-05-15  ...  12247  intersection 1101  2011-05-15  ...
    在上述索引表示例中,包含了块标识“00021”与空间属性“4rd highschool”和时间属性“2011-01-22”之间的映射关系,这表明在块00021中存储有具有该空间属性和时间属性的传感器数据。
    在应用发出针对磁盘中文件中的传感器数据的查询之后,查询截获???02截获该查询,并提取查询条件中的特征参数。然后,块定位???03使用所提取的特征参数在索引表中定位到相应的块标识,以便将该块加载到工作存储器内存空间,以用于回复查询。例如,查询截获???02所截获的一个查询示例中的查询条件示例为“location=‘4rd high school’and time=‘2011-01-22’and…”,该查询条件示例中包含了空间参数示例“4rd high school”和时间参数示例“2011-01-22”,这样,块定位???03可以使用该空间参数示例和时间参数示例在上述索引表示例中定位到块标识示 例00021,以便将该块加载到工作存储器内存空间,以用于回复该查询。
    根据本发明的实施例,所述索引表还包含传感器数据的块标识与传感器数据的其他属性之间的关系。例如,在上述索引表示例还包含块标识与传感器数据的类型之间的映射关系。并且,在这种情况下,在查询截获???02截获查询之后,可以提取查询条件中的特征参数以及相应的其他参数例如类型,然后,块定位???03可以使用所提取的特征参数以及所述其他参数在索引表中定位到相应的块标识,以便将该块加载到工作存储器内存空间。
    根据本发明的实施例,所述传感器数据定位装置是在类Hadoop体系结构的名称节点上实现的,从而实现了该装置与类Hadoop体系结构的无缝集成。这意味着,所述索引表获取???01、查询截获???02、块定位???03以及索引表建立??榫挥诶郒adoop体系结构的名称节点上,且由索引表建立??樗⒌乃饕硪参挥诟妹平诘闵?。这样,本发明只需要对现有的类Hadoop体系结构中的名称节点进行改变,而不需要对现有的类Hadoop体系结构中的其余部分进行改变。当类Hadoop应用接收并处理来自客户端的查询之前,本发明的索引表建立??榻紫仍诿平诘阒薪楸晔队肟橹写娲⒌拇衅魇莸奶卣魇粜灾涞挠成涔叵档乃饕?。当类Hadoop应用接收到来自客户端的查询,如现有技术中一样,类Hadoop应用将该查询发送到名称节点。当名称节点接收到来自类Hadoop应用的查询后,本发明的查询截获???02截获该查询,提取查询条件中的关于传感器数据的特征参数。接着,本发明的块定位???03使用所述特征参数在所述索引表中定位相应的块标识,并将所定位的每个块标识提供给名称节点(即其中的相应现有处理??椋?。然后,如在现有技术中那样,名称节点获得每个块标识所对应的一组块位置(即数据节点),并将每个块标识和与其对应的一组块位置返回类Hadoop应用,以便Hadoop应用或者其客户端根据所述块位置确定适当的数据节点,并从所述数据节点将所述块中的数据加载到工作处理器内存空间中,以用于回复查询。由此可见,通过这样的方式实现了本发明的数据定位装置与类 Hadoop体系结构的无缝集成,方便了本发明的装置的实现。
    在本发明的其他实施例中,该传感器数据定位装置也可以在名称节点之外实现,并以其他方式与类Hadoop体系结构协作,以实现本发明的目的。
    根据本发明的一些实施例,该装置还包括查询执行???,被配置为针对加载到工作存储器内存空间中的块执行查询,并返回查询结果。所述查询执行??榭梢允窍钟械睦郒adoop体系结构中或其他结构中的查询处理???。当然,在本发明的另一些实施例中,该装置也可以不包括该查询执行???。
    以上参照附图描述了根据本发明的实施例的传感器数据定位装置,应指出的是,所述装置仅为示例,而不是对本发明的限制。在本发明的其他示例中,该装置可包含更多、更少或不同的???,且各??橹涞牧?、包含、功能等关系可以与所描述和图示的不同。例如,也可考虑将所述索引表包括在该装置之中;再例如,所述各??榭梢砸匀我夥绞讲鸱趾秃喜?,只要保留由这些??橹葱械墓δ芗纯?。
    现参照图6,其示出了根据本发明的实施例的一种传感器数据定位方法,该方法包括如下步骤。
    在步骤601,获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表。
    在步骤602,响应于运行时针对传感器数据的查询,截获该查询,并提取查询条件中的特征参数。
    在步骤603,使用特征参数在索引表中定位匹配的传感器数据存储块的块标识,以便将所定位的所述块标识所指示的存储块加载到工作存储器内存空间,以用于回复查询。
    根据本发明的实施例,所述特征属性包括时间属性和空间属性中的任何一个或两者,且所述特征参数相应地包括时间参数和空间参数中的任何一个或两者。
    根据本发明的实施例,所述传感器数据以块的形式存储在类Hadoop 分布式文件系统管理的各数据节点上。
    根据本发明的实施例,所述传感器数据保存在类Hadoop分布式文件系统的文件中。
    根据本发明的实施例,该方法还包括建立所述索引表的步骤。
    根据本发明的实施例,所述建立索引表是通过扫描存储在类Hadoop分布式文件系统管理的数据节点上的块中的数据实现的。
    根据本发明的实施例,所述建立索引表是在将传感器数据写入到类Hadoop分布式文件系统管理的数据节点中的过程中实现的。
    根据本发明的实施例,所述索引表存储在Hadoop体系结构中的名称节点中。
    根据本发明的实施例,所述索引表还包含传感器数据存储块的块标识与传感器数据的其他属性之间的关系。
    根据本发明的实施例,该方法是在类Hadoop体系结构的名称节点上实现的,从而实现了该方法与类Hadoop体系结构的无缝集成。
    根据本发明的实施例,该方法还包括如下步骤:针对加载到工作存储器内存空间中的块执行查询,并返回查询结果。
    以上参照附图描述了根据本发明的实施例的传感器数据定位方法,应指出的是,所述方法仅为示例,而不是对本发明的限制。在本发明的其他示例中,该方法可包含更多、更少或不同的步骤,且各步骤之间的连接、包含、功能等关系可以与所描述和图示的不同。例如,所述各步骤可以以任意方式拆分和合并,只要保留这些步骤中执行的操作即可。
    附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个???、程序段或代码的一部分,所述???、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及 的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
    以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

    关 键 词:
    传感器 数据 定位 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:传感器数据定位方法和装置.pdf
    链接地址://www.4mum.com.cn/p-5779381.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03