• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    500能买重庆时时彩吗: 监控平台实时数据处理方法.pdf

    关 键 词:
    监控 平台 实时 数据处理 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610780737.9

    申请日:

    2016.08.30

    公开号:

    CN106372171A

    公开日:

    2017.02.01

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20160830|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 四川新环佳科技发展有限公司
    发明人: 张敬华; 程映忠; 王松
    地址: 610041 四川省成都市高新区创业路9号4-4幢1号
    优先权:
    专利代理机构: 北京天奇智新知识产权代理有限公司 11340 代理人: 杨春
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610780737.9

    授权公告号:

    |||

    法律状态公告日:

    2017.03.01|||2017.02.01

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明提供了一种监控平台实时数据处理方法,该方法包括:在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示;通过对数据流进行聚类和统计得出各类的统计特性,当产生新的网络数据流时,基于上述聚类和统计结果实时监控非正常数据流。本发明提出了一种监控平台实时数据处理方法,适应面向不同数据集和响应要求的安全事件监控需求,很好地解决实时性和监控效率之间的平衡问题。

    权利要求书

    1.一种监控平台实时数据处理方法,其特征在于,包括:
    在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示;通过对数据流进行
    聚类和统计得出各类的统计特性,当产生新的网络数据流时,基于上述聚类和统计结果实
    时监控非正常数据流。
    2.根据权利要求1所述的方法,其特征在于,所述监控平台包括采集单元、存储单元、计
    算处理单元和显示单元,
    其中所述计算处理单元应用Samza云平台,实时处理数据流并显示网络运行状况,监控
    和预警安全事件;数据采集单元将分散在网络中各个节点和服务器的日志信息、原始数据
    流信息、数据包镜像信息进行采集,并且保证采集的数据具有内容可靠性、数据集可扩展
    性,控制节点可管理性;将系统中分散节点产生的日志信息、数据量信息通过数据采集节点
    传送到分布式文件存储系统中,并对原始数据进行初步处理,产生适合计算处理单元运算
    的输入数据,最终存储到分布式文件存储系统中;将路由节点、防火墙节点、服务器节点等
    能够产生日志和数据镜像的节点作为数据代理,通过架设多个数据采集节点,然后由主控
    节点协调工作,将数据推送到分布式文件存储系统中,以便计算处理单元对输入数据进行
    处理;
    存储单元包含数据缓存、数据集中存储、数据持久化???;数据缓存将一部分采集数据
    直接交付计算处理单元进行数据处理,而不存储在分布式文件存储系统上;所述数据缓存
    包含消息队列,对数据向计算处理单元进行交付;数据集中存储??橛τ梅植际轿募娲?br />系统对采集到的日志和数据流进行存储,对日志采集系统所采集的数据提取出计算处理单
    元所需要的数据格式;对于存储的数据采用两种数据存储方式:一种是关系数据库,方便计
    算处理单元采用结构化查询的方式获取数据;另一种是键值对存储方式,适合分布式计算
    框架的编程模型。

    说明书

    监控平台实时数据处理方法

    技术领域

    本发明涉及数据处理,特别涉及一种监控平台实时数据处理方法。

    背景技术

    用户在享受网络设施和服务带来的便利的同时,安全问题也逐步升级。由于无线
    网络的普及,在许多公共场所,用户越来越多的将个人敏感数据存储或传递到网络中和存
    储在云平台上。而黑客所能利用的信息也随着网络服务和信息量的增加而增多,他们采用
    扫描端口、暴力破解、等漏洞对目标服务器进行监控。网络安全监控面临着两个亟待解决的
    问题,一是所要监控的目标系统数据量庞大,以往的非正常事件监控平台很难应对如此庞
    大的数据量。二是如何利用好大数据以及云平台,从而为安全事件监控提供良好的计算基
    础。以往技术集中在将网络日志、深度包数据应用在云平台下进行分布式计算,并没有考虑
    到从数据输入、计算、存储、前台展现等一系列围绕云平台架构的问题。同时,没有考虑实际
    网络中应对突发数据量,以及通过及时更新学习库对未知非正常进行记录和监控等问题。

    发明内容

    为解决上述现有技术所存在的问题,本发明提出了一种监控平台实时数据处理方
    法,包括:

    在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示;通过对数据流
    进行聚类和统计得出各类的统计特性,当产生新的网络数据流时,基于上述聚类和统计结
    果实时监控非正常数据流。

    优选地,所述监控平台包括采集单元、存储单元、计算处理单元和显示单元,

    其中所述计算处理单元应用Samza云平台,实时处理数据流并显示网络运行状况,
    监控和预警安全事件;数据采集单元将分散在网络中各个节点和服务器的日志信息、原始
    数据流信息、数据包镜像信息进行采集,并且保证采集的数据具有内容可靠性、数据集可扩
    展性,控制节点可管理性;将系统中分散节点产生的日志信息、数据量信息通过数据采集节
    点传送到分布式文件存储系统中,并对原始数据进行初步处理,产生适合计算处理单元运
    算的输入数据,最终存储到分布式文件存储系统中;将路由节点、防火墙节点、服务器节点
    等能够产生日志和数据镜像的节点作为数据代理,通过架设多个数据采集节点,然后由主
    控节点协调工作,将数据推送到分布式文件存储系统中,以便计算处理单元对输入数据进
    行处理;

    存储单元包含数据缓存、数据集中存储、数据持久化???;数据缓存将一部分采集
    数据直接交付计算处理单元进行数据处理,而不存储在分布式文件存储系统上;所述数据
    缓存包含消息队列,对数据向计算处理单元进行交付;数据集中存储??橛τ梅植际轿募?br />存储系统对采集到的日志和数据流进行存储,对日志采集系统所采集的数据提取出计算处
    理单元所需要的数据格式;对于存储的数据采用两种数据存储方式:一种是关系数据库,方
    便计算处理单元采用结构化查询的方式获取数据;另一种是键值对存储方式,适合分布式
    计算框架的编程模型。

    本发明相比现有技术,具有以下优点:

    本发明提出了一种监控平台实时数据处理方法,适应面向不同数据集和响应要求
    的安全事件监控需求,很好地解决实时性和监控效率之间的平衡问题。

    附图说明

    图1是根据本发明实施例的监控平台实时数据处理方法的流程图。

    具体实施方式

    下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描
    述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利
    要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以
    便提供对本发明的透彻理解。出于示例的目标而提供这些细节,并且无这些具体细节中的
    一些或者所有细节也可以根据权利要求书实现本发明。

    本发明的一方面提供了一种监控平台实时数据处理方法。图1是根据本发明实施
    例的监控平台实时数据处理方法流程图。

    本发明在数据监控平台下对数据流进行实时监控,加强了对未知类型数据流进行
    监控的能力。在该架构中对日志、数据流镜像进行采集、存储、计算、和显示。采用数据挖掘
    聚类分析的方法,监控平台中存在的未知非正常情况。首先对数据流进行聚类,经过统计后
    得出该类的统计特性,记录进入学习库后生成分类标签,当产生新的数据流时,对网络数据
    流进行分类,若不满足分类条件,对数据流进行重新聚类,作为下次处理的依据。通过统计
    的方法对网络中的数据量进行分析、统计,从而发现网络中潜在的安全事件。

    针对大规模网络非正常数据流实时监控的要求,系统从数据采集、存储、计算和结
    果显示结合如下分布式监控平台,包括采集单元、存储单元、计算处理单元和显示单元。其
    中计算处理单元中应用Samza云平台,实时处理数据流并显示网络运行状况,监控和预警安
    全事件。

    数据采集单元将分散在网络中各个节点和服务器的日志信息、原始数据流信息、
    数据包镜像信息进行采集,并且保证采集的数据具有内容可靠性、数据集可扩展性,控制节
    点可管理性。将系统中分散节点产生的日志信息、数据量信息通过数据采集节点传送到分
    布式文件存储系统中,并对原始数据进行初步处理,产生适合计算处理单元运算的输入数
    据,最终存储到分布式文件存储系统中。

    数据采集单元将分散在网络中的路由节点、防火墙节点、服务器节点等能够产生
    日志和数据镜像的节点作为数据代理,通过架设多个数据采集节点,然后由主控节点协调
    工作,将数据推送到分布式文件存储系统中,以便计算处理单元对输入数据进行处理。

    存储单元包含数据缓存、数据集中存储、数据持久化???。数据缓存??榻徊糠?br />采集数据直接交付计算处理单元进行数据处理,而不存储在分布式文件存储系统上。所述
    数据缓存包含消息队列,对数据向计算处理单元进行交付,该??槭视糜谑凳钡牧鞔砑?br />算,同时也兼容分布式文件存储系统的存储计算,从而减少了I/O次数,提升了平台计算的
    效率。

    数据集中存储??橛τ梅植际轿募娲⑾低扯圆杉降娜罩竞褪萘鹘写娲?,
    对日志采集系统所采集的数据提取出计算处理单元所需要的数据格式。对于存储的数据采
    用两种数据存储方式:一种是关系数据库,方便计算处理单元采用结构化查询的方式获取
    数据。另一种是键值对存储方式,适合分布式计算框架的编程模型。

    计算处理单元所计算出的结果分为两部分,一部分用于显示,需要存储到关系数
    据库中,一方面作为网络数据流的历史数据,另一方面用于显示单元的数据源。而另一部分
    作为处理文件的输入数据集,即对安全数据进行初步统计分析后,再为数据挖掘分析提供
    输入数据。

    计算处理单元包括离线处理、定时处理、实时处理???。离线处理??槭羌嗫仄教?br />利用分布式计算框架的编程模型;采用聚类分析、分类计算、关联规则等数据挖掘的算法对
    网络中的日志进行离线分析。对攻击行为进行分析还原。例如将入侵监控日志作为关联规
    则的数据源,对每一条独立的入侵监控数据通过地址溯源,经过报警关联判断,报警决策树
    生成,对整个攻击流程进行关联分析,还原攻击者对目标机器攻击的整个场景。定时处理模
    块采用Samza编程模型,实现对网络中存在的攻击进行预警监控。将数据从分布式文件存储
    系统中读取出来后,在集群中进行数据交换,并且数据交换均发生在内存中,大大缩短了集
    群在I/O上所耗费的时间。将数据量原始数据上传后进行数据切分,将原始数据切分成数据
    集,经过流式计算后在集群中传递数据集。最后生成网络数据量统计信息。实时处理??槎?br />于数据量统计信息,包括网络瞬时流量、带宽消耗、关键节点服务器状态,根据属性和规则
    进行过滤,将日志文件、数据量文件进行初步筛选产生数据流,并将筛选后的结果进行进一
    步处理。该??槔梅植际郊扑憧蚣鼙喑棠P?,对采集到分布式文件存储系统上的文件进
    行统计分析计算。

    Samza集群对于数据量采集到的数据进行统计分析,建立统计分析数据集。云计算
    集群对网络数据包进行属性提取,数据预处理后对数据进行聚类,将非正常数据流类别从
    网络数据流中分离出来。

    显示单元应用Json传递数据格式至前台界面,向用户提供两种数据接口。其一是
    安全访问API,向用户以应用单元数据的方式提供数据计算结果,使用套接字数据接口。其
    二是面向应用的API,针对特定的日志格式,将用户希望监控的数据接入到采集单元,用云
    监控平台进行安全监控分析。经过客户端和服务器端握手后,可以长时间从服务器端主动
    向客户端推送数据信息,缩短了数据传输时间,提高了数据传输效率。在显示单元采用从集
    群主动推送消息的方式来传送数据。

    原始数据经过Samza统计处理,对网络非正常状况进行判断,从而在网络历史数据
    流中判断和筛选出非正常数据流。经过统计之后的网络数据流统计数据进入计算处理单
    元,对数据进行离线处理计算,通过聚类算法,判断网络中存在的已未知非正常预测。

    在数据流采集??橹?,实现了数据量和网络数据包相结合的跨单元监控平台数据
    流的方法?;袢∈萘棵枋鲈楹褪萘鞔笮⌒畔?。针对数据流,采用一台主机接受数据
    流,然后对采集的数据流进行解析,将解析后的内容上传到分布式文件存储系统后,再通过
    Samza集群计算网络数据流统计数据。针对网络原始数据流,对数据包进行捕获,然后将数
    据流报头信息剥离,将结果存储在分布式文件存储系统上。

    本发明对网络数据量监控流程如下。

    步骤1:将数据流从服务器经过初步过滤和计算上传到分布式文件存储系统中,以
    便集群进行计算。

    步骤2:通过Samza计算统计数据流。同时对网络原始数据包进行聚类分析。

    步骤3:将计算结果写入关系数据库,并将聚类结果存储进入学习库,作为下次分
    类的依据。

    步骤4:将监控结果存入数据库,分别用于阈值分析、非正常监控和数据显示。

    数据流中包括源地址、目标地址、源端口、目标端口、协议类型、字节数。这些数据
    流需要经过统计处理,才能被应用于大规模数据统计。

    在Samza平台上将原始数据流经过计算统计后形成网络数据流属性信息,出口报
    文表示从监控平台中向外部网络发送的数据包,入口报文表示从外部网络向内部网络发送
    的数据包。对于直接能够应用条件过滤对数据流进行过滤的非正常数据流,在进入计算处
    理单元之前,即上传到分布式文件存储系统之前对数据进行过滤判断。

    在数据流监控中,通过聚类算法构建数据流类型集合,对存在于学习库中的集合
    进行分类划分,从而发现网络中存在的攻击。

    针对网络原始数据流,将部分报头信息正则化并存储后,形成聚类分析的输入数
    据向量。以源服务器ip和目标端口为关键字,选取流量属性作为聚类分析的输入属性。其中
    在进入聚类分析之前,所述正则化如下:

    au=(a-amin)/(amax-amin)

    其中au为正则化结果,a为每个原始数据,amax-amin分别为原始报头数据的最大值
    和最小值。

    聚类过程中,根据已选定好的属性,输入数据,对目标数据流进行聚类,将正常的
    数据流和非正常的数据流进行区分,具体如下:

    步骤l:输入属性数据集

    步骤2:邻近聚类,对每个x,若|x-mj|<|x-mi|,其中i=1,2,3...c且i≠j,c为聚类
    数量,则x∈tj

    步骤3:计算聚类中心mj=∑x∈tx j=1,2,3...c

    步骤4:计算每个类的平均间距δj=∑x∈t|x-mj|

    步骤5:计算总体的平均间距δ=∑j=1…cNjδj,其中Nj为第j个类的元素数量;

    步骤6;计算各个聚类中心之间的距离:

    δij=||mi-mj||

    步骤7:把小于预设参数ec的所有距离δij升序排列

    步骤8:判断该类是否合并过,若没有被合并过,则对这些类依次合并,即计算合并
    中心

    在预处理阶段,将网络原始数据流截获并提取包头信息存储到分布式文件存储系
    统中,再通过映射和规约操作,以源服务器IP和服务器目标端口为关键字进行网络数据流
    属性统计。截获预定时间内的网络数据包头,并对该时间内的包头信息个数进行汇总。

    在不满足改进贝叶斯分类网络的情况下,即存在数据归属于各个类的概率相近,
    则判断产生的非正常数据流的新类型。将该类型的数据流重新输入聚类过程后,将新产生
    的类型存储在学习库,作为下次分类的依据。

    将聚类算法应用在云平台中,需要考虑将原始数据流中的报头信息先上传到分布
    式文件存储系统中,再利用计算处理单元中的Samza定时处理,以源服务器IP为键,以网络
    数据流属性信息为值,对数据报文进行统计分析。最后将统计结果重新存储到分布式文件
    存储系统的关系数据库中,作为聚类分析的输入数据。当进行聚类时,计算处理单元进行离
    线处理,执行聚类过程。

    综上所述,本发明提出了一种监控平台实时数据处理方法,适应面向不同数据集
    和响应要求的安全事件监控需求,很好地解决实时性和监控效率之间的平衡问题。

    显然,本领域的技术人员应该理解,上述的本发明的各??榛蚋鞑街杩梢杂猛ㄓ?br />的计算系统来实现,它们可以集中在单个的计算系统上,或者分布在多个计算系统所组成
    的网络上,可选地,它们可以用计算系统可执行的程序代码来实现,从而,可以将它们存储
    在存储系统中由计算系统来执行。这样,本发明不限制于任何特定的硬件和软件结合。

    应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的
    原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何
    修改、等同替换、改进等,均应包含在本发明的?;し段е?。此外,本发明所附权利要求旨
    在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修
    改例。

    关于本文
    本文标题:监控平台实时数据处理方法.pdf
    链接地址://www.4mum.com.cn/p-6013886.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 彩票金蟾计划app 北京pk10直播官方网站 天天计划软件手机版式 一笑一码90期 怎样理财稳而又生钱 pk10买6码怎么倍投 重庆时时乐娱网址 pk10走势图分析 五星直选稳赚不亏的计划方案 飞艇免费计划软件 pk拾计划软件手机版免费 快3赚钱单双投注方法 压大小单双有什么秘诀 北京塞车免费计划软件 手机版幸运pc28 研究七星彩有什么技巧吗