• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:20 金币  

    重庆时时彩号码采集器: 一种流量动态可控的系统监控数据采集方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201310688931.0

    申请日:

    2013.12.16

    公开号:

    CN103678085A

    公开日:

    2014.03.26

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 11/30申请日:20131216|||公开
    IPC分类号: G06F11/30 主分类号: G06F11/30
    申请人: 上海证券交易所
    发明人: 金鑫; 武剑锋; 王泊; 刘凯; 陈雷; 王程程; 惠敏顺; 黄寅飞; 白硕
    地址: 200120 上海市浦东新区浦东南路528号
    优先权:
    专利代理机构: 上海三方专利事务所 31127 代理人: 吴干权;李美立
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201310688931.0

    授权公告号:

    ||||||

    法律状态公告日:

    2016.05.04|||2014.04.23|||2014.03.26

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明涉及数据采集和流量控制领域,具体是一种流量动态可控的系统监控数据采集方法,所述的流量动态可控的监控数据采集方法主要分为三个部分,分别是监控数据异步采集处理,流量控制开启检测和流控数据合并机制;所述的监控数据异步采集处理方法如下:通过调用系统线程接口,监控??樵诔跏蓟笃舳桓龅ザ赖募嗫厥荽硐叱谈涸鹣低呈莸亩嗄勘甏硎涑?;动态流控的一个总周期可以划分为两个阶段:流控检测阶段Td和流控执行阶段Te。本发明同现有技术相比,其优点在于:通过流速权控制算法,保证关键实时系统的平稳运行,能够有效地满足不同监控目标的监控数据采集需求,并通过特征数据的合并方法,保证了落地数据的质量。

    权利要求书

    权利要求书
    1.  一种流量动态可控的系统监控数据采集方法,其特征在于所述的流量动态可控的监控数据采集方法主要分为三个部分,分别是监控数据异步采集处理,流量控制开启检测和流控数据合并机制;
    所述的监控数据异步采集处理方法如下:通过调用系统线程接口,监控??樵诔跏蓟笃舳桓龅ザ赖募嗫厥荽硐叱谈涸鹣低呈莸亩嗄勘甏硎涑?;单独的监控数据处理线程不停轮询数据输出请求队列,一旦发现有新的请求时,就从队头弹出数据记录并执行真正的输出请求,一直到将队列中的记录处理完毕;
    所述的流量控制开启检测方法如下:监控数据采集库的采集接口在进行数据入队操作时,会实时检查系统监控事件的发生频率,并动态调整采集数据的流量,从而避免大量数据操作对系统整体性能的冲击,流控算法首先在流控检测周期内计数到达队列的数据请求数目,一旦该请求数达到或超过请求数阈值,就立即开启流量控制机制,并一直持续到流控执行周期的时间段结束。因此,动态流控的一个总周期可以划分为两个阶段:流控检测阶段Td和流控执行阶段Te;
    所述的流控数据合并机制方法如下:在流控执行周期,监控数据采集库的采集接口不再将新到的数据加入数据输出请求队列,而是通过初始化时的哈希表进行相同特征数据的合并,从而降低实际数据流量的目标,数据的合并机制是:对于未出现过的特征数据类型,在哈希表里面增加一条;否则,只增加相同记录类型的计数。

    2.  如权利要求1所述的一种流量动态可控的系统监控数据采集方法,其特征在于所述的单独的监控数据处理线程的数据输出工作为屏幕打印或进行磁盘文件写入或通过网络传输数据至远程的数据库服务器。

    3.  如权利要求1所述的一种流量动态可控的系统监控数据采集方法,其特征在于所述的流控检测周期设为0,表示始终不执行流控;如果数据输出请求数阈值设为0,表示始终执行流控机制。

    4.  如权利要求1所述的一种流量动态可控的系统监控数据采集方法,其特征在于所述的监控数据异步采集处理方法需在采集??槌跏蓟毖《ㄒ觳绞菔涑銮肭蠖恿谐ざ?,队列长度过小会导致大量监控数据无法入队而被丢弃,所述的异步数据输出请求队列长度选定方法如下:
    监控事件数据的到达和监控事件数据的落地之差即为该时间段的队列长度的变化量Δ,在上一个交易日DT-1,令ei表示第i秒内发生的事件数,对每条采集的数据定义了m个输出目标,每个输出目标可以通过性能测试数据的平均值获得其单条数据处理时间的期望值那么单位时间内m个目标的总服务速度(可以处理的数据)为综上,第i秒对队列的改变量为:
    Δ=ei-νm   (1)
    设第i-1秒后的队列长度为Li-1,那么第i秒后的队列长度即为:
    Li=max(Li-1+Δ,0)   (2)
    注意因为队列长度不可以为负数,所以在服务速度大于数据到达速度的场景下,队列最小为0;
    交易时段总长为t,那么在DT-1的整个交易时段内队列长度出现过的最大值便可以作为未来队列长度的基准值Lq:

    其中α为调和系数,即对历史数据中最坏情况下的队列长度再进行一定系数的放大,以保证未来使用该基准值后,监控数据被丢弃的概率很小,c为某个正整数常量,用于保证队列基准值的最小值,其选取值可以是任意一秒的非零事件数ei(ei>0)。

    5.  如权利要求1所述的一种流量动态可控的系统监控数据采集方法,其特征在于所述的流量控制具体方法如下:
    将一个流控周期Tw划分为流控检测阶段Td和流控执行阶段Te,定义λ=m/Td,其中,λ为数据到达速度的上限阈值,m为数据输出请求数阈值,数据到达速度超过该阈值时,认为磁盘读写会对系统性能产生不良影响,对于相同的λ值,m设置的越低,Td就越低,即在一个周期内会越早进入流控执行阶段,系统总体性能的损耗会越少;另一方面,越早进入流控执行阶段,就有越多的监控信息被压缩合并,对输出结果的质量产生削弱。

    关 键 词:
    一种 流量 动态 可控 系统 监控 数据 采集 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种流量动态可控的系统监控数据采集方法.pdf
    链接地址://www.4mum.com.cn/p-6181057.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03