• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 4
    • 下载费用:30 金币  

    重庆时时彩是真的吗正规吗: 一种蜘蛛调度中心采集动态调整算法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210414966.0

    申请日:

    2012.10.26

    公开号:

    CN103778165A

    公开日:

    2014.05.07

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06F 17/30申请公布日:20140507|||实质审查的生效IPC(主分类):G06F 17/30申请日:20121026|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 广州市邦富软件有限公司
    发明人: 李旭日
    地址: 510635 广东省广州市天河区天河软件园高塘新建区广州互联网产业园1号楼第五层A501-A510房
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210414966.0

    授权公告号:

    ||||||

    法律状态公告日:

    2018.08.31|||2015.11.11|||2014.05.07

    法律状态类型:

    发明专利申请公布后的视为撤回|||实质审查的生效|||公开

    摘要

    本发明公开了一种蜘蛛调度中心采集动态调整算法,该算法主要从两个方面入手:一是在蜘蛛的运行过程中自动的根据采集到的数据对任务的采集间隔进行动态调整,以达到运行时间越长,性能越优;二是通过分析蜘蛛的采集日志,挖掘数据量采集最大的时间段,对该时间段在任务配置中进行重点照顾;任务调度中有两个重要参数:采集间隔、重点更新时间段;无需人工干预,根据不同网站的更新频率以及更新时间段自动适应。达到采集最大化效率的目的。

    权利要求书

    权利要求书
    1.  一种蜘蛛调度中心采集动态调整算法,其特征在于:该算法主要从两个方面入手:一是在蜘蛛的运行过程中自动的根据采集到的数据对任务的采集间隔进行动态调整,以达到运行时间越长,性能越优;二是通过分析蜘蛛的采集日志,挖掘数据量采集最大的时间段,对该时间段在任务配置中进行重点照顾;任务调度中有两个重要参数:采集间隔、重点更新时间段。
    算法步骤:

    1、  蜘蛛向任务调度中心发起一个获取任务的请求。

    2、  调度中心对所有网站进行一次分组,分组条件为当前时间段是否是该网站的重点更新时间段。

    3、  对两个分组的数据进行分别排序,排序条件为上一次采集时间加上采集间隔。取时间最小的且小于当前时间的任务返回。如果没有符合条件的则直接返回为空。两个分组的返回优先级为先取在重点更新时间段的组。

    4、  蜘蛛如果没有成功获取到任务则返回流程1,如果成功获取则进行数据采集。

    5、  记录当前的采集量到日志。如果当前有采集到新的数据,通知调度中心自动的将采集间隔调小,如乘以一个小于1的权重值如0.9,如果没有采集到新的数据则增加一定的采集间隔,入乘以大于1的权重值1.1。

    6、  继续返回1获取下一个任务。

    7、  同时另外有一个后台程序根据采集日志,绘制采集量统计图,综合多天的数据获取采集量的波峰对应时间段,更新到调度中心。

    关 键 词:
    一种 蜘蛛 调度 中心 采集 动态 调整 算法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种蜘蛛调度中心采集动态调整算法.pdf
    链接地址://www.4mum.com.cn/p-6156564.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03