• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:20 金币  

    重庆时时彩会不会做假: 用于挖掘时效性种子页的方法及装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410105792.9

    申请日:

    2014.03.20

    公开号:

    CN103838865A

    公开日:

    2014.06.04

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140320|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 北京奇虎科技有限公司; 奇智软件(北京)有限公司
    发明人: 王智广
    地址: 100088 北京市西城区新街口外大街28号D座112室(德胜园区)
    优先权:
    专利代理机构: 北京市浩天知识产权代理事务所 11276 代理人: 宋菲;刘云贵
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410105792.9

    授权公告号:

    ||||||

    法律状态公告日:

    2017.04.05|||2014.07.02|||2014.06.04

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种用于挖掘时效性种子页的方法及装置。其中方法包括:分析网页抓取日志,提取出由第一页面到第二页面的跳转行为;解析所述第二页面的网址信息,判断所述第二页面的网址信息是否包含最新的时间标志以及所述第一页面和所述第二页面是否属于同一个站点,若判断结果均为是,则将所述第一页面作为候选的时效性种子页面;对所述候选的时效性种子页面进行验证,根据验证通过的时效性种子页面确定网址信息模板,以供网络爬虫根据所述网址信息模板抓取页面。该方法利用网页可以跳转到具有最新的时间标志的页面的特性,根据网址信息模板挖掘时效性种子网页,而不用解析网页主体即可识别网页类型;方法简单易实现,准确率高。

    权利要求书

    权利要求书
    1.  一种用于挖掘时效性种子页的方法,包括:
    分析网页抓取日志,提取出由第一页面到第二页面的跳转行为;
    解析所述第二页面的网址信息,判断所述第二页面的网址信息是否包含最新的时间标志以及所述第一页面和所述第二页面是否属于同一个站点,若判断结果均为是,则将所述第一页面作为候选的时效性种子页面;
    对所述候选的时效性种子页面进行验证,根据验证通过的时效性种子页面确定网址信息模板,以供网络爬虫根据所述网址信息模板抓取页面。

    2.  根据权利要求1所述的方法,所述对所述候选的时效性种子页面进行验证进一步包括:
    通过对所述候选的时效性种子页面按照预设时段进行第二次抓取,判断所述候选的时效性种子页面是否跳转到第三页面;
    若所述候选的时效性种子页没有发生跳转行为,则对所述候选的时效性种子页面验证不通过;
    若所述候选的时效性种子页跳转到第三页面,解析所述第三页面的网址信息,判断所述第三页面的网址信息是否包含最新的时间标志以及所述候选的时效性种子页面和所述第三页面是否属于同一个站点,若判断结果均为是,则对所述候选的时效性种子页面验证通过。

    3.  根据权利要求1或2所述的方法,所述根据验证通过的时效性种子页面确定网址信息模板,以供所述网络爬虫根据所述网址信息模板抓取页面进一步包括:
    收集与验证通过的时效性种子页面的网址信息具有相同形式的内链,确定所述时效性种子页面对应的网址信息模板,以供所述网络爬虫根据所述时效性种子页面对应的网址信息模板抓取页面。

    4.  根据权利要求1-3任一项所述的方法,在所述将所述第一页面作为候选的时效性种子页面之前还包括:判断第一页面的网址信息是否包含最新的时间标志;
    若所述第一页面的网址信息不包含最新的时间标志,并且所述第二页面的网址信息包含最新的时间标志以及所述第一页面和所述第二页面属于同一个站点,将所述第一页面作为候选的时效性种子页面。

    5.  根据权利要求1-4任一项所述的方法,所述时效性种子页面对应的网址信息模板包括:所述验证通过的时效性种子页的网址信息与所述内链的共同部分以及通配符,所述通配符是由所述验证通过的时效性种子页的网址信息与所述内链的不同部分而确定的。

    6.  根据权利要求1-5任一项所述的方法,所述通配符包含时间通配符和版面通配符。

    7.  根据权利要求1-6任一项所述的方法,所述网络爬虫根据所述时效性种子页面对应的网址信息模板抓取页面进一步包括:所述网络爬虫更改所述通配符生成新的时效性种子页面,对所述新的时效性种子页面进行抓取。

    8.  根据权利要求1-7任一项所述的方法,所述网址信息为统一资源定位符。

    9.  一种用于挖掘时效性种子页的装置,包括:
    日志数据库,适于存储网页抓取日志;
    分析???,适于分析所述日志数据库中的抓取日志,提取出由第一页面到第二页面的跳转行为;
    解析???,适于解析所述第二页面的网址信息,判断所述第二页面的网址信息是否包含最新的时间标志以及所述第一页面和所述第二页面是否属于同一个站点,若判断结果均为是,则将所述第一页面作为候选的时效性种子页面;
    验证???,适于对所述候选的时效性种子页面进行验证;
    抓取???,适于根据验证通过的时效性种子页面确定网址信息模板,以供网络爬虫根据所述网址信息模板抓取页面。

    10.  根据权利要求9所述的装置,所述验证??榻徊绞视冢?BR>通过对所述候选的时效性种子页面按照预设时段进行第二次抓取,判断 所述候选的时效性种子页面是否跳转到第三页面;
    若所述候选的时效性种子页没有发生跳转行为,则对所述候选的时效性种子页面验证不通过;
    若所述候选的时效性种子页跳转到第三页面,解析所述第三页面的网址信息,判断所述第三页面的网址信息是否包含最新的时间标志以及所述候选的时效性种子页面和所述第三页面是否属于同一个站点,若判断结果均为是,则对所述候选的时效性种子页面验证通过。

    关 键 词:
    用于 挖掘 时效性 种子 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:用于挖掘时效性种子页的方法及装置.pdf
    链接地址://www.4mum.com.cn/p-6148140.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03