• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    重庆时时彩独胆走势分析: 一种移动互联网网站内容信息下载的方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210424370.9

    申请日:

    2012.10.30

    公开号:

    CN103795748A

    公开日:

    2014.05.14

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):H04L 29/08申请公布日:20140514|||实质审查的生效 IPC(主分类):H04L 29/08申请日:20121030|||公开
    IPC分类号: H04L29/08; G06F17/30 主分类号: H04L29/08
    申请人: 工业和信息化部电信传输研究所
    发明人: 魏亮; 谢玮; 郑冠楠; 邓东丰; 杨剑锋; 魏薇; 祝卓
    地址: 100045 北京市西城区月坛南街11号
    优先权:
    专利代理机构: 北京德琦知识产权代理有限公司 11018 代理人: 谢安昆;宋志强
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210424370.9

    授权公告号:

    ||||||

    法律状态公告日:

    2019.05.03|||2015.11.04|||2014.05.14

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本申请公开了一种移动互联网网站内容信息下载的方法,该方法包括:计算机导入配置的待下载的URL列表,启动下载任务,并通过移动终端接入移动互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接;构造获取各URL地址对应的移动互联网网站内容信息的请求报文,并发送给对应的移动互联网网站服务器;接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息,提高了移动互联网网站内容信息的获取效率。

    权利要求书

    权利要求书
    1.  一种移动互联网网站内容信息下载的方法,其特征在于,包括:
    计算机导入配置的待下载的统一资源定位符URL列表,启动下载任务,并通过移动终端接入移动互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接;
    该计算机构造获取各URL地址对应的移动互联网网站内容信息的请求报文,并发送给对应的移动互联网网站服务器;
    该计算机接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息。

    2.  根据权利要求1所述的方法,其特征在于,所述该计算机启动下载任务时,所述方法进一步包括:
    根据下载任务的负荷,启动多个线程并行下载移动互联网网站内容信息。

    3.  根据权利要求1所述的方法,其特征在于,所述解析并获取对应的移动互联网网站内容信息之后,所述方法进一步包括:
    该计算机确定是否需要切换与移动互联网的连接,如果是,断开当前的连接,通过所述移动终端重新接入移动互联网,并继续进行内容信息下载;否则,结束本流程。

    4.  根据权利要求3所述的方法,其特征在于,所述结束本流程之前,所述方法进一步包括:
    该计算机确定导入的所述URL列表中的所有URL地址对应的移动互联网网站的内容信息是否下载完成,如果是,结束本流程;否则,继续下载未下载完成的URL地址对应的移动互联网网站的内容信息。

    5.  根据权利要求1所述的方法,其特征在于,所述请求报文为HTTP请求报文;所述响应报文为HTTP响应报文。

    6.  根据权利要求5所述的方法,其特征在于,所述该计算机接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息,包括:
    该计算机接收到移动互联网网站服务器发送的HTTP响应报文时,解析并获取文本信息,若该HTTP响应报文中存在链接图片的通用资源标识符URI信息,则提取对应的URI信息并构造获取对应的移动互联网网站的图片信息的HTTP请求报文,并发送给所述链接图片的URI信息对应的移动互联网网站服务器;
    该计算机接收到移动互联网网站服务器发送的携带图片信息的HTTP响应报文时,解析并获取图片信息。

    7.  根据权利要求1所述的方法,其特征在于,所述通过移动终端接入所述URL列表中的URL地址对应的目标移动互联网网站时,所述方法进一步包括:
    对本地网络连接状态进行实时监控,在网络连接异常时自动重新连接。

    8.  根据权利要求7所述的方法,其特征在于,所述方法进一步包括:
    该计算机通过调用Windows函数库通过移动终端接入移动互联网网站,以及监控本地的网络连接状态。

    9.  根据权利要求1所述的方法,其特征在于,所述发送给对应的移动互联网网站服务器,之前,所述方法进一步包括:
    获取本地网络连接状态,如果获取的网络连接状态为网络连接正常时,执行所述发送给对应的移动互联网网站服务器步骤;否则,重新建立连接,执行所述发送给对应的移动互联网网站服务器步骤。

    10.  根据权利要求1-9任意一项所述的方法,其特征在于,所述方法进一步包括:
    将获取的移动互联网网站内容信息进行分类存储,用于查询、分析、统计移动互联网网站的网络内容。

    说明书

    说明书一种移动互联网网站内容信息下载的方法
    技术领域
    本申请涉及通信技术领域,特别涉及一种移动互联网网站内容信息下载的方法。
    背景技术
    随着3G网络的大规模建设、移动互联网应用的不断丰富,以及智能终端的迅速普及,移动互联网发展突飞猛进,成为互联网信息时代最主要的特征。移动互联网作为一种自由、开放的网络结构,在为人们带来便利的同时,网络中的不良信息也随之开始大肆地传播,威胁国家与社会的稳定,如何有效管控这些网络不良信息的传播,已日益成为了社会各界普遍关注的主题。
    直接通过移动终端可以十分方便地登录到移动互联网,查看某网站是否存在不良信息。但是,随着移动互联网网络规模的快速发展,如果想在数量众多的移动互联网网站中发现不良信息,并实施有效管控,仅仅依靠移动终端直接访问通信网络进行核查已经远远不能达到预期的目的,如何方便、快捷地获取移动互联网网站的相关内容信息尤为重要。
    发明内容
    有鉴于此,本申请提供一种移动互联网网站内容信息下载的方法,提高了移动互联网网站内容信息的获取效率。
    为解决上述技术问题,本发明的技术方案是这样实现的:
    一种移动互联网网站内容信息下载的方法,包括:
    计算机导入配置的待下载的URL列表,启动下载任务,并通过移动终端接入移动互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接;
    该计算机构造获取各URL地址对应的移动互联网网站内容信息的请求报文,并发送给对应的移动互联网网站服务器;
    该计算机接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息。
    综上所述,本申请通过导入预先配置的URL地址,计算机通过移动终端接入移动 互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接,并构造请求对应网站内容信息的请求报文获取对应的移动互联网网站内容信息,提高了移动互联网网站内容信息的获取效率。
    附图说明
    图1为本发明实施例中移动互联网网站内容信息下载的方法流程示意图;
    图2为本发明具体实施例中移动互联网网站内容信息下载的方法流程示意图。
    具体实施方式
    为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明所述方案作进一步地详细说明。
    本发明实施例中提出一种移动互联网网站内容信息下载的方法,计算机通过移动终端接入移动互联网,通过构造请求报文从移动互联网网站服务器获取请求报文请求的相关内容信息。通过上述方法提高了移动互联网网站内容信息的获取效率。
    参见图1,图1为本发明实施例中移动互联网网站内容信息下载的方法流程示意图。具体步骤为:
    步骤101,计算机导入配置的待下载的URL列表,启动下载任务,并通过移动终端接入移动互联网,与所述统一资源定位符(URL)列表中的URL地址对应的移动互联网网站服务器建立连接。
    本步骤中导入的URL列表可以根据需要进行配置,在URL列表中可包含多个URL地址,因此可以对移动互联网网站的内容信息进行批量下载。计算机在通过移动终端接入移动互联网时,使用Windows函数库提供的接口函数可以实现。
    计算机通过使用Windows函数库提供的接口函数,在多个方面实现了高兼容性,如多种移动网络类型:WAP或NET接入方式;多种移动网络制式类型:GSM、CDMA、TD-SCDMA、WCDMA、CDMA2000等;多个运营企业:通过设置不同的接入点,可以支持中国电信、中国移动、中国联通等。在支持多种移动网络制式类型和多个运营企业时,移动终端需要对应的支持,如移动终端为手机,支持中国移动时,需要对应的移动SIM卡。
    步骤102,该计算机构造获取各URL地址对应的移动互联网网站内容信息的请求报文,并发送给对应的移动互联网网站服务器。
    该计算机为URL列表中的每一个URL地址构造一个请求报文,并分别发送给该 URL地址对应的移动互联网网站服务器。该计算机根据下载任务负荷,即URL地址的数量启动多个进程同时执行下载任务,启动多个线程,可以同时向多个目标移动互联网网站发起请求报文,能够充分运用网络带宽进一步加速网站内容信息的下载。
    步骤103,该计算机接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息。
    计算机和移动互联网网站服务器之间交互的请求报文和响应报文是这两个设备之间能交互的报文,并且能够传输移动互联网网站服务器上的内容信息到计算机上即可,不做具体要求。
    本发明具体实施例中以请求报文为HTTP请求报文,响应报文为HTTP响应报文为例。
    HTTP是一个客户端和服务器端请求和应答的标准,计算机发送的HTTP请求报文会被移动互联网网站服务器监听到,并回应一个HTTP请求报文,该会携带HTTP请求报文请求的信息。
    配置的HTTP参数可以包括:HTTP版本、接受类型(Accept)、移动终端类型(User-Agent)、Cache-Control、Connection、HTTP请求超时阈值、请求消息内容等。根据该配置的HTTP参数构造HTTP请求报文。
    步骤103中该计算机接收到移动互联网网站服务器发送的响应报文时,解析并获取对应的移动互联网网站内容信息,包括:
    该计算机接收到移动互联网网站服务器发送的HTTP响应报文时,解析并获取文本信息,若该HTTP响应报文中存在链接图片的通用资源标识符(URI)信息,则提取对应的URI信息并构造获取对应的移动互联网网站的图片信息的HTTP请求报文,并发送给所述链接图片的URI信息对应的移动互联网网站服务器。
    该计算机接收到移动互联网网站服务器发送的携带图片信息的HTTP响应报文时,解析并获取图片信息。
    计算机利用Windows函数,可以实现对目标URL地址访问请求报文的多样性封装请求,可以自主定义HTTP请求报文中的各参数信息。在解析报文时,可以利用关键信息模糊匹配技术,提取响应报文中包含的全部图片的链接URI信息,但并不局限于该方法;再通过对链接图片的服务器的访问,获取目标网站中所包含的图片资源,完成对图片的下载。
    下面结合附图,以具体实施例详细说明本发明如何实现移动互联网网站内容信息的下载。参见图2,图2为本发明具体实施例中移动互联网网站内容信息下载的方法流程示意图。具体步骤为:
    步骤201,计算机导入配置的待下载的URL列表,启动下载任务。
    步骤202,该计算机通过移动终端接入移动互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接。
    步骤203,该计算机根据配置的HTTP参数,以及URL地址构造HTTP请求报文,并发送给URL地址对应的移动互联网网站服务器。
    步骤204,该计算机接收移动互联网网站服务器发送的HTTP请求报文,解析并获取该报文中的文本信息。
    步骤205,该计算机通过模糊匹配方法确定该HTTP响应报文中是否存在链接图片的URI信息,如果是,执行步骤206;否则,执行步骤208。
    步骤206,该计算机从该HTTP响应报文中提取链接图片的URI信息,构造请求图片信息的HTTP请求报文,并发送给该URI信息对应的移动互联网网站服务器。
    步骤207,该计算机接收携带图片信息的HTTP响应报文时,获取对应的图片信息。
    步骤208,该计算机确定是否需要切换与移动互联网的连接,如果是,执行步骤209;否则,执行步骤210。
    步骤209,该计算机断开当前的连接,执行步骤202。
    计算机与移动终端的连接有无线连接和有线连接两种,如果是通过USB结构的物理有线连接,则断开该物理连接。
    通过配置是否切换与移动互联网网站的连接,来测试链路覆盖的全面性,测试高效性等需要。
    步骤210,该计算机确定导入的所述URL列表中的所有URL地址对应的移动互联网网站的内容信息是否下载完成,如果是,执行步骤211;否则,执行步骤203。
    步骤211,结束本流程。
    本发明具体实施例中在下载移动互联网网站内容信息时,为了保证移动互联网内容信息下载的准确性和高效性,计算机需对本地网络运行状态进行监控,并进行相应的处理。在本发明的具体实施例中有如下两种实现方式:
    第一种实现方式为实时监控,计算机通过移动终端接入所述URL列表中的URL地址对应的目标移动互联网网站时,对本地网络连接状态进行实时监控,在网络连接异常时自动重新连接。该计算机通过调用Windows函数库监控本地的网络连接状态。
    第二种实现方式为,该计算机通过移动终端接入移动互联网,与所述URL列表中的URL地址对应的移动互联网网站服务器建立连接时,获取本地网络连接状态,如果获取的网络连接状态为网络连接正常时,将构造的请求报文发送给对应的移动互联网 网站服务器;否则,重新建立连接,再将构造的请求报文发送给对应的移动互联网网站服务器。即在每次发送请求报文之前,检测一次本地的网络连接状态,以保证该次下载内容信息的成功。
    本发明具体实施例中该计算机将获取的移动互联网网站内容信息进行分类存储,用于查询、分析、统计移动互联网网站的网络内容。
    在具体应用中,可以通过关键字过滤、非法图像模式识别等方法确定存储的内容信息是否存在不良信息,来确定对应的移动互联网网站中是否存在不良信息。
    综上所述,本发明具体实施例中通过导入预先配置的URL地址,计算机通过移动终端接入移动互联网,与所述URL地址对应的移动互联网网站服务器建立连接,并构造请求对应网站内容信息的请求报文获取对应的移动互联网网站内容信息。通过上述方法提高了移动互联网网站内容信息的获取效率。
    本发明具体实施例中通过利用多线程并发处理、HTTP报文自定义参数等技术,实现了目标URL文本、图片等内容信息的快速下载,进一步提高了移动互联网内容的获取效率。
    本发明具体实施例中通过调用Windows函数库的接口函数,实现了对移动终端接入通信网络连接状态的实时监测,并可通过自主控制其网络连接与关闭,实现移动终端接入通信网络链路的随机切换,可以满足移动互联网不良信息监测过滤系统能力测试的链路覆盖全面性、测试高效性、科学性等需求。
    本发明具体实施例中能够对数量繁多的目标URL的文本、图片等信息分类、分级存储,便于查询、分析、统计移动互联网的网络内容信息等。结合关键字过滤、非法图像模式识别等内容监控方面的技术,将可实现移动互联网内容监测的自动化。
    以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的?;し段?。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的?;し段е?。

    关 键 词:
    一种 移动 互联网 网站 内容 信息 下载 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种移动互联网网站内容信息下载的方法.pdf
    链接地址://www.4mum.com.cn/p-6156546.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03