• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 26
    • 下载费用:20 金币  

    重庆时时彩个位奇偶数: 停用词的挖掘方法和装置、搜索方法和装置、评测方法和装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210572702.8

    申请日:

    2012.12.25

    公开号:

    CN103902552A

    公开日:

    2014.07.02

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20121225|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 深圳市世纪光速信息技术有限公司
    发明人: 赵耀; 胡熠; 刘磊; 程佳
    地址: 518057 广东省深圳市南山区粤海街道科技中一路腾讯大厦16层
    优先权:
    专利代理机构: 广州华进联合专利商标代理有限公司 44224 代理人: 何平;邓云鹏
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210572702.8

    授权公告号:

    ||||||

    法律状态公告日:

    2019.03.26|||2016.02.17|||2014.07.02

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    一种停用词的挖掘方法,包括以下步骤:获取查询日志;获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息,并根据所述属性信息生成停用词集。此外,还提供了停用词的挖掘装置、搜索方法和搜索装置、停用词的挖掘算法的评测方法和装置。上述停用词的挖掘方法和装置,提高了停用词的准确率;上述搜索方法和装置通过去掉停用词把原始的查询串简化,可搜索到更多相关的网页,提高了搜索的准确率;上述停用词的挖掘算法的评测方法和装置采用交叉验证的方式进行评测,比较得出最优的算法。

    权利要求书

    权利要求书
    1.  一种停用词的挖掘方法,包括以下步骤:
    获取查询日志;
    获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息,并根据所述属性信息生成停用词集。

    2.  根据权利要求1所述的停用词的挖掘方法,其特征在于,所述属性信息包括查询日志中记录的查询串中查询词的逆向文档频率;
    根据所述属性信息生成停用词集的步骤包括:
    获取文档集中所有查询词的逆向文档频率;
    将所述逆向文档频率进行排序;
    从排序结果中选取预定个数逆向文档频率最小的查询词,生成停用词集。

    3.  根据权利要求1所述的停用词的挖掘方法,其特征在于,所述属性信息包括查询日志中记录的查询词的相对词权重;
    根据所述属性信息生成停用词集的步骤包括:
    获取训练数据,并抽取训练数据中查询词的特征;
    根据所述查询词的特征进行训练,构建查询词的相对词权重估算模型;
    根据所述相对词权重估算模型对获取的第一预定时间内的查询串中的查询词进行分析,得到低权重词集;
    统计所述低权重词集中各查询词的词频;
    按所述词频对查询词进行排序;
    选取预定个数词频最高的查询词,生成停用词集。

    4.  根据权利要求3所述的停用词的挖掘方法,其特征在于,所述获取训练数据的步骤包括:
    根据所述查询日志中记录的查询串与网页地址的对应关系,分别获取网页内容及查询串中的查询词;
    判断所述查询串中查询词是否出现在所述网页内容中,若是,则所述查询词为高权重词,若否,则所述查询词为低权重词,将所述高权重词和低权重词 作为训练数据。

    5.  根据权利要求1所述的停用词的挖掘方法,其特征在于,所述属性信息包括查询日志中记录的因修改查询串行为产生的查询词集合;
    根据所述属性信息生成停用词集的步骤包括:
    采集第二预定时间内的查询日志中记录的查询行为,根据所述查询行为中查询串的变化生成查询词集;
    对查询词集合求并集,选取并集中出现频率最高的预定个数的查询词,生成停用词集。

    6.  根据权利要求5所述的停用词的挖掘方法,其特征在于,还包括步骤:
    根据所述查询行为中查询串的变化生成查询词关联集合;
    对查询词关联集合求并集,选取并集中出现频率最高的预定个数的查询词对,生成冗余搭配词表。

    7.  根据权利要求1所述的停用词的挖掘方法,其特征在于,所述属性信息包括查询日志中记录的因触发行为产生的查询串与网页地址的对应关系集;
    根据所述属性信息生成停用词集的步骤包括:
    获取查询日志中记录的触发行为产生的查询串与网页地址的对应关系集;
    从所述对应关系集中查找得到同一网页地址对应的所有查询串;
    获取所有同一网页地址对应的所有查询串的每个查询词的冗余度;
    按冗余度大小对查询词进行排序;
    选取冗余度最大的预定个数的查询词,生成停用词集。

    8.  一种停用词的挖掘装置,其特征在于,包括:
    获取???,用于获取查询日志;
    生成???,用于获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息,并根据所述属性信息生成停用词集。

    9.  根据权利要求8所述的停用词的挖掘装置,其特征在于,所述生成??榘ǎ?BR>逆向文档频率获取单元,用于获取文档集中所有查询词的逆向文档频率;
    第一排序单元,用于将所述逆向文档频率进行排序;
    第一生成单元,用于从排序结果中选取预定个数逆向文档频率最小的查询词,生成停用词集。

    10.  根据权利要求8所述的停用词的挖掘装置,其特征在于,所述生成??榘ǎ?BR>训练数据获取单元,用于获取训练数据,并抽取训练数据中查询词的特征;
    估算模型构建单元,用于根据所述查询词的特征进行训练,构建查询词的相对词权重估算模型;
    词权重分析单元,用于根据所述相对词权重估算模型对获取的第一预定时间内的查询串中的查询词进行分析,得到低权重词集;
    统计单元,用于统计所述低权重词集中各查询词的词频;
    第二排序单元,用于按所述词频对查询词进行排序;
    第二生成单元,用于选取预定个数词频最高的查询词,生成停用词集。

    11.  根据权利要求10所述的停用词的挖掘装置,其特征在于,所述训练数据获取单元包括:
    源数据获取子单元,用于根据所述查询日志中记录的查询串与网页地址的对应关系,分别获取网页内容及查询串中的查询词;
    判断子单元,用于判断所述查询串中查询词是否出现在所述网页内容中,若是,则所述查询词为高权重词,若否,则所述查询词为低权重词;
    训练数据获取子单元,用于将所述高权重词和低权重词作为训练数据。

    12.  根据权利要求8所述的停用词的挖掘装置,其特征在于,所述生成??榘ǎ?BR>采集单元,用于采集第二预定时间内的查询日志中记录的查询行为,根据所述查询行为中查询串的变化生成查询词集合;
    第三生成单元,用于对查询词集合求并集,选取并集中出现频率最高的预定个数的查询词,生成停用词集。

    13.  根据权利要求12所述的停用词的挖掘装置,其特征在于,所述采集单 元还用于根据所述查询行为中查询串的变化生成查询词关联集合;
    所述第三生成单元还用于对查询词关联集合求并集,选取并集中出现频率最高的预定个数的查询词对,生成冗余搭配词表。

    14.  根据权利要求8所述的停用词的挖掘装置,其特征在于,所述生成??榘ǎ?BR>关系集获取单元,用于获取查询日志中记录的触发行为产生的查询串与网页地址的对应关系集;
    查找单元,用于从所述对应关系集中查找得到同一网页地址对应的所有查询串;
    冗余度获取单元,用于获取所有同一网页地址对应的所有查询串的每个查询词的冗余度;
    第三排序单元,用于按冗余度大小对查询词进行排序;
    第四生成单元,用于选取冗余度最大的预定个数的查询词,生成停用词集。

    15.  一种搜索方法,包括以下步骤:
    获取查询串;
    对所述查询串采用如权利要求1至7中任一项所述的停用词的挖掘方法生成的停用词集进行处理;
    根据所述处理后的查询串进行搜索。

    16.  一种搜索装置,其特征在于,包括:
    查询串获取???,用于获取查询串;
    处理???,用于对所述查询串采用如权利要求8至14中任一项所述的停用词的挖掘装置生成的停用词集进行处理;
    搜索???,用于根据所述处理后的查询串进行搜索。

    17.  一种停用词的挖掘算法的评测方法,包括以下步骤:
    获取多种挖掘算法各自的停用词集;
    统计各停用词集中的停用词在其余所有停用词集中也出现的停用词的个数,在其余数量减1个停用词集中也出现的停用词的个数,依次递归统计得到仅在停用词集自身出现的停用词的个数;
    将统计得到的在其余停用词集中出现的停用词的个数与预先设置的相应的权值进行加权求和,得到各挖掘算法的加权估算值。

    18.  根据权利要求17所述的停用词的挖掘算法的评测方法,其特征在于,所述获取多种挖掘算法各自的停用词集的步骤包括:
    获取根据查询日志中记录的查询串中查询词的逆向文档频率生成的停用词集;
    获取根据查询日志中记录的查询词的相对词权重生成的停用词集;
    获取根据因修改查询串行为产生的查询词集合生成的停用词集;
    获取根据因触发行为产生的查询串与网页地址的对应关系集生成的停用词集。

    19.  一种停用词的挖掘算法的评测装置,其特征在于,包括:
    提取???,用于获取多种挖掘算法各自的停用词集;
    统计???,用于统计各停用词集中的停用词在其余所有停用词集中也出现的停用词的个数,在其余数量减1个停用词集中也出现的停用词的个数,依次递归统计得到仅在停用词集自身出现的停用词的个数;
    加权???,用于将统计得到的在其余停用词集中出现的停用词的个数与预先设置的相应的权值进行加权求和,得到各挖掘算法的加权估算值。

    20.  根据权利要求19所述的停用词的挖掘算法的评测装置,其特征在于,所述提取??榛褂糜诨袢「莶檠罩局屑锹嫉牟檠胁檠实哪嫦蛭牡灯德噬傻耐S么始?;
    及获取根据查询日志中记录的查询词的相对词权重生成的停用词集;
    及获取根据因修改查询串行为产生的查询词集合生成的停用词集;
    及获取根据因触发行为产生的查询串与网页地址的对应关系集生成的停用词集。

    关 键 词:
    用词 挖掘 方法 装置 搜索 评测
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:停用词的挖掘方法和装置、搜索方法和装置、评测方法和装置.pdf
    链接地址://www.4mum.com.cn/p-6120613.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03