• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:20 金币  

    重庆时时彩大底平刷: 一种基于隐含狄利克雷模型的关键词抽取方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410088252.4

    申请日:

    2014.03.11

    公开号:

    CN103870447A

    公开日:

    2014.06.18

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 17/27申请公布日:20140618|||实质审查的生效IPC(主分类):G06F 17/27申请日:20140311|||公开
    IPC分类号: G06F17/27 主分类号: G06F17/27
    申请人: 北京优捷信达信息科技有限公司
    发明人: 陈里波; 胡子扬; 祁点点
    地址: 100123 北京市朝阳区朝阳北路103号1105-1106室
    优先权:
    专利代理机构: 苏州市中南伟业知识产权代理事务所(普通合伙) 32257 代理人: 李广
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410088252.4

    授权公告号:

    ||||||

    法律状态公告日:

    2017.11.14|||2014.07.16|||2014.06.18

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明公开一种基于隐含狄利克雷模型的关键词抽取方法 。该交互式关键词推荐方法包括步骤,词汇预处理:先进行词性标注和分词,跟进待分析文本构建词汇表,然后对词汇表进行修订?;疤饩劾啵汗菇ㄒ依死啄P?,把一篇待分析文本看作若干个隐含话题的分布。每个隐含话题被定义为词的分布。一篇文档可以包含多个主题,文档中每一个词都由其中的一个主题生成。输出话题和关键词:预设一个阈值,依据每个词汇出现在某话题中的条件概率,对词汇表重新排序,概率大于给定阈值的词,作为关键词输出。本发明不需要额外语料库,又能够挖掘出文本中描述的各个“事物”或“观点”。

    权利要求书

    权利要求书
    1.   一种基于隐含狄利克雷模型的关键词抽取方法 ,包括步骤,
    词汇预处理:先进行词性标注和分词,跟进待分析文本构建词汇表,然后对词汇表进行修订;
    话题聚类:构建隐含狄利克雷模型,把一篇待分析文本看作若干个隐含话题的分布;每个隐含话题被定义为词的分布;一篇文档可以包含多个主题,文档中每一个词都由其中的一个主题生成;
    输出话题和关键词:预设一个阈值,依据每个词汇出现在某话题中的条件概率,对词汇表重新排序,概率大于给定阈值的词,作为关键词输出。

    2.   如权利要求1所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述输出话题和关键词步骤后,还包括:指定话题和词汇的强关联规则,在给定的场景中,优先按照强关联规则来匹配话题和关键词。

    3.  如权利要求1所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述词汇预处理步骤包括:
    把自然语言中的每一句话当作是一个隐马尔科夫链(Hidden Markov Chain),使用维特比算法,求出对于观测到的数据,概率最大的词性标记序列;运算过程中隐含分词;
    文本中每出现的一个新词,都会被插入到一张词汇表里;创建的词汇表中包含文本中所有词,且无重复词;
    把自定义词库中的词设置为强相关,加入隐马尔科夫链模型,该模型在标记词性序列的时候,优先将自定义词结合为一个词;
    得到了分词结果和词性标注序列之后,算法会根据给定的词性列表对分词结果进行过滤。

    4.  如权利要求1所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述生成型概率模型为隐含狄利克雷分布(LDA)模型;所述话题聚类步骤包括初始化LDA模型的方法:待分析的文本集                                                含有篇文档,;把文档表示成长度为的词的序列,;把词表示成维向量,其中为词汇表的长度;假定待分析的文档集共包含个隐含话题,,为根据经验设定的常数;
    文档中第个词所对应的隐含话题服从以为参数的多项式分
    布,其中参数向量服从以为参数的狄利克雷分布;初始化使其服从均匀分布;

    定义为话题生成词的概率:,
    ;其中参数向量服从以为参数的狄利克雷分布;初始化所有,即话题生成词汇表中的每个词的初始概率相同,构建该概率矩阵;进而,对文档中词而言,它是词汇表里第个词的概率为:

    完整的概率模型为:




    初始化后,一个词由任一话题生成的概率相等,且一个话题生成任一词的概率也相等。

    5.  如权利要求4所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述话题聚类步骤包括参数估计的方法:
    采用吉布斯采样法(Gibbs Sampling),给定当前词之外的所有其它词和话题,重新计算当前词属于哪一个话题,更新后逐一对构成文本的词更新归属话题,直至结果稳定。

    6.   如权利要求5所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述吉布斯采样法概率更新公式为:

    其中, 是除了当前词以外,词被分配到话题的频率,是除了当前词以外,所有被分配到话题的总频率;为平滑系数,具体根据数据集调整,为归一化系数; 是在当前文档中除了当前词以外的所有词的总频率;为平滑系数,具体根据数据集调整,为归一化系数。

    7.  如权利要求6所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,采用马尔科夫蒙特卡洛法(Markov chain Monte Carlo)计算话题聚类的结果;
    先初始化马尔科夫链(Markov chain),初始状态为,生成概率为,转移概率为;重新用吉布斯采样法估计隐含狄利克雷模型的参数,反复迭代马尔科夫链,直至结果稳定。

    8.  如权利要求7所述的基于隐含狄利克雷模型的关键词抽取方法 ,其特征在于,所述条件概率为。

    关 键 词:
    一种 基于 隐含 狄利克雷 模型 关键词 抽取 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种基于隐含狄利克雷模型的关键词抽取方法.pdf
    链接地址://www.4mum.com.cn/p-6126254.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03