• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩奖金计算: 一种基于深度多任务学习的文本分类方法.pdf

    关 键 词:
    一种 基于 深度 任务 学习 文本 分类 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611117038.2

    申请日:

    2016.12.07

    公开号:

    CN106777011A

    公开日:

    2017.05.31

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20161207|||公开
    IPC分类号: G06F17/30; G06N3/08 主分类号: G06F17/30
    申请人: 中山大学
    发明人: 张梓滨; 潘嵘
    地址: 510275 广东省广州市海珠区新港西路135号
    优先权:
    专利代理机构: 广州粤高专利商标代理有限公司 44102 代理人: 林丽明
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611117038.2

    授权公告号:

    |||

    法律状态公告日:

    2017.06.23|||2017.05.31

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明提供一种基于深度多任务学习的文本分类方法,该发明利用其它任务训练得到的循环神经网络,结合卷积神经网络的学习能力,得到额外的文档表示,相当于引入了大量外部信息,扩展了文档的语义表示,有效地解决了训练数据不足的问题。本文相较于传统的多任务学习方法,使用了卷积神经网络对辅助任务的底层特征进行特征抽取,能够利用其它任务的特征有效地迁移到本任务,改善了文本分类的性能。

    权利要求书

    1.一种基于深度多任务学习的文本分类方法,其特征在于,包括以下步骤:
    S1:利用词向量和双向循环网络学习当前任务的文档表示;
    S2:利用卷积神经网络,从其他任务的文档表示抽取特征;
    S3:利用当前任务的文档表示、其他任务的特征学习分类器。
    2.根据权利要求1所述的基于深度多任务学习的文本分类方法,其特征在于,所述步骤
    S1的具体过程为是:
    将所有任务中所有中文文档进分词,假设总共有N个词,然后赋予每个词一个唯一标
    示,然后表示成一个K维的向量,即所有词向量行程一个N*K的矩阵,然后使用正态分布随机
    初始化,词向量矩阵是所有任务共享的;
    用词向量和双向循环网络学习当前任务的文档表示,双向循环网络的上文表示学习部
    分公式为:
    <mrow> <msubsup> <mi>h</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mi>r</mi> <mi>l</mi> </mrow> </msup> <msub> <mi>h</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>W</mi> <mi>l</mi> </msup> <msub> <mi>e</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
    双向循环网络的下文表示学习部分公式为:
    <mrow> <msubsup> <mi>h</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mi>r</mi> <mi>r</mi> </mrow> </msup> <msub> <mi>h</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>W</mi> <mi>r</mi> </msup> <msub> <mi>e</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
    其中,分别表示文档的上下文表示;ei为词wi的词向量,使用均值为0方差为0.06
    的正态分布进行随机初始化,训练的时候通过查表得到或使用较大规模的语料及word2vec
    预词向量同时进行替换掉随机初始化;Wl、Wr、Wrl、Wrr为参数矩阵,分别用在上文词向量、下
    文词向量、上文循环状态、下文循环状态上;f为非线性激活函数;
    将得到所有单词的表示链接到一起,得到整个文档的矩阵表示X,即文档上文向量,下
    文向量的连接,其中
    3.根据权利要求2所述的基于深度多任务学习的文本分类方法,其特征在于,所述步骤
    S2的具体过程为是:
    1)、利用不同宽度的核矩阵进行一维卷积运算,检测出不同宽度的文档潜在候选语义
    特征:
    ci=f(w·xi:i+h-1+b)
    其中的w为一个卷积核矩阵;h为卷积核矩阵的宽度,b为偏置项;f为非线性激活函数;
    2)对于不同卷积核矩阵得到的潜在语义特征,进行最大池化操作,即每个特征取最大
    值:
    <mrow> <mover> <mi>c</mi> <mo>^</mo> </mover> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>c</mi> <mrow> <mi>n</mi> <mo>-</mo> <mi>h</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
    3)、不同卷积核矩阵得到的最大池化特征连接在一起,得到的任务的文档特征,具体
    公式为:
    <mrow> <mi>z</mi> <mo>=</mo> <mo>&lsqb;</mo> <msub> <mover> <mi>c</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>,</mo> <msub> <mover> <mi>c</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mover> <mi>c</mi> <mo>^</mo> </mover> <mi>m</mi> </msub> <mo>&rsqb;</mo> </mrow>
    其中,m为卷积核矩阵的个数。
    4.根据权利要求3所述的基于深度多任务学习的文本分类方法,其特征在于,将当前任
    务的文档语义表示和其他任务的文档表示连接到一起,即得到当前任务的文档的深度多任
    务文本表示,对该当前任务的文档的深度多任务文本表示进行全连接神经网络的特征学
    习,在全连接神经网络的输出层,将最终的语义表示赋予softmax操作,根据softmax的输出
    结果进行分类器学习。
    5.根据权利要求4所述的基于深度多任务学习的文本分类方法,其特征在于,所述f为
    非线性激活函数sigmoid函数。

    说明书

    一种基于深度多任务学习的文本分类方法

    技术领域

    本发明涉及自然语言处理技术领域,更具体地,涉及一种基于深度多任务学习的
    文本分类方法。

    背景技术

    随着互联网的发展,话题识别、垃圾邮件鉴别、情感分析等任务的需求也越来越
    多,而这些任务的基础都是文本分类。文本分类的目标是给定一些文档及其对应类标签作
    为训练集,通过算法学习一个分类器,能够将测试集中不带标签的文档的类标签预测出来。

    现在已有了很多基于深度神经网络的文本分类算法,包括循环神经网络、卷积神
    经网络、递归卷积神经网络,以及这些网络与注意力机制、记忆??榈鹊慕岷?。这些神经网
    络在很多数据集上取得较好的效果,但是他们也很容易遇到由于训练数据不够导致过拟
    合,只能减小网络规模,从而导致网络学习能力下降的问题。如果我们把自然语言认为是词
    之间的组合,那么词表的规模经常有数十万,那样bi-gram、tri-gram的规模就非常大了,因
    此需要神经网络有大量的参数去学习可能出现的组合。神经网络参数规模大、训练数据较
    少,那么带来的问题就是很容易过拟合,从而在测试集上的泛化能力下降。现在有很多方法
    都用来改善过拟合问题,比如参数正则化、批归一化等,然而并没有本质上解决训练数据不
    够的问题。

    发明内容

    本发明提供一种提高文本分类准确率的基于深度多任务学习的文本分类方法。

    为了达到上述技术效果,本发明的技术方案如下:

    一种基于深度多任务学习的文本分类方法,包括以下步骤:

    S1:利用词向量和双向循环网络学习当前任务的文档表示;

    S2:利用卷积神经网络,从其他任务的文档表示抽取特征;

    S3:利用当前任务的文档表示、其他任务的特征学习分类器。

    进一步地,所述步骤S1的具体过程为是:

    将所有任务中所有中文文档进行分词,假设总共有N个词,然后赋予每个词一个唯
    一标示,然后表示成一个K维的向量,即所有词向量行程一个N*K的矩阵,然后使用正态分布
    随机初始化,词向量矩阵是所有任务共享的;

    用词向量和双向循环网络学习当前任务的文档表示,双向循环网络的上文表示学
    习部分公式为:


    双向循环网络的下文表示学习部分公式为:


    其中,分别表示文档的上下文表示;ei为词wi的词向量,使用均值为0方差为
    0.06的正态分布进行随机初始化,训练的时候通过查表得到或使用较大规模的语料及
    word2vec预词向量同时进行替换掉随机初始化;Wl、Wr、Wrl、Wrr为参数矩阵,分别用在上文词
    向量、下文词向量、上文循环状态、下文循环状态上;f为非线性激活函数;

    将得到所有单词的表示链接到一起,得到整个文档的矩阵表示X,即文档上文向
    量,下文向量的连接,其中

    进一步地,所述步骤S2的具体过程为是:

    1)、利用不同宽度的核矩阵对辅助任务的双向循环网络得到的特征进行一维卷积
    运算,检测出不同宽度的文档潜在候选语义特征:

    ci=f(w·xi:i+h-1+b)

    其中的w为一个卷积核矩阵;h为卷积核矩阵的宽度,b为偏执项;f为非线性激活函
    数;

    2)对于不同卷积核矩阵得到的潜在语义特征,进行最大池化操作,即每个特征取
    最大值:


    3)、不同卷积核矩阵得到的最大池化特征连接在一起,得到的任务的文档特征,具
    体公式为:


    其中,m为卷积核矩阵的个数。

    进一步地,将当前任务的文档语义表示和其他任务的文档表示连接到一起,即得
    到当前任务的文档的深度多任务文本表示,对该当前任务的文档的深度多任务文本表示进
    行全连接神经网络的特征学习,在全连接神经网络的输出层,将最终的语义表示赋予
    softmax操作,根据softmax的输出结果进行分类器学习。

    进一步地,所述f为非线性激活函数sigmoid函数。

    与现有技术相比,本发明技术方案的有益效果是:

    本发明提出的基于深度多任务学习的文本分类方法,利用其它任务训练得到的循
    环神经网络,结合卷积神经网络的学习能力,得到额外的文档表示,相当于引入了大量外部
    信息,扩展了文档的语义表示,有效地解决了训练数据不足的问题。本文相较于传统的多任
    务学习方法,使用了卷积神经网络对辅助任务的底层特征进行特征抽取,能够利用其它任
    务的特征有效地迁移到本任务,改善了文本分类的性能。

    附图说明

    图1是本发明提出的深度多任务学习方法流程图;

    图2是本发明中使用的双向循环神经网络的结构图。

    具体实施方式

    附图仅用于示例性说明,不能理解为对本专利的限制;

    为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品
    的尺寸;

    对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解
    的。

    下面结合附图和实施例对本发明的技术方案做进一步的说明。

    实施例1

    如图1-2所示,一种基于深度多任务学习的文本分类方法,包括以下步骤:

    S1:利用词向量和双向循环网络学习当前任务的文档表示;

    S2:利用卷积神经网络,从其他任务的文档表示抽取特征;

    S3:利用当前任务的文档表示、其他任务的特征学习分类器。

    步骤S1的具体过程为是:

    将所有任务中所有中文文档进分词,假设总共有N个词,然后赋予每个词一个唯一
    标示,然后表示成一个K维的向量,即所有词向量行程一个N*K的矩阵,然后使用正态分布随
    机初始化,词向量矩阵是所有任务共享的;

    用词向量和双向循环网络学习当前任务的文档表示,双向循环网络的上文表示学
    习部分公式为:


    双向循环网络的下文表示学习部分公式为:


    其中,分别表示文档的上下文表示;ei为词wi的词向量,使用均值为0方差为
    0.06的正态分布进行随机初始化,训练的时候通过查表得到或使用较大规模的语料及
    word2vec预词向量同时进行替换掉随机初始化;Wl、Wr、Wrl、Wrr为参数矩阵,分别用在上文词
    向量、下文词向量、上文循环状态、下文循环状态上;f为非线性激活函数sigmoid函数;

    将得到所有单词的表示链接到一起,得到整个文档的矩阵表示X,即文档上文向
    量,下文向量的连接,其中

    步骤S2的具体过程为是:

    1)、利用不同宽度的核矩阵对辅助任务的双向循环网络得到的特征进行一维卷积
    运算,检测出不同宽度的文档潜在候选语义特征:

    ci=f(w·xi:i+h-1+b)

    其中的w为一个卷积核矩阵;h为卷积核矩阵的宽度,b为偏执项;f为非线性激活函
    数sigmoid函数;

    2)对于不同卷积核矩阵得到的潜在语义特征,进行最大池化操作,即每个特征取
    最大值:


    3)、不同卷积核矩阵得到的最大池化特征连接在一起,得到的任务的文档特征,具
    体公式为:


    其中,m为卷积核矩阵的个数。

    将当前任务的文档语义表示和其他任务的文档表示连接到一起,即得到当前任务
    的文档的深度多任务文本表示,对该当前任务的文档的深度多任务文本表示进行全连接神
    经网络的特征学习,在全连接神经网络的输出层,将最终的语义表示赋予softmax操作,根
    据softmax的输出结果进行分类器学习。

    相同或相似的标号对应相同或相似的部件;

    附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;

    显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对
    本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可
    以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本
    发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求
    的?;し段е?。

    关于本文
    本文标题:一种基于深度多任务学习的文本分类方法.pdf
    链接地址://www.4mum.com.cn/p-6021092.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 安徽时时计划软件手机版下载手机版下载手机版下载 云南时时怎么玩 3d福彩五码复式计划大师 七乐彩最准确预测号码 山东十一选5走势图 多赢pk10手机计划软件 大乐透走势图表图30期 上海时时开奖信息查询系统 北京pk10定位胆玩法 北京pk10天天赢通计划 天津时时五星综合图走势图 时时老时时 pk10技巧345678不定位 北赛车pk10直播官方下载 大快乐时时全能王 新时时历史