• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    重庆时时彩遗漏统计软件: 一种基于参数融合优化决策的音频索引方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410209057.2

    申请日:

    2014.05.16

    公开号:

    CN103985381A

    公开日:

    2014.08.13

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G10L 15/08申请日:20140516|||公开
    IPC分类号: G10L15/08 主分类号: G10L15/08
    申请人: 清华大学
    发明人: 杨毅; 刘加; 孙甲松
    地址: 100084 北京市海淀区100084信箱82分箱清华大学专利办公室
    优先权:
    专利代理机构: 西安智大知识产权代理事务所 61215 代理人: 贾玉健
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410209057.2

    授权公告号:

    ||||||

    法律状态公告日:

    2016.09.21|||2014.09.10|||2014.08.13

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明为一种针对真实场景下的语音数据进行音频索引的方法,将输入的语音信号进行预处理和初始化后进行声学特征提取,然后分别进行基于高斯混合模型的优化学习及量子学习,将高斯混合模型参数与量子学习参数进行融合,最后基于分类决策给出分类结果,本发明中的量子学习方法是将常规类别进行线性叠加来构建量子态,并将量子态作为计算模型的状态。将这种方法扩展为通用分类学习方法,可有效地解决会议场景下多个说话人混合的通用说话人分类问题。

    权利要求书

    权利要求书
    1.  一种基于参数融合优化决策的音频索引方法,其特征在于:包括以下步骤:
    第一步,采用声传感器进行系统输入信号采集;
    第二步,对所采集信号进行预处理;
    第三步,提取声学特征;
    第四步,采用高斯混合模型对声学特征建立分类模型;
    第五步,采用量子学习模型对声学特征建立分类模型;
    第六步,对上述传统优化学习和量子学习获得的模型的参数进行参数融合,得到融合模型分类器;
    第七步,分类决策给出分类结果;
    第八步,系统输出分类结果,包括全部的语音频段及其相应的分类信息。

    2.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第一步中的声传感器包括独立声传感器和便携设备上的声传感器。

    3.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第二步中的预处理包括预加重、分帧、加窗以及端点检测。

    4.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第三步中的声学特征为梅尔频率倒谱系数或线性预测倒谱系数。

    5.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第四步中,对不同说话人的声学特征所具有的概率密度函数进行建模,对这些特征进行聚类,用高斯分布函数来分别描述每个类,将这些类作为训练模板,随后将观测序列代入模板,找到最大后验概率。

    6.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第五步中,对声学特征建立量子学习分类模型,将常规类别进行线性叠加来构建量子态,并将量子态作为计算模型的状态。

    7.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第六步中,需要融合的参数由高斯混合模型模型参数和量子学习模型参数构成,通过加权完成参数融合。

    8.  根据权利要求7所述的基于参数融合优化决策的音频索引方法,其特征在于:所述参数融合的方法是:在得到高斯混合模型参数后,按照获得的权重大小将模型分量进行排序w1>w2...>wn,其中w1,w2,...,wfloor(n/2)对应的模型分量构成高权重分量集合H,w(floor(n/2)+1),w(floor(n/2)+2),...,wn对应的模型分量构成低权重分量集合L,floor为下取整函数;在得到量子学习模型参数后,按照同样方法获得权重,将模型分量按照大小进行排序,构成高权重分量集合H'和低权重分量集合L',量子学习模型的置信度与训练数据个数无关;融合模型分类器最终输出来自高斯混合模型的高权重分量集合H和来自量子学习模型的低权重分量集合L'。

    9.  根据权利要求1所述的基于参数融合优化决策的音频索引方法,其特征在于:所述第七步中,分类决策由多个不同的分类器给出各自得分,通过决策级融合完成具有鲁棒性优化和最佳分类效果的决策输出,决策级融合的具体做法是进行线性加权,量子学习模型和高斯混合模型的分类结果对应的权重均为1,融合模型的分类结果对应的权重0<ω<1,并输出线性加权后的分类结果。

    说明书

    说明书一种基于参数融合优化决策的音频索引方法
    技术领域
    本发明属于音频技术领域,涉及对会议场景下的语音数据进行音频索引,具体涉及一种基于参数融合优化决策的音频索引方法。
    背景技术
    音频索引是一种从音频中自动提取信息并进行目标内容搜索的技术,其目的是按一定的方式对海量语音信号进行分析和检索,提取特定目标信息。在音频索引中需要获取信息包括说话内容和说话人身份。音频索引一般在时域上对音频信号按来源和分类进行标记索引,其索引内容包括但不限于:说话人身份、说话内容、音乐、背景噪声及其他内容。音频索引需要确定出某一说话人与另一说话人之间的切换时刻,并标记出每个语音段对应的说话人身份。音频索引可应用于电话语音、广播新闻和语音会议等场景,能够实现音频数据的结构化分析、理解和管理。
    会议场景下的音频索引可视为基于说话人的语音信号自动优化和分离方法,上述音频索引通常包括三个部分:说话人特征提取、说话人分段、说话人聚类。
    传统的说话人特征包括:MFCC(Mel Frequency Cepstral Coefficients)、LFCC(Linear Frequency Cepstral Coefficients)、PLP(Perceptual Linear Predictive)、LPC(Linear Predictive Coding)等感知特征;最近提出的新的说话人特征包括:鲁棒性较优的同步掩蔽和前向掩蔽感知特征;基于听神经放电时间信息的子带自相关特征;调频谱特征和频域线性预测特征;还可以利用汉明窗提取语音信号中若干情感特征参数。此外还包括如下提取说话人特征的方法:特征弯曲(warping)技术将特征的PDF包络改为高斯包络,可以避免背景噪声和其他干扰的影响;通过在聚类之前先将特征矢量投影到 说话人子空间则可以提高说话人特征的鉴别性;将传统短时特征与节律(Prosodic)和其他长时特征(如基频、能量、共振峰、长时平均谱等)结合;根据给定的训练样本集选择最优小波包基.从被识别或分类的信号中提取具有最大可分性的特征。
    基于测度的算法是最常用的说话人分段算法,通过计算两个声学段(通常是连续的)之间的距离来决策他们属于同一说话人或不同说话人,如果属于不同说话人,则需要判定是否存在说话人变更点。用于进行变更点判定的距离算法也可应用在说话人聚类方面来比较两个声学段是否属于同一说话人。通常用两类距离来定义一对声学段的距离,一类是不考虑数据的模型,仅利用足够多的统计数据进行计算,称为基于统计的距离,这种方法在声学段足够长的时候快速高效,将数据用一个唯一的均值和方差代表;第二类则评估数据与其模型的相似度,该方法计算较慢,但对复杂数据处理效果较好,称为基于相似度的距离。距离定义包括:贝叶斯信息准则、通用相似度评估、Gish距离。所有基于量度的技术都需要计算一个函数,其极值需要与阈值相比来决定每个变更点的合适度。
    说话人聚类则采用混合高斯模型(Gaussian Mixture Model,GMM)或支持向量机(Support Vector Machine,SVM)来计算,前者需要对说话人模型进行生成训练,如最大似然或最大后验估计,后者需要对说话人模型进行差别训练,目前主流的技术为GMM-SVM,通过GMM建立概率密度分布模型并通过Kullback-Leibler散度上界来测量概率密度分布。虽然GMM-SVM系统性能较好,但仍存在GMM参数过多及通用性较差的问题。对于第一个问题,NAP等技术相继被提出,使得GMM-SVM系统的识别正确率进一步提高,不过在训练NAP模型时仅考虑了同类集合间的度量,未考虑异类集合间的度量;对于第二个问题,可引入量子学习理论进行处理。.
    发明内容
    为了克服上述现有技术的不足,本发明的目的在于提供了一种基于参数 融合优化决策的音频索引方法,由高斯混合模型和量子学习模型参数构成。量子学习模型是一种在数据分布中增加量子控制参数的分类算法,主要方法是将常规类别进行线性叠加来构建量子态,并将量子态作为计算模型的状态。通过从训练集中学习并找到一种低误差分类器,对测试集进行分类决策并进行标记,可以解决多类混合状态问题。这种方法可用于处理多人多方会议中的音频索引问题。
    为了实现上述目的,本发明采用的技术方案是:
    一种基于参数融合优化决策的音频索引方法,包括以下步骤:
    第一步,采用声传感器进行系统输入信号采集;
    第二步,对所采集信号进行预处理;
    第三步,提取声学特征;
    第四步,采用高斯混合模型对声学特征建立分类模型;
    第五步,采用量子学习模型对声学特征建立分类模型;
    第六步,对上述传统优化学习和量子学习获得的模型的参数进行参数融合,得到融合模型分类器;
    第七步,分类决策给出分类结果;
    第八步,系统输出分类结果,包括全部的语音频段及其相应的分类信息。
    所述第一步中的声传感器包括独立声传感器和便携设备上的声传感器。
    所述第二步中的预处理包括预加重、分帧、加窗以及端点检测。
    所述第三步中的声学特征为Mel频率倒谱系数或/和线性预测倒谱系数。
    所述第四步中,对声学特征建立高斯混合分类模型,对不同说话人的声学特征所具有的概率密度函数进行建模,对这些特征进行聚类,用高斯分布函数来分别描述每个类,将这些类作为训练模板,随后将观测序列代入模板,找到最大后验概率。
    所述第五步中,对声学特征建立量子学习分类模型,将常规类别进行线性叠加来构建量子态,并将量子态作为计算模型的状态。
    所述第六步中,需要融合的参数由传统优化学习模型参数和量子学习模 型参数构成,通过加权完成参数融合。
    所述参数融合的方法是:在得到高斯混合模型参数后,按照获得的权重大小将模型分量进行排序w1>w2...>wn,其中w1,w2,...,wfloor(n/2)对应的模型分量构成高权重分量集合H,w(floor(n/2)+1),w(floor(n/2)+2),...,wn对应的模型分量构成低权重分量集合L,floor为下取整函数;在得到量子学习模型参数后,按照同样方法获得权重,将模型分量按照大小进行排序,构成高权重分量集合H'和低权重分量集合L',量子学习模型的置信度与训练数据个数无关;融合模型分类器最终输出来自高斯混合模型的高权重分量集合H和来自量子学习模型的低权重分量集合L'。
    所述第七步中,分类决策由多个不同的分类器给出各自得分,通过决策级融合完成具有鲁棒性优化和最佳分类效果的决策输出,决策级融合后的分类决策即为分类结果。
    本发明与现有技术相比,优点在于:
    本发明建立了一种基于高斯混合模型参数及量子学习参数融合优化决策的音频索引方法,其中量子学习模型是一种在数据分布中增加量子控制参数的分类算法,主要方法是将常规类别进行线性叠加来构建量子态,并将量子态作为计算模型的状态。通过从训练集中学习并找到一种低误差分类器,对测试集进行分类决策并进行标记,可以解决多类混合状态问题。通过上述融合分类学习方法的扩展,可有效地解决会议场景下多个说话人混合的通用说话人分类问题。
    附图说明
    图1是本发明基于参数融合优化决策的说话人分类流程图。
    具体实施方式
    下面结合附图和实施例对本发明做进一步详细说明。
    如图1所示,本发明为一种基于参数融合优化决策的音频索引方法,包 括:
    语音信号输入步骤101,采用声传感器进行系统输入信号采集,按说话人身份对数据进行分类;包括在多媒体会议中通过声传感器采集的全部语音频信号,有可能除了语音信号之外还包括音乐、环境噪声等其他信号。其目标在于,在多媒体会议中按说话人身份对数据进行分类,这类多媒体会议包括电话或视频会议。这些方法和装置不局限于任何已知的独立声传感器如麦克风等,也可以是任何便携设备如笔记本电脑或PDA设备上的声传感器。
    预处理102,对所采集信号进行预处理,包括预加重、分帧、加窗以及端点检测等手段。
    信号初始化103,进行噪声消除和有声段/无声段检测等。
    声学特征提取104,提取声学特征作为说话人鉴别信息,这些声学特征可以为梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)或线性预测倒谱系数(Linear Frequency Cepstral Coefficients,LPCC)等,此外还存在将多种声学特征融合的特征,这种融合特征提供了更多鉴别信息,可以进一步提高分类正确率。
    上述的步骤102、103、104共同完成整个特征提取部分。
    特征提取步骤完成之后,对不同说话人的声学特征所具有的概率密度函数进行建模,构建高斯混合模型105,将每个说话人视作一个类别,用高斯分布函数来分别描述每个类,将这些类作为训练模板,随后将观测序列代入模板,找到最大后验概率。
    其具体方式如下:
    假设训练数据用N维列向量y=(y0,y1,…,yN-1)t表示,其中yi∈y代表第i个训练数据的特征矢量,y属于K个不同的类。定义y对应的标签为N维矢量x=(x0,x1,…,xN-1)t,xi∈{0,1…,K-1},xi∈x代表第i个训练数据对应的标签,xi用来表示x0,x1,…,xN-1,定义x由如下公式产生:
    P(x|α)=Πi=0N-1Σk=0K-1αkδxi,k]]>
    其中参数α={α0,α1,…,αK-1}需要满足δa,b是克罗内克δ函数,k为类别。
    定义y由如下公式产生:
    P(y|x,μ,σ)=Πi=0N-1gxi(yi|μ,σ)]]>
    其中高斯分布函数定义为gxi(yi|μ,σ)=12πσkexp(-12σk2(yi-μk)2),]]>式中μ={μ0,μ1,…,μK-1}和σ={σ0,σ1,…,σK-1}分别代表分布的均值和方差,μk∈μ代表第k类数据的均值,σk∈σ代表第k类数据的方差。x和y的联合概率函数为:
    P(x,y|α,μ,σ)=P(y|x,μ,σ)P(x|α)=Πi=0N-1αxigxi(yi|σ,α)]]>
    通过最大化如下的边缘似然函数
    P(y|α,μ,σ)=Σx0=0K-1Σx2=0K-1...ΣxN-1=0K-1P(x,y|α,μ,σ)=Πi=0N-1Πxi=0K-1αxigxi(yi|σ,α)]]>
    可以获得训练模板的参数μ,σ,α的估计值:
    μ^k=Σi=0N-1yiΨi(k|μ^,σ^,α^)Σi=0N-1Ψi(k|μ^,σ^,α^)]]>
    α^k=1NΣi=0N-1Ψi(k|μ^,σ^,α^)]]>
    σ^k2=Σi=0N-1(yi-μ^k)2Ψi(k|μ^,σ^,α^)Σi=0N-1Ψi(k|μ^,σ^,α^)]]>
    其中Ψi(k|μ,σ,α)=αkgk(yi-μ,σ)Σk=0K-1αkgk(yi|μ,σ).]]>
    最后依据贝叶斯公式,可以得到测试数据y'对应的标签x'的后验概率为:
    P(x|y,μ^,σ^,α^)=P(x,y|μ^,σ^,α^)P(y|μ^,σ^,α^)=Πi=0N-1Ψi(xi|μ^,σ^,α^)]]>
    通过最大化上述后验概率可以得到x'的最优估计。
    高斯混合模型105完成后开始建立量子学习模型106,在量子学习模型中,假设训练数据用N维列向量y=(y0,y1,…,yN-1)t表示,y属于K个不同的类, 将yi对应的每个类别标签Xi定义为一个K×K维的量子态矩阵,且其中l,l',k,k'∈{0,1,…,K-1},δa,b是克罗内克δ函数,〈Q(t)〉代表量子态Q(t)在t>0的时间内的期望值。
    定义边缘似然函数如下:
    P(y|α,μ,σ)=Πi=0N-1trΣn=0+1n!(-H(yi))ntrΣn=0+1n!(-F)n]]>
    其中α,μ,σ为量子学习训练模型的参数,tr指的是矩阵的迹,即矩阵对角元素的和,F=-lnα00...00lnα1...0.........00...lnαK-1,]]>
    H(yi)=-ln(α0g0(yi|μ,σ))γ...γγln(α1g1(yi|μ,σ))...γ.........γγ...ln(αK-1gK-1(yi|μ,σ))]]>为K×K的矩阵,其中i=0,1…,N-1,gi(yi|μ,σ)=12πσiexp(-12σi2(yi-μi)2).]]>
    通过最大化边缘似然函数,可以获得参数μ,σ,α的估计值:
    μ^k=Σi=0N-1yi(trXkkiΣn=0+1n!(-H(yi))ntrΣn=0+1n!(-H(yi))n)Σi=0N-1(trXkkiΣn=0+1n!(-H(yi))ntrΣn=0+1n!(-H(yi))n)]]>
    α^k=exp(trXln(1NΣi=0N-1Σn=0+1n!(-H(yi))ntrΣn=0+1n!(-H(yi))n))]]>
    σ^k2=Σi=0N-1(yi-μ^i)2(trXkkiΣn=0+1n!(-H(yi))ntrΣn=0+1n!(-H(yi))n)Σi=0N-1(trXkkiΣn=0+1n!(-H(yi))ntrΣn=0+1n!(-H(yi))n)]]>
    其中k=1,2,…,K-1。
    假设测试数据为N'维列向量y'=(y'0,y'1,…,y'N'-1)t,则对应的类别标签X'的后验概率为:
    P(xi|y,μ,σ,α)=Σn=0+1n!(-Σj=0i(H(yj))ntrΣn=0+1n!(-Σj=0i(H(yj))n]]>
    其中i=1,2,…,N'-1,H(y'i)的特征矢量即为类别标签x'i的最优估计。
    融合模型分类器107由高斯混合模型105和量子学习模型106组成。在得到高斯混合模型参数后,按照获得的权重大小将模型分量进行排序,w1>w2...>wn,其中权重w1,w2,...,wfloor(n/2)(floor为下取整函数)对应的模型分量构成高权重分量集合H,权重w(floor(n/2)+1),w(floor(n/2)+2),...,wn对应的模型分量构成低权重分量集合L;构成高权重分量集合H和低权重分量集合L,由于H受训练数据个数的影响较小,因此置信度较高,而L受训练数据个数的影响较大,有时会产生失真。在得到量子学习模型参数后,按照同样方法获得权重,将模型分量按照大小进行排序,构成高权重分量集合H'和低权重分量集合L',量子学习模型的置信度与训练数据个数无关。融合模型分类器107最终输出来自高斯混合模型的高权重分量集合H和来自量子学习模型的低权重分量集合L'。
    在实现融合模型分类器107后,由高斯混合模型分类器105、量子学习模型分类器106和融合模型分类器107对每个测试数据分别给出各自的分类结果;在分类决策108中通过决策级融合完成具有鲁棒性优化和最佳分类效 果的决策输出,具体做法是进行线性加权,量子学习模型和高斯混合模型的分类结果对应的权重均为1,融合模型的分类结果对应的权重0<ω<1。最后输出线性加权后的分类结果109。

    关 键 词:
    一种 基于 参数 融合 优化 决策 音频 索引 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种基于参数融合优化决策的音频索引方法.pdf
    链接地址://www.4mum.com.cn/p-6141668.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03