• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 13
    • 下载费用:30 金币  

    什么是重庆时时彩: 一种适用于多模态信息的稀疏编码算法及其应用.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201510205245.2

    申请日:

    2015.04.27

    公开号:

    CN104765878A

    公开日:

    2015.07.08

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 著录事项变更IPC(主分类):G06F 17/30变更事项:发明人变更前:刘学亮 刘菲变更后:刘学亮 汪萌 洪日昌 刘菲 金波|||专利申请权的转移IPC(主分类):G06F 17/30登记生效日:20170726变更事项:申请人变更前权利人:合肥工业大学变更后权利人:合肥工业大学变更事项:地址变更前权利人:230009 安徽省合肥市包河区屯溪路193号变更后权利人:230002 安徽省合肥市屯溪路193号变更事项:申请人变更后权利人:公安部第三研究所|||实质审查的生效IPC(主分类):G06F 17/30申请日:20150427|||公开
    IPC分类号: G06F17/30; G06K9/46 主分类号: G06F17/30
    申请人: 合肥工业大学
    发明人: 刘学亮; 刘菲
    地址: 230009安徽省合肥市包河区屯溪路193号
    优先权:
    专利代理机构: 安徽省合肥新安专利代理有限责任公司34101 代理人: 陆丽莉; 何梅生
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510205245.2

    授权公告号:

    |||||||||

    法律状态公告日:

    2017.08.15|||2017.08.15|||2015.08.05|||2015.07.08

    法律状态类型:

    著录事项变更|||专利申请权、专利权的转移|||实质审查的生效|||公开

    摘要

    本发明公开了一种适用于多模态信息的稀疏编码算法及其应用,其特征是按如下步骤进行:1提取社会媒体的图像和文本的特征;2对相同模态特征建立图拉普拉斯矩阵;3建立最大化平均散度矩阵;4构建基于稀疏编码的目标函数;5采用特征符号搜索算法更新稀疏编码,得到多模态信息的特征表示;6利用得到的特征表示进行交叉检索。本发明能够充分利用多模态信息进行编码,降低不同模态间的分布差异,从而提高稀疏编码的鲁棒性,提高交叉检索的准确率。

    权利要求书

    权利要求书
    1.  一种适用于多模态信息的稀疏编码算法,所述多模态信息包括社会媒体图像和文本信息,其特征是按如下步骤进行:
    步骤1、对所述多模态信息D进行特征提取,获得多模态信息D的特征矩阵,记为D=(XI,XT);并有表示所述社会媒体图像的特征矩阵;表示第i个社会媒体图像的特征;t1表示所述社会媒体图像特征矩阵的维度;m表示所述社会媒体图像的个数;表示所述文本信息的特征矩阵;表示第i个文本信息的特征;t2表示所述文本信息特征矩阵的维度;n表示所述文本信息的个数;
    步骤2、建立同一模态特征的图拉普拉斯矩阵LI和LT:
    步骤2.1、对所述m个社会媒体图像利用KNN算法建立一个k近邻图,所述k近邻图包括m个顶点,每个顶点表示一个社会媒体图像的特征;
    若所述社会媒体图像的特征矩阵XI中,第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内,则将第i个顶点和第j个的相似性记为1;若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内,则第i个顶点和第j个的相似性记为0;从而得到所述第i个社会媒体图像的相似性向量WiI,进而得到m个社会媒体图像的相似性矩阵WI,1≤j≤m,j≠i;
    步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度,从而获得m个社会媒体图像特征的度 

    步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵XI的图拉普拉斯矩阵LI:
    LI=diag(DI)-WI   (2)
    式(2)中,diag(DI)表示以m个社会媒体图像特征的度DI中的元素作为对角元素求对角矩阵;
    步骤2.4、根据所述步骤2.1-步骤2.3,同理获得n个文本信息的图拉普拉斯矩阵LT;
    步骤3、利用式(3)建立最大均值差异矩阵M:

    式(3)中,Mp,q表示所述最大均值差异矩阵M中任一元素;
    步骤4、建立如式(4)所示的基于稀疏编码的目标函数:

    式(4)中,表示对应于所述社会媒体图像特征XI的初始码本,表示所述初始图像码本的第u个基向量,1≤u≤r,t1表示所述初始图像码本的维度,r表示所示初始图像码本的大??;BT表示对应于所述文本信息特征XT的初始文本码本,表示所述初始文本码本的第v个基向量,1≤v≤r, t2表示所述初始文本码本的维度,r表示所述初始文本码本的大??;
    表示所述社会媒体图像的初始稀疏表示,表示所述初始图像稀疏表示中第σ列,1≤σ≤m,SI∈Rr×m,r表示所述初始图像稀疏表示的维度,m表示所述初始图像稀疏表示的大??;表示所述文本信息的初始稀疏表示,表示所述初始文本稀疏表示中第τ列,1≤τ≤n,ST∈Rr×n,r表示所述初始文本稀疏表示的维度,n表示所述初始文本稀疏表示的大??;表示初始图像稀疏表示SI与初始文本稀疏表示ST的合并矩阵;(SI)′和(ST)′分别表示稀疏表示SI与稀疏表示ST的转置,tr()表示求矩阵的迹;μ1、μ2、β、λ1和λ2分别表示权值;
    步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示SI与初始文本稀疏表示ST,获得多模态信息的稀疏表示:
    步骤5.1、定义循环变量ω;并初始化ω=1;则第ω次图像码本为所述初始图像码本BI;第ω次图像稀疏表示为所述初始图像稀疏表示SI;所述第ω次文本码本为所述初始文本 码本BT;所述第ω次文本稀疏表示为所述初始文本稀疏表示ST;
    步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示

    步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示

    步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)获得第ω次更新后的图像码本


    步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)获得第ω次更新后的文本码本


    步骤5.5、将ω+1的值赋给ω,重复步骤5.2-步骤5.5直至式(5)和式(6)所示的目标更新函数最小化,从而获得优化后的图像稀疏表示和文本稀疏表示。

    2.  一种对适用于多模态信息的稀疏编码算法的应用,其特征是应用于多模态信息的交叉检索。

    说明书

    说明书一种适用于多模态信息的稀疏编码算法及其应用
    技术领域
    本发明涉及多媒体信息检索,尤其涉及一种对多模态信息的稀疏编码算法及其应用。
    背景技术
    近年来,随着微博,Facebook等社交网络平台的兴起,多媒体信息呈现爆炸式的增长,这为传统的信息检索技术提出了新的要求。单纯的文本检索已经不能满足用户日益复杂的信息检索需求,用户希望能获得文本,图像,音频,视频等不同模态的数据。多模态信息间的交叉检索,如输入一副图像,检索与之相关的文本,或者输入一段文字,检索与之最匹配的图像,成为学术界关注的热点问题。
    从现有的多模态信息处理技术中可以看出,其核心问题是对不同模态数据的建模,使得不同模态的数据可以在某一个相同的特征空间下表示,从根本上来说是特征表示的问题。
    稀疏编码是一种有效的特征表示方法,在机器学习,模式识别上得到越来越多的重视,也已经成功的应用到了纹理识别,图像分类和人脸识别上,但是在处理多模态信息问题时,传统稀疏编码存在以下缺陷和不足:
    第一、过完备的码本和独立的稀疏编码,会导致编码过程中丢失数据间的相似性信息,使得相似的特征被编码为差异较大的稀疏码,导致了稀疏编码的不稳定性。
    第二、传统稀疏编码算法没有考虑到对多模态特征进行编码的情况,而在多模态信息交叉检索的问题研究中,查询项和被检索项由不同模态的特征表示,在分布上会有很大的差异性,这也影响了稀疏编码的稳定性,从而降低交叉检索的准确率。
    发明内容
    本发明是为了避免现存技术所存在的不足之处,提出一种适用于多模态信息的稀疏编码算法及其应用,以期能充分利用多模态信息进行编码,降低不同模态间的分布差异,从而增强稀疏表示的鲁棒性,提高多模态信息检索的准确率。
    本发明为解决技术问题采用如下技术方案:
    本发明一种适用于多模态信息的稀疏编码算法,所述多模态信息包括社会媒体图像和文本信息,其特征点是按如下步骤进行:
    步骤1、对所述多模态信息D进行特征提取,获得多模态信息D的特征矩阵,记为D=(XI,XT);并有表示所述社会媒体图像的特征矩阵;表示第i个社会媒体图像的特征;t1表示所述社会媒体图像特征矩阵的维度;m表示所述社会媒体图像的个数;表示所述文本信息的特征矩阵;表示第i 个文本信息的特征;t2表示所述文本信息特征矩阵的维度;n表示所述文本信息的个数;
    步骤2、建立同一模态特征的图拉普拉斯矩阵LI和LT:
    步骤2.1、对所述m个社会媒体图像利用KNN算法建立一个k近邻图,所述k近邻图包括m个顶点,每个顶点表示一个社会媒体图像的特征;
    若所述社会媒体图像的特征矩阵XI中,第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内,则将第i个顶点和第j个的相似性记为1;若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内,则第i个顶点和第j个的相似性记为0;从而得到所述第i个社会媒体图像的相似性向量进而得到m个社会媒体图像的相似性矩阵WI,1≤j≤m,j≠i;
    步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度,从而获得m个社会媒体图像特征的度 DI=[d1I,d2I,...,diI,...,dmI]:]]>
    diI=Σα=1k(wi,αI)---(1)]]>
    步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵XI的图拉普拉斯矩阵LI:
    LI=diag(DI)-WI      (2)
    式(2)中,diag(DI)表示以m个社会媒体图像特征的度DI中的元素作为对角元素求对角矩阵;
    步骤2.4、根据所述步骤2.1-步骤2.3,同理获得n个文本信息的图拉普拉斯矩阵LT;
    步骤3、利用式(3)建立最大均值差异矩阵M:
    Mp,q=1/m2,p,qm1/n2,p,q>m-1/m×n,else---(3)]]>
    式(3)中,Mp,q表示所述最大均值差异矩阵M中任一元素;
    步骤4、建立如式(4)所示的基于稀疏编码的目标函数:
    minBI,BT,SI,ST||XI-BISI||F2+μ1tr(SILI(SI))+λ1Σσ=1m|sσI|+||XT-BTST||F2+μ2tr(STLT(ST))+λ2Στ=1n|sτT|+βtr(SMS)---(4)]]>
    式(4)中,表示对应于所述社会媒体图像特征XI的初始码本,表示所述初始图像码本的第u个基向量,1≤u≤r,t1表示所述初始图像码本的维度,r表示所示初始图像码本的大??;BT表示对应于所述文本信息特征XT的初始文本码本,表示所述初始文本码本的第v个基向量,1≤v≤r, t2表示所述初始文本码本的维度,r表示所述初始文本码本的大??;
    表示所述社会媒体图像的初始稀疏表示,表示所述初始图像稀疏表示中第σ列,1≤σ≤m,SI∈Rr×m,r表示所述初始图像稀疏表示的维度,m表示所述初始图像稀疏表示的大??;表示所述文本信息的初始稀疏表示,表示所述初始文本稀疏表示中第τ列,1≤τ≤n,ST∈Rr×n,r表示所述初始文本稀疏表示的维度,n表示所述初始文本稀疏表示的大??;S=[SI,ST]表示初始图像稀疏表示SI与初始文本稀疏表示ST的合并矩阵;(SI)′和(ST)′分别表示稀疏表示SI与稀疏表示ST的转置,tr()表示求矩阵的迹;μ1、μ2、β、λ1和λ2分别表示权值;
    步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示SI与初始文本稀疏表示ST,获得多模态信息的稀疏表示:
    步骤5.1、定义循环变量ω;并初始化ω=1;则第ω次图像码本为所述初始图像码本BI;第ω次图像稀疏表示为所述初始图像稀疏表示SI;所述第ω次文本码本为所述初始文本码本BT;所述第ω次文本稀疏表示为所述初始文本稀疏表示ST;
    步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示
    minSωI||XI-BωISωI||F2+μ1tr(SωILI(SωI))+βtr(SωMSω)+λ1Σσ=1m|(sσI)ω|---(5)]]>
    步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的 目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示
    minSωT||XT-BωTSωT||F2+μ2tr(SωTLT(SωT))+βtr(SωMSω)+λ2Στ=1n|(sτT)ω|---(6)]]>
    步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)获得第ω次更新后的图像码本
    minBωI||XI-BωISωI||F2s.t.||(buI)ω||2c,∀u=1,...,r---(7)]]>
    步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)获得第ω次更新后的文本码本
    minBωI||XI-BωISωI||F2s.t.||(bvI)ω||2c,∀v=1,...,r---(8)]]>
    步骤5.5、将ω+1的值赋给ω,重复步骤5.2-步骤5.5直至式(5)和式(6)所示的目标更新函数最小化,从而获得优化后的图像稀疏表示和文本稀疏表示。
    本发明一种对适用于多模态信息的稀疏编码算法的应用的特点是应用于多模态信息的交叉检索。
    与已有技术相比,本发明有益效果体现在:
    1、本发明将图拉普拉斯的策略和最大均值差异的方法二者加入到传统稀疏编码目标函数中,通过最小化目标函数克服了传统稀疏编码过程丢失特征间相似性的问题以及不同模态特征间存在分布差异带来的稀疏编码不稳定的问题,充分利用了多模态信息进行编码,从而提高了稀疏编码的鲁棒性,进而提高了多模态信息交叉检索的准确率。
    2、本发明通过对相同模态特征构建图拉普拉斯矩阵,并形成图拉普拉斯约束,添加此项约束到传统稀疏编码目标函数中,解决了传统稀疏编码过程中丢失特征间相似性的问题,从而使得相似特征的稀疏表示也是相似的,提高了稀疏表示的稳定性。
    3、本发明通过采用最大均值差异来度量不同模态特征的分布差异,并添加此项约束至传统稀疏编码目标函数中,通过最小化分布差异,使不同模态特征的稀疏表示更近,从而提高交叉检索的准确率。
    4、本发明在目标函数优化过程中,通过采用特征符号搜索算法,使目标函数的优化从不可微的问题转化为无约束二次规划问题,从而加速了函数的优化过程。
    附图说明
    图1a为本发明算法与传统稀疏编码算法进行文本查询检索图像时获得的MAP值对比图;
    图1b为本发明算法与传统稀疏编码算法进行图像查询检索文本时获得的MAP值对比图。
    具体实施方式
    本实施例中,一种适用于多模态信息的稀疏编码算法是按如下步骤进行:
    步骤1、对多模态信息D进行特征提取,获得多模态信息D的特征矩阵,记为D=(XI,XT);并有表示社会媒体图像的特征矩阵;表示第i个社会媒体图像的特征;t1表示社会媒体图像特征矩阵的维度;m表示社会媒体图像的个数;本实施例中,社会媒体图像特征采用Bag of Word模型表示:首先从图像中提取SIFT特征,通过聚类的方法得到SIFT特征的中心点,并把SIFT特征投影到各个不同的聚类中心点,从而得到Bag of Word特征;表示文本信息的特征矩阵;表示第i个文本信息的特征;t2表示文本信息特征矩阵的维度;n表示文本信息的个数;本实施例中,文本信息的特征采用LDA模型,首先生成10个主题,每个文档采用在这10个主题上面的分布来表示;
    步骤2、建立同一模态特征的图拉普拉斯矩阵LI和LT:
    步骤2.1、利用KNN(k-NearestNeighbor)算法,对m个社会媒体图像建立一个k近邻图,k近邻图包括m个顶点,每个顶点表示一个社会媒体图像的特征;
    若社会媒体图像的特征矩阵XI中,第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内,则将第i个顶点和第j个的相似性记为1;若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内,则第i个顶点和第j个的相似性 记为0;从而得到第i个社会媒体图像的相似性向量进而得到m个社会媒体图像的相似性矩阵WI,1≤j≤m,j≠i;
    步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度,从而获得m个社会媒体图像特征的度 DI=[d1I,d2I,...,diI,...,dmI]:]]>
    diI=Σα=1k(wi,αI)---(1)]]>
    步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵XI的图拉普拉斯矩阵LI:
    LI=diag(DI)-WI       (2) 
    式(2)中,diag(DI)表示以m个社会媒体图像特征的度DI中的元素作为对角元素求对角矩阵;
    步骤2.4、根据所述步骤2.1-步骤2.3,同理获得n个文本信息的图拉普拉斯矩阵LT;
    步骤3、利用式(3)建立最大均值差异矩阵M:
    Mp,q=1/m2,p,qm1/n2,p,q>m-1/m×n,else---(3)]]>
    式(3)中,Mp,q表示最大均值差异矩阵M中任一元素;
    步骤4、建立如式(6)所示的基于稀疏编码的目标函数:并通过最小化式(6)来达到保持编码过程相似性的目的;
    传统稀疏编码目标函数如下,只有一个L1范式约束:
    minS,D||X-BS||F2+λΣi=1m|si|s.t.||di||2c,∀i=1,...,θ---(4)]]>
    步骤4.1、利用得到的拉普拉斯矩阵,给稀疏编码添加图拉普拉斯约束,得到新的目标函数如式(5)所示:
    minBI,BT,SI,ST||XI-BISI||F2+||XT-BTST||F2+μ1tr(SILI(SI))+μ2tr(STLT(ST))---(5)]]>
    步骤4.2、利用MMD矩阵,求得不同模态特征间分布差异的度量方式,添加至目标函数,得到如式(4)所示的适用于多模态的稀疏编码的目标函数:
    minBI,BT,SI,ST||XI-BISI||F2+μ1tr(SILI(SI))+λ1Σσ=1m|sσI|+||XT-BTST||F2+μ2tr(STLT(ST))+λ2Στ=1n|sτT|+βtr(SMS)---(6)]]>
    式(6)中,表示对应于所述社会媒体图像特征XI的初始码本,表示所述初始图像码本的第u个基向量,1≤u≤r,t1表示所述初始图像码 本的维度,r表示所示初始图像码本的大??;BT表示对应于所述文本信息特征XT的初始文本码本,表示所述初始文本码本的第v个基向量,1≤v≤r, t2表示所述初始文本码本的维度,r表示所述初始文本码本的大??;BI,BT均是由随机函数产生并进行归一化;表示所述社会媒体图像的初始稀疏表示,表示所述初始图像稀疏表示中第σ列,1≤σ≤m,SI∈Rr×m,r表示所述初始图像稀疏表示的维度,m表示所述初始图像稀疏表示的大??;表示所述文本信息的初始稀疏表示,表示所述初始文本稀疏表示中第τ列,1≤τ≤n,ST∈Rr×n,r表示所述初始文本稀疏表示的维度,n表示所述初始文本稀疏表示的大??;SI,ST均赋值为零矩阵;S=[SI,ST]表示初始图像稀疏表示SI与初始文本稀疏表示ST的合并矩阵,(SI)′和(ST)′分别表示稀疏表示SI与稀疏表示ST的转置,tr( )表示求矩阵的迹;μ1、μ2、β、λ1和λ2分别表示权值;本实施例中,选取的最优参数μ1=1.0、μ2=1.0、β=107、λ1=0.1、λ2=0.1;
    步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示SI与初始文本稀疏表示ST,使目标函数的优化从不可微的问题转化为无约束二次规划问题,从而加速函数的优化过程,以便快速获得多模态信息最终的稀疏表示:
    步骤5.1、定义循环变量ω;并初始化ω=1;则第ω次图像码本为所述初始图像码本BI;第ω次图像稀疏表示为所述初始图像稀疏表示SI;所述第ω次文本码本为所述初始文本码本BT;所述第ω次文本稀疏表示为所述初始文本稀疏表示ST;
    步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示
    minSωI||XI-BωISωI||F2+μ1tr(SωILI(SωI))+βtr(SωMSω)+λ1Σσ=1m|(sσI)ω|---(7)]]>
    步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示
    minSωT||XT-BωTSωT||F2+μ2tr(SωTLT(SωT))+βtr(SωMSω)+λ2Στ=1n|(sτT)ω|---(8)]]>
    步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)采用拉格朗日对偶方法获得第ω次更新后的图像码本
    minBωI||XI-BωISωI||F2s.t.||(buI)ω||2c,∀u=1,...,r---(9)]]>
    步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)采用拉格朗日对偶方法获得第ω次更新后的文本码本
    minBωI||XI-BωISωI||F2s.t.||(bvI)ω||2c,∀v=1,...,r---(10)]]>
    步骤5.5、将ω+1的值赋给ω,重复步骤5.2-步骤5.5直至式(5)和式(6)获得最小值,从而获得优化后的图像稀疏表示和文本稀疏表示。
    具体实施中,一种对适用于多模态信息的稀疏编码算法的应用,是应用于多模态信息的交叉检索,如以下实施例:
    为了验证本专利中算法的效果,本实施例采用Wikipedia数据集中其测试集的文本图像对进行了文本图像的交叉检索实验。Wikipedia数据集包含10个语义类,分别是艺术,生物,地理,历史,文学,媒体,音乐,皇室,运动,战争,共有2866对数据,分为训练集和测试集。本实施例中分别采用LDA(Latent Dirichlet Allocation),Bag of Word模型表示数据集中的文本和图像信息。根据本实施例的相关描述,对文本图像特征进行稀疏编码得到新的特征表示并进行了两组实验,利用文本检索图像和利用图像检索文本。试验过程中,特征之间的相似性采用归一化相关系数进行度量。
    为了客观的评价本专利提出的方案的性能,采用平均准确率,对两组实验的结果进行了评测,同时为了客观说明本专利算法的有效性,在两组试验中分别加入了利用传统稀疏编码算法进行试验的平均准确率用以对比。具体结果如下图1a和图1b所示,以及表1所示:
    从图1a和图1b中可以看出,相比传统稀疏编码算法,采用图拉普拉斯和最大均值差异约束后的稀疏编码能够适用于多模态信息的编码,增强稀疏编码的鲁棒性,进而提高多模态信息交叉检索的准确率。
    表1交叉模态检索MAP
    方法 文本查询 图像查询 稀疏编码 0.1338 0.1159
    本文方法 0.1674 0.1290
    从表1可以看出,本专利提出的算法,有效提高了交叉模态检索的准确率。

    关 键 词:
    一种 适用于 多模态 信息 稀疏 编码 算法 及其 应用
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种适用于多模态信息的稀疏编码算法及其应用.pdf
    链接地址://www.4mum.com.cn/p-5894751.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03