• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 29
    • 下载费用:30 金币  

    重庆时时彩有嬴的人吗: 一种结合图像局部约束与对象全局约束的图像标记方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201610987762.4

    申请日:

    2016.11.10

    公开号:

    CN106570874A

    公开日:

    2017.04.19

    当前法律状态:

    公开

    有效性:

    审中

    法律详情: 公开
    IPC分类号: G06T7/11(2017.01)I 主分类号: G06T7/11
    申请人: 宁波大学
    发明人: 王浩; 郭立君; 张荣
    地址: 315211 浙江省宁波市江北区风华路818号
    优先权:
    专利代理机构: 宁波奥圣专利代理事务所(普通合伙) 33226 代理人: 周珏
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610987762.4

    授权公告号:

    法律状态公告日:

    2017.04.19

    法律状态类型:

    公开

    摘要

    本发明公开了一种结合图像局部约束与对象全局约束的图像标记方法,其获取每幅原始图像的超像素区域节点图像,且在每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域,并进行标记;然后利用超像素区域节点图像的特征集合以及掩膜图像所对应的区域标签集合来训练条件随机场模型,利用掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合来训练形状玻尔兹曼机模型,且两者通过方格划分技术将条件随机场模型与形状玻尔兹曼机模型有效结合起来,使得图像局部约束与对象整体约束紧密结合,提高了图像标记的准确率;且其能适用于数据集较小且图像的分辨率较低的情况,计算复杂度低。

    权利要求书

    1.一种结合图像局部约束与对象全局约束的图像标记方法,其特征在于包括以下步
    骤:
    ①选取一个图像库,该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜图像,
    将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超像素
    分割方法对图像库中的每幅原始图像进行超像素分割,得到图像库中的每幅原始图像对应
    的超像素区域节点图像,将对应的超像素区域节点图像记为将中的第nm个超
    像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对应的
    超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域,对于在中找
    出与中的每个超像素区域节点相对应的掩膜区域,将在中找出的与相对应的
    掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域中
    属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例,来确定图像库中
    的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,将的区域标签记为
    最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域
    的区域标签,判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区域
    或为背景区域,对于若则将判定为前景区域,若则将判定为
    背景区域;并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签构
    成一个区域标签集合,将中的所有掩膜区域的区域标签构成的区域标签集合记为
    将中的所有掩膜区域标记后得到的图像记为其
    中,M≥200,1≤m≤M,1≤nm≤Nm,Nm表示中的超像素区域节点的总个数,Nm>1;
    ②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节
    点的节点特征,将的节点特征记为然后将图像库中的每
    幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成一个节
    点特征集合,将中的所有超像素区域节点的节点特征构成的节点特征集合记为
    其中,的维数为1×192,表示的颜色直方图特征,
    表示的纹理直方图特征,表示的位置概率直方图特征,和
    的维数为1×64;
    并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节
    点与其相邻的各个超像素区域节点之间的连接边特征,将与其相邻的第个超像素区
    域节点之间的连接边特征记为然后将图像库中
    的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点对应的连接边特征
    构成一个连接边特征集合,将中的所有超像素区域节点对应的连接边特征构成的连接
    边特征集合记为其中,与相邻的超像素
    区域节点是指与有共同边界的超像素区域节点,表示中与相邻
    的超像素区域节点的总个数,的维数为1×3,表示与其相邻的第
    个超像素区域节点的共同边界上的所有像素点的PB值之和,表示的颜色直方
    图和与相邻的第个超像素区域节点的颜色直方图之间的欧氏距离,表示
    的纹理直方图和与相邻的第个超像素区域节点的纹理直方图之间的卡方距离;
    再将图像库中的每幅原始图像对应的超像素区域节点图像所对应的节点特征集合和
    连接边特征集合构成图像库中的每幅原始图像对应的超像素区域节点图像的特征集合,将
    的特征集合记为
    ③将图像库中选取的M'幅原始图像及选取的每幅原始图像对应的掩膜图像构成训练集,
    将训练集中的第m'幅原始图像记为将对应的掩膜图像记为将对应的超像
    素区域节点图像记为将中的所有掩膜区域标记后得到的图像记为并将图像
    库中剩余的M-M'原始图像及剩余的每幅原始图像对应的掩膜图像构成测试集;然后将训练集
    中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的区域
    标签集合,输入到条件随机场模型Ecrf(Ytruth,Xorg)=Enode(Ytruth,Xnode)+Eedge(Ytruth,Xedge)中,通
    过条件随机场模型计算得到训练集中的每幅原始图像对应的超像素区域节点图像的能量,
    将的能量记为接
    着根据热统计力学,确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似然
    概率应满足的条件,的条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素区
    域节点图像的最大条件似然概率的表示式描述为:最后优化
    当训练集中的所有原始图像对应的超像素区域节点图像的
    能量之和最小时即使得最大时输出条件随机场模型的统一权重参
    数α和β,得到训练好的条件随机场模型;其中,0.5M≤M'≤0.9M,1≤m'≤M',Ytruth、Xorg、Xnode
    和Xedge均为条件随机场模型的输入参数,Ytruth表示训练集中的任一幅原始图像对应的掩膜
    图像所对应的区域标签集合,Xorg表示训练集中的任一幅原始图像对应的超像素区域节点
    图像的特征集合,Xnode表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的节点特征集合,Xedge表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的连接边特征集合,Enode(Ytruth,Xnode)表示条件随机场模型的一阶势,Eedge(Ytruth,Xedge)表示
    条件随机场模型的二阶势,表示所对应的区域标签集合,表示的特征集
    合,表示所对应的节点特征集合,表示所对应的连接边特征集合,exp()
    表示以自然基数e为底的指数函数,max{}表示取最大值函数;
    ④获取训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图
    像中的每个方格的虚拟标签,将中的第z个方格的虚拟标签记为
    然后将训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标
    记后得到的图像中的所有方格的虚拟标签构成一个虚拟标签集合,将中的所有方格的
    虚拟标签构成的虚拟标签集合记为接着将训练集中的所有原始
    图像对应的掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合,输入到形
    状玻尔兹曼机模型中;
    之后采用对比散度算法训练形状玻尔兹曼机模型的第一层网络,得到形状玻尔兹曼机模型
    的第一层网络的输出htruth,1及形状玻尔兹曼机模型的第一层网络的参数Wtruth,1、atruth和
    btruth,
    再将形状玻尔兹曼机模型的第一层网络的输出htruth,1作为形状玻
    尔兹曼机模型的第二层网络的输入,同样采用对比散度算法训练形状玻尔兹曼机模型的第
    二层网络,得到形状玻尔兹曼机模型的第二层网络的输出htruth,2及形状玻尔兹曼机模型的
    第二层网络的参数Wtruth,2和ctruth,
    最后采用平均场估计方法对Wtruth,1、atruth、btruth、Wtruth,2和ctruth进行
    微调优化,将微调优化后对应得到的和作为形状玻尔兹
    曼机模型的最终参数,得到训练好的形状玻尔兹曼机模型;其中,1≤z≤Z,Z表示中的
    方格的总个数,符号为向上取整符号,1≤nm'≤Nm',Nm'
    表示中的超像素区域节点的总个数,Nm'>1,表示中的第nm'个掩膜区域的区域标
    签,表示中与中的第nm'个掩膜区域对应的区域中属于中的第z
    个方格的面积占的面积的比例,表
    示与相交的面积,符号“∩”为相交运算符号,表示的面积,表
    示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的
    所有方格的虚拟标签构成的虚拟标签集合,K表示形状玻尔兹曼机模型的第一层隐节点中
    的隐节点的总个数,K>1,表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩
    膜区域标记后得到的图像中的第z个方格的虚拟标签,表示与形状玻尔兹曼机模
    型的第一层隐节点中的第k个隐节点的连接权重,表示形状玻尔兹曼机模型的第一层
    隐节点中的第k个隐节点的值,表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐
    节点的偏置值,表示的偏置值,U表示形状玻尔兹曼机模型的第二层隐节点中的隐
    节点的总个数,U>1,表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点与形
    状玻尔兹曼机模型的第二层隐节点中的第u个隐节点的连接权重,表示形状玻尔兹曼
    机模型的第二层隐节点中的第u个隐节点的值,表示形状玻尔兹曼机模型的第二层隐节
    点中的第u个隐节点的偏置值;
    ⑤将训练好的条件随机场模型中的参数α和β及训练好的形状玻尔兹曼机模型中的参
    数和作为条件随机场与形状玻尔兹曼机联合模型的初始
    化参数;然后将训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的
    掩膜图像所对应的区域标签集合,输入到条件随机场与形状玻尔兹曼机联合模型
    中;接着根据热统计力学,确定
    训练集中的每幅原始图像对应的超像素区域节点图像的条件似然概率应满足的条件,的
    条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素区域节点图像的最大条件似然概率的表示
    式描述为:最后通过平均场估计方法迭代优化
    使得最大时输出条件随机场与形
    状玻尔兹曼机联合模型的最终参数αfinal、βfinal、和得到
    训练好的条件随机场与形状玻尔兹曼机联合模型;
    ⑥将测试集中的所有原始图像对应的超像素区域节点图像的特征集合,输入到训练好
    的条件随机场与形状玻尔兹曼机联合模型中,训练好的条件随机场与形状玻尔兹曼机联合
    模型输出测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签;然后将
    测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,对应作为测试集
    中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标记;再将
    测试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标
    记,作为该超像素区域节点中的每个像素点的标记,得到测试集中的每幅原始图像对应的
    超像素区域节点图像相应的标记图。
    2.根据权利要求1所述的一种结合图像局部约束与对象全局约束的图像标记方法,其
    特征在于所述的步骤①中其中,表示中
    属于前景的像素点的总个数,表示中的像素点的总个数。
    3.根据权利要求1或2所述的一种结合图像局部约束与对象全局约束的图像标记方法,
    其特征在于所述的步骤③中其
    中,1≤nm'≤Nm',Nm'表示中的超像素区域节点的总个数,Nm'>1,表示中的第nm'
    个掩膜区域的区域标签,1≤d≤192,表示中的第nm'个超像素区域节点的节点
    特征中的第d个元素,表示的权重,1≤q≤Q,Q表示中的方格的总
    个数,符号为向上取整符号,表示中的第q个方格中属于
    中的第nm'个超像素区域节点的面积占中的第nm'个超像素区域节点的面
    积的比例,表示中的第q个方
    格与中的第nm'个超像素区域节点相交的面积,符号“∩”为相交运算符号,
    表示中的第nm'个超像素区域节点的面积;
    所述的步骤③中其
    中,1≤jm'≤Jm',Jm'表示中与第nm'个超像素区域节点相邻的超像素区域节点的总个数,
    表示中与第nm'个掩膜区域相邻的第jm'个掩膜区域的区域标签,
    表示中的第nm'个超像素区域节点与其相邻的第jm'个超像素区域节点之间的
    连接边特征中的第e个元素,表示的权重。
    4.根据权利要求3所述的一种结合图像局部约束与对象全局约束的图像标记方法,其
    特征在于中的方格的获取过程为:将分割成多个相同尺寸大小的方格,若分割方格
    到的末端时存在不同尺寸大小的区域,那么将这些区域也分别作为方格,并使中的
    方格的总个数Q等于
    5.根据权利要求1所述的一种结合图像局部约束与对象全局约束的图像标记方法,其
    特征在于所述的步骤③中优化通过置信度传播方法来实现,
    或通过结合了标准化算法LBFGS的平均场估计方法来实现。
    6.根据权利要求1所述的一种结合图像局部约束与对象全局约束的图像标记方法,其
    特征在于所述的步骤④中中的方格的获取过程为:将分割成多个相同尺寸大小的
    方格,若分割方格到的末端时存在不同尺寸大小的区域,那么将这些区域也分别作为
    方格,并使中的方格的总个数Z的值在取值范围内。

    说明书

    一种结合图像局部约束与对象全局约束的图像标记方法

    技术领域

    本发明涉及一种图像标记技术,尤其是涉及一种结合图像局部约束与对象全局约
    束的图像标记方法。

    背景技术

    图像分割与图像标记是计算机视觉中的核心技术,现如今很多计算机视觉中的高
    层应用都依赖于准确的图像分割结果或者图像标记结果,如对象识别、场景分析应用等。由
    于图像存在遮挡、阴影、目标与背景特征相似等问题,因此使得图像分割与图像标记一直是
    计算机视觉中最具有挑战性的任务之一。

    作为多种视觉应用的基础和富有挑战性的任务,图像标记技术在计算机视觉领域
    一直广受关注,如何更好的对图像进行标记,国内外相关机构进行了深入地研究。近年来,
    由于条件随机场(Conditional Random Field,CRF)能够有效的描述图像局部约束关系,因
    此条件随机场常常被用于图像标记任务。如:Xuming He,Richard S.Zemel,M.A.Carreira-
    Perpinan,et al.Multiscale conditional random fields for image labeling[C]//
    Computer Vision and Pattern Recognition,2004(何旭明、理查德·泽梅尔、米格尔·卡
    雷拉,基于多尺度条件随机场的图像标记[C]//计算机视觉与模式识别大会,2004),其提出
    了用条件随机场分割静态图像,通过引入隐随机变量加入更多的上下文知识以便进行图像
    分割。又如:Lei Zhang.A unified probabilistic graphical model and its
    application to image segmentation[C]//Rensselaer Polytechnic Institute,2009
    (张磊,一种统一的概率图模型及其在图像分割中的应用[C]//伦斯勒理工学院,2009),其
    提出了将超像素方法引入条件随机场模型中,通过一种各向异性扩散算法将图像过分割成
    超像素区域,然后将超像素区域作为条件随机场图模型中的节点,通过参数估计获得给定
    测试图像的最优标记。条件随机场有效的描述了图像局部约束关系,而对要标记的对象的
    全局约束关系的描述具有局限性,例如当对象的部分区域边界模糊时,条件随机场仅仅利
    用了图像局部约束关系,很可能将表观特征相似的背景错标记成对象部分,或者反之,因此
    引入对象全局约束关系来补充条件随机场的局限很有必要。对象形状约束信息可以作为对
    象全局约束关系的一种表现形式,最近很多文章都采用了受限的玻尔兹曼机(RBM)或者其
    扩展模型来获取对象形状约束信息。如:Salakhutdinov R,Hinton G.Deep Boltzmann
    Machines[J].Journal of Machine Learning Research,2009,5(2):1967–2006(鲁斯兰·
    萨拉赫丁诺夫、杰弗里·希尔顿,深度玻尔兹曼机[J].机器学习研究杂志,2009,第5期(2):
    1967-2006),其在玻尔兹曼机的基础上提出了深度玻尔兹曼机(DBM),深度玻尔兹曼机是一
    个多层的玻尔兹曼机模型,通过多层的玻尔兹曼机进行特征提取获得目标对象的高层语义
    特征如形状、姿态等。又如:Eslami S M,Heess N,Williams C K,et al.The Shape
    Boltzmann Machine:A Strong Model of Object Shape[C]//IEEE Conference on
    Computer Vision&Pattern Recognition.2012:406-413(阿里·伊斯拉米、黒斯·尼古拉
    斯、查尔斯肯尼·威廉姆斯,形状玻尔兹曼机:一种鲁棒性强的形状建模模型[C],IEEE计算
    机视觉与模式识别会议,2012:406-413),其提出的形状玻尔兹曼机(ShapeBM)在对象形状
    建模上取得了较好效果。用对象形状约束来完成图像标记仅仅利用了对象整体约束信息,
    可能会造成图像的一些局部信息的丢失,不能达到较好的标记效果。

    为了获得较好的图像标记效果,近年来有许多方法也在图像局部约束和对象全局
    约束相结合上做了很多工作。Kae A,Sohn K,Lee H,et al.Augmenting CRFs with
    Boltzmann Machine Shape Priors for Image Labeling[C]//Computer Vision and
    Pattern Recognition,2013(安德烈·凯、索恩、洪拉克·李、埃里克·米勒,条件随机场结
    合玻尔兹曼机形状先验的图像标记[C]//计算机视觉与模式识别大会,2013),其提出通过
    玻尔兹曼机模型学习人脸形状先验特征作为对象全局约束,并借助于条件随机场分割框架
    能够融入其他分割线索的特性,将所学到的形状先验融入到条件随机场分割框架中,获得
    较好的分割与标记效果;该方法要求有比较大的数据集,这样才能使得玻尔兹曼机训练充
    分得到较好的效果,并且该方法要求数据集中的图像的分辨率较高,以适用于人脸图像的
    标记。Chen F,Yu H,Hu R,et al.Deep Learning Shape Priors for Object
    Segmentation[C]//Computer Vision and Pattern Recognition,2013(陈飞、于慧敏、胡
    浩基、曾勋勋,深度学习形状先验的图像分割[C]//计算机视觉与模式识别大会,2013),其
    提出将深度玻尔兹曼机模型学到的对象形状先验结合到一个变分分割模型中,通过求其能
    量函数最小达到分割的效果;该方法将深度学习模型结合到变分分割框架中,造成计算复
    杂度很大。

    基于以上原因,有必要引入一种结合图像局部约束与对象全局约束的图像标记方
    法,要求该图像标记方法能适用于数据集较小且数据集中的图像的分辨率较低的情况,并
    且要求该图像标记方法的计算复杂度适中。

    发明内容

    本发明所要解决的技术问题是提供一种结合图像局部约束与对象全局约束的图
    像标记方法,其通过形状玻尔兹曼机引入对象全局约束来补充条件随机场在对象标记上的
    局限性,使得图像标记结果更加准确,其能适用于数据集较小且数据集中的图像的分辨率
    较低的情况,并且计算复杂度低。

    本发明解决上述技术问题所采用的技术方案为:一种结合图像局部约束与对象全
    局约束的图像标记方法,其特征在于包括以下步骤:

    ①选取一个图像库,该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜
    图像,将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超
    像素分割方法对图像库中的每幅原始图像进行超像素分割,得到图像库中的每幅原始图像
    对应的超像素区域节点图像,将对应的超像素区域节点图像记为将中的第nm
    个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对
    应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域,对于在
    中找出与中的每个超像素区域节点相对应的掩膜区域,将在中找出的与相对
    应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区
    域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例,来确定图像
    库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,将的区域标签记
    为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区
    域的区域标签,判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区
    域或为背景区域,对于若则将判定为前景区域,若则将判定
    为背景区域;并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签
    构成一个区域标签集合,将中的所有掩膜区域的区域标签构成的区域标签集合记为
    将中的所有掩膜区域标记后得到的图像记为其
    中,M≥200,1≤m≤M,1≤nm≤Nm,Nm表示中的超像素区域节点的总个数,Nm>1;

    ②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区
    域节点的节点特征,将的节点特征记为然后将图像库
    中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成
    一个节点特征集合,将中的所有超像素区域节点的节点特征构成的节点特征集合记为
    其中,的维数为1×192,表示的颜色直方图
    特征,表示的纹理直方图特征,表示的位置概率直方图特征,
    和的维数为1×64;

    并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区
    域节点与其相邻的各个超像素区域节点之间的连接边特征,将与其相邻的第个超
    像素区域节点之间的连接边特征记为然后将
    图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点对应的连
    接边特征构成一个连接边特征集合,将中的所有超像素区域节点对应的连接边特征构
    成的连接边特征集合记为其中,与相
    邻的超像素区域节点是指与有共同边界的超像素区域节点,表示
    中与相邻的超像素区域节点的总个数,的维数为1×3,表示
    与其相邻的第个超像素区域节点的共同边界上的所有像素点的PB值之和,表示
    的颜色直方图和与相邻的第个超像素区域节点的颜色直方图之间的欧氏距离,
    表示的纹理直方图和与相邻的第个超像素区域节点的纹理直方图之间
    的卡方距离;

    再将图像库中的每幅原始图像对应的超像素区域节点图像所对应的节点特征集
    合和连接边特征集合构成图像库中的每幅原始图像对应的超像素区域节点图像的特征集
    合,将的特征集合记为

    ③将图像库中选取的M'幅原始图像及选取的每幅原始图像对应的掩膜图像构成训练
    集,将训练集中的第m'幅原始图像记为将对应的掩膜图像记为将对应的
    超像素区域节点图像记为将中的所有掩膜区域标记后得到的图像记为并将
    图像库中剩余的M-M'原始图像及剩余的每幅原始图像对应的掩膜图像构成测试集;然后将训
    练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的
    区域标签集合,输入到条件随机场模型Ecrf(Ytruth,Xorg)=Enode(Ytruth,Xnode)+Eedge(Ytruth,Xedge)
    中,通过条件随机场模型计算得到训练集中的每幅原始图像对应的超像素区域节点图像的能
    量,将的能量记为
    接着根据热统计力学,确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似
    然概率应满足的条件,的条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素区
    域节点图像的最大条件似然概率的表示式描述为:最后优化
    当训练集中的所有原始图像对应的超像素区域节点图像的
    能量之和最小时即使得最大时输出条件随机场模型的统一权重参
    数α和β,得到训练好的条件随机场模型;其中,0.5M≤M'≤0.9M,1≤m'≤M',Ytruth、Xorg、Xnode
    和Xedge均为条件随机场模型的输入参数,Ytruth表示训练集中的任一幅原始图像对应的掩膜
    图像所对应的区域标签集合,Xorg表示训练集中的任一幅原始图像对应的超像素区域节点
    图像的特征集合,Xnode表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的节点特征集合,Xedge表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的连接边特征集合,Enode(Ytruth,Xnode)表示条件随机场模型的一阶势,Eedge(Ytruth,Xedge)表示
    条件随机场模型的二阶势,表示所对应的区域标签集合,表示的特征集
    合,表示所对应的节点特征集合,表示所对应的连接边特征集合,exp()
    表示以自然基数e为底的指数函数,max{}表示取最大值函数;

    ④获取训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到
    的图像中的每个方格的虚拟标签,将中的第z个方格的虚拟标签记为
    然后将训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记
    后得到的图像中的所有方格的虚拟标签构成一个虚拟标签集合,将中的所有方格的虚拟
    标签构成的虚拟标签集合记为接着将训练集中的所有原始图
    像对应的掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合,输入到形状
    玻尔兹曼机模型
    中;之后采用对比散度算法训练形状玻尔兹曼机模型的第一层网络,得到形状玻尔兹曼
    机模型的第一层网络的输出htruth,1及形状玻尔兹曼机模型的第一层网络的参数Wtruth,1、
    atruth和btruth,
    再将形状玻尔兹曼机模型的第一层网络的输出htruth,1作为形状玻
    尔兹曼机模型的第二层网络的输入,同样采用对比散度算法训练形状玻尔兹曼机模型的第
    二层网络,得到形状玻尔兹曼机模型的第二层网络的输出htruth,2及形状玻尔兹曼机模型的
    第二层网络的参数Wtruth,2和ctruth,
    最后采用平均场估计方法对Wtruth,1、atruth、btruth、Wtruth,2和ctruth进行
    微调优化,将微调优化后对应得到的和作为形状玻尔兹曼
    机模型的最终参数,得到训练好的形状玻尔兹曼机模型;其中,1≤z≤Z,Z表示中的方
    格的总个数,符号为向上取整符号,1≤nm'≤Nm',Nm'表
    示中的超像素区域节点的总个数,Nm'>1,表示中的第nm'个掩膜区域的区域标
    签,表示中与中的第nm'个掩膜区域对应的区域中属于中的第z个
    方格的面积占的面积的比例,
    表示与相交的面积,符号“∩”为相交运算符号,表示的面积,
    表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中
    的所有方格的虚拟标签构成的虚拟标签集合,K表示形状玻尔兹曼机模型的第一层隐节点
    中的隐节点的总个数,K>1,表示训练集中的任一幅原始图像对应的掩膜图像中的所有
    掩膜区域标记后得到的图像中的第z个方格的虚拟标签,表示与形状玻尔兹曼机
    模型的第一层隐节点中的第k个隐节点的连接权重,表示形状玻尔兹曼机模型的第一
    层隐节点中的第k个隐节点的值,表示形状玻尔兹曼机模型的第一层隐节点中的第k个
    隐节点的偏置值,表示的偏置值,U表示形状玻尔兹曼机模型的第二层隐节点中的
    隐节点的总个数,U>1,表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点与
    形状玻尔兹曼机模型的第二层隐节点中的第u个隐节点的连接权重,表示形状玻尔兹
    曼机模型的第二层隐节点中的第u个隐节点的值,表示形状玻尔兹曼机模型的第二层隐
    节点中的第u个隐节点的偏置值;

    ⑤将训练好的条件随机场模型中的参数α和β及训练好的形状玻尔兹曼机模型中
    的参数和作为条件随机场与形状玻尔兹曼机联合模型的
    初始化参数;然后将训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对
    应的掩膜图像所对应的区域标签集合,输入到条件随机场与形状玻尔兹曼机联合模型
    中;接着根据热统计力学,确定
    训练集中的每幅原始图像对应的超像素区域节点图像的条件似然概率应满足的条件,的
    条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素区域节点图像的最大条件似然概率的表示
    式描述为:最后通过平均场估计方法迭代优化
    使得最大时输出条件随机场与形
    状玻尔兹曼机联合模型的最终参数αfinal、βfinal、和得到
    训练好的条件随机场与形状玻尔兹曼机联合模型;

    ⑥将测试集中的所有原始图像对应的超像素区域节点图像的特征集合,输入到训
    练好的条件随机场与形状玻尔兹曼机联合模型中,训练好的条件随机场与形状玻尔兹曼机
    联合模型输出测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签;然
    后将测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,对应作为测
    试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标记;
    再将测试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节
    点标记,作为该超像素区域节点中的每个像素点的标记,得到测试集中的每幅原始图像对
    应的超像素区域节点图像相应的标记图。

    所述的步骤①中其中,表示中
    属于前景的像素点的总个数,表示中的像素点的总个数。

    所述的步骤③中其中,1
    ≤nm'≤Nm',Nm'表示中的超像素区域节点的总个数,Nm'>1,表示中的第nm'个掩
    膜区域的区域标签,1≤d≤192,表示中的第nm'个超像素区域节点的节点特征
    中的第d个元素,表示的权重,1≤q≤Q,Q表示中的方格的总个
    数,符号为向上取整符号,表示中的第q个方格中属于
    中的第nm'个超像素区域节点的面积占中的第nm'个超像素区域节点的面积的
    比例,表示中的第q个方格
    与中的第nm'个超像素区域节点相交的面积,符号“∩”为相交运算符号,
    表示中的第nm'个超像素区域节点的面积;

    所述的步骤③中
    其中,1≤jm'≤Jm',Jm'表示中与第nm'个超像素区域节点相邻的超像素区域节点的总个
    数,表示中与第nm'个掩膜区域相邻的第jm'个掩膜区域的区域标签,
    表示中的第nm'个超像素区域节点与其相邻的第jm'个超像素区域节点之间的
    连接边特征中的第e个元素,表示的权重。

    中的方格的获取过程为:将分割成多个相同尺寸大小的方格,若分割方格
    到的末端时存在不同尺寸大小的区域,那么将这些区域也分别作为方格,并使中的
    方格的总个数Q等于

    所述的步骤③中优化通过置信度传播方法来实现,
    或通过结合了标准化算法LBFGS的平均场估计方法来实现。

    所述的步骤④中中的方格的获取过程为:将分割成多个相同尺寸大小的
    方格,若分割方格到的末端时存在不同尺寸大小的区域,那么将这些区域也分别作为
    方格,并使中的方格的总个数Z的值在取值范围内。

    与现有技术相比,本发明的优点在于:

    1)本发明方法有效结合了图像局部约束与对象整体约束,并且结合是基于超像素
    的,其首先对图像库中的每幅原始图像进行超像素分割,得到图像库中的每幅原始图像对
    应的超像素区域节点图像,并且在图像库中的每幅原始图像对应的掩膜图像中找出与对应
    的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域,并对掩膜区域进行标
    记;然后利用超像素区域节点图像的特征集合以及掩膜图像所对应的区域标签集合来训练
    条件随机场模型,利用掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集
    合来训练形状玻尔兹曼机模型,并且两者通过一个方格划分的技术,将条件随机场模型与
    形状玻尔兹曼机模型有效结合起来,使得图像局部约束与对象整体约束紧密结合,有效的
    解决了当对象的部分区域边界模糊时,条件随机场仅仅利用了图像局部约束关系,很可能
    将表观特征相似的背景错标记成对象部分以及仅使用对象形状约束来完成图像标记,仅仅
    利用了对象整体约束信息,可能会造成图像的一些局部信息的丢失,不能达到较好的标记
    效果等问题,提高了图像标记的准确率。

    2)本发明方法与现有的基于条件随机场与受限的玻尔兹曼机结合的方法相比,由
    于形状玻尔兹曼机相较于受限的玻尔兹曼机能适用于图像数据集较小且图像数据集中的
    图像的分辨率较低的情况,使得本发明方法的适用性更广。

    3)本发明方法与现有的将深度玻尔兹曼机模型学到的对象形状先验结合到一个
    变分分割模型的方法相比,本发明方法的计算都是在超像素区域节点上进行的,计算的复
    杂性相对较低。

    附图说明

    图1为本发明方法中所采用的条件随机场与形状玻尔兹曼机联合模型的模型图;

    图2为形状玻尔兹曼机模型的模型图;

    图3a为根据Penn-Fudan Pedestrians数据集构建的测试集中的一幅图像;

    图3b为利用条件随机场模型对图3a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图3c为利用空间条件随机场对图3a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图3d为利用本发明方法对图3a所示的图像对应的超像素区域节点图像中的每个
    像素点进行标记后得到的标记图;

    图3e为图3a所示的图像对应的标准掩膜图像;

    图4a为根据Penn-Fudan Pedestrians数据集构建的测试集中的另一幅图像;

    图4b为利用条件随机场模型对图4a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图4c为利用空间条件随机场对图4a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图4d为利用本发明方法对图4a所示的图像对应的超像素区域节点图像中的每个
    像素点进行标记后得到的标记图;

    图4e为图4a所示的图像对应的标准掩膜图像;

    图5a为根据Caltech-UCSD Birds 200数据集构建的测试集中的一幅图像;

    图5b为利用条件随机场模型对图5a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图5c为利用空间条件随机场对图5a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图5d为利用本发明方法对图5a所示的图像对应的超像素区域节点图像中的每个
    像素点进行标记后得到的标记图;

    图5e为图5a所示的图像对应的标准掩膜图像;

    图6a为根据Caltech-UCSD Birds 200数据集构建的测试集中的另一幅图像;

    图6b为利用条件随机场模型对图6a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图6c为利用空间条件随机场对图6a所示的图像对应的超像素区域节点图像中的
    每个像素点进行标记后得到的标记图;

    图6d为利用本发明方法对图6a所示的图像对应的超像素区域节点图像中的每个
    像素点进行标记后得到的标记图;

    图6e为图6a所示的图像对应的标准掩膜图像;

    图7为本发明方法的流程框图。

    具体实施方式

    以下结合附图实施例对本发明作进一步详细描述。

    本发明提出的一种结合图像局部约束与对象全局约束的图像标记方法,其流程框
    图如图7所示,其包括以下步骤:

    ①选取一个图像库,该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜
    图像,将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超
    像素分割方法对图像库中的每幅原始图像进行超像素分割,得到图像库中的每幅原始图像
    对应的超像素区域节点图像,将对应的超像素区域节点图像记为将中的第nm
    个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对
    应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域,对于在
    中找出与中的每个超像素区域节点相对应的掩膜区域,将在中找出的与相对
    应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区
    域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例,来确定图像
    库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,将的区域标签记
    为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区
    域的区域标签,判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区
    域或为背景区域,对于若则将判定为前景区域,若则将判定
    为背景区域;并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签
    构成一个区域标签集合,将中的所有掩膜区域的区域标签构成的区域标签集合记为
    将中的所有掩膜区域标记后得到的图像记为
    其中,M≥200,在本实施例中对于Penn-Fudan Pedestrians数据集取M=846,对于Caltech-
    UCSD Birds 200数据集取M=6033,1≤m≤M,1≤nm≤Nm,Nm表示中的超像素区域节点的
    总个数,Nm>1,在具体实施时一般可将一幅图像分割成50个以上的超像素区域节点。



    表示中属于前景的像素点的总个数,表示中的像素点的总个数。

    ②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区
    域节点的节点特征,将的节点特征记为然后将图像库
    中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成
    一个节点特征集合,将中的所有超像素区域节点的节点特征构成的节点特征集合记为
    其中,的维数为1×192,表示的颜色直方图
    特征,表示的纹理直方图特征,表示的位置概率直方图特征,
    和的维数为1×64;在此,通过现有的颜色直方图提取方法获??;通过现有的纹
    理直方图提取方法获??;通过采用Kae A,Sohn K,Lee H,et al.Augmenting CRFs
    with Boltzmann Machine Shape Priors for Image Labeling[C]//Computer Vision
    and Pattern Recognition,2013(安德烈·凯、索恩、洪拉克·李、埃里克·米勒,条件随机
    场结合玻尔兹曼机形状先验的图像标记[C]//计算机视觉与模式识别大会,2013)中提出的
    Normalized histogram of the proportion of a superpixel that falls within each
    of the 8*8 grid elements on the image(超像素落在图像8×8网格中每个网格的比例
    的归一化直方图)技术来获取。

    并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区
    域节点与其相邻的各个超像素区域节点之间的连接边特征,将与其相邻的第个超像
    素区域节点之间的连接边特征记为用
    来衡量与其相邻的第个超像素区域节点之间的相似度;然后将图像库中的每幅原始
    图像对应的超像素区域节点图像中的所有超像素区域节点对应的连接边特征构成一个连
    接边特征集合,将中的所有超像素区域节点对应的连接边特征构成的连接边特征集合
    记为其中,与相邻的超像素区域节点
    是指与有共同边界的超像素区域节点,表示中与相邻的超像
    素区域节点的总个数,的维数为1×3,表示与其相邻的第个
    超像素区域节点的共同边界上的所有像素点的PB值(posterior probability of a
    boundary,边界的后验概率)之和,表示的颜色直方图和与相邻的第个超
    像素区域节点的颜色直方图之间的欧氏距离,表示的纹理直方图和与相邻
    的第个超像素区域节点的纹理直方图之间的卡方距离;在此,采用Martin D R,
    Fowlkes C C,Malik J,et al.Learning to Detect Natural Image Boundaries Using
    Brightness and Texture[C].Neural Information Processing Systems,2003(戴维·马
    丁、查尔斯·福尔克斯、吉腾德拉·马利克,利用亮度和纹理学习自然图像边界检测[C].神
    经信息处理系统,2003)中提出的方法来获取。

    再将图像库中的每幅原始图像对应的超像素区域节点图像所对应的节点特征集
    合和连接边特征集合构成图像库中的每幅原始图像对应的超像素区域节点图像的特征集
    合,将的特征集合记为

    ③将图像库中随机选取的M'幅原始图像及选取的每幅原始图像对应的掩膜图像构
    成训练集,将训练集中的第m'幅原始图像记为将对应的掩膜图像记为将对
    应的超像素区域节点图像记为将中的所有掩膜区域标记后得到的图像记为并
    将图像库中剩余的M-M'原始图像及剩余的每幅原始图像对应的掩膜图像构成测试集;然后将
    训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的
    区域标签集合,输入到条件随机场模型Ecrf(Ytruth,Xorg)=Enode(Ytruth,Xnode)+Eedge(Ytruth,Xedge)中,
    通过条件随机场模型计算得到训练集中的每幅原始图像对应的超像素区域节点图像的能量,
    将的能量记为
    接着根据热统计力学,确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似
    然概率应满足的条件,的条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素区
    域节点图像的最大条件似然概率的表示式描述为:最后优化
    当训练集中的所有原始图像对应的超像素区域节点图像的
    能量之和最小时即使得最大时输出条件随机场模型的统一权重参
    数α和β,得到训练好的条件随机场模型;其中,0.5M≤M'≤0.9M,1≤m'≤M',Ytruth、Xorg、Xnode
    和Xedge均为条件随机场模型的输入参数,Ytruth表示训练集中的任一幅原始图像对应的掩膜
    图像所对应的区域标签集合,Xorg表示训练集中的任一幅原始图像对应的超像素区域节点
    图像的特征集合,Xnode表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的节点特征集合,Xedge表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应
    的连接边特征集合,Enode(Ytruth,Xnode)表示条件随机场模型的一阶势,其用来表述训练集中
    的任一幅原始图像对应的超像素区域节点图像中的超像素区域节点属于前景或属于背景
    的似然,Eedge(Ytruth,Xedge)表示条件随机场模型的二阶势,其主要决定了训练集中的任一幅
    原始图像对应的超像素区域节点图像中相邻的两个超像素区域节点之间如何相互作用的,
    体现了对象局部约束,表示所对应的区域标签集合,表示的特征集合,
    表示所对应的节点特征集合,表示所对应的连接边特征集合,exp()表示
    以自然基数e为底的指数函数,max{}表示取最大值函数。

    在此具体实施例中,步骤③中
    其中,1≤nm'≤Nm',Nm'表示中的超像素区域节点的总个数,Nm'>1,表示中的第
    nm'个掩膜区域的区域标签,1≤d≤192,表示中的第nm'个超像素区域节点的节
    点特征中的第d个元素,表示的权重,1≤q≤Q,Q表示中的方格的
    总个数,符号为向上取整符号,表示中的第q个方格中属于
    中的第nm'个超像素区域节点的面积占中的第nm'个超像素区域节点的面
    积的比例,表示中的第q个方
    格与中的第nm'个超像素区域节点相交的面积,符号“∩”为相交运算符号,
    表示中的第nm'个超像素区域节点的面积。在此,中的方格的获取过
    程为:将分割成多个相同尺寸大小的方格,若分割方格到的末端时存在不同尺寸大
    小的区域,那么将这些区域也分别作为方格,并使中的方格的总个数Q等于在
    本实施例中,所选的Penn-Fudan Pedestrians数据集中的每幅原始图像对应的超像素区域
    节点图像中的方格的总个数为529,所选的Caltech-UCSD Birds 200数据集中的每幅原始
    图像对应的超像素区域节点图像中的方格的总个数为441。

    在此具体实施例中,步骤③中
    其中,1≤jm'≤Jm',Jm'表示中与第nm'个超像素区域节点相邻的超像素区域节点的总个
    数,表示中与第nm'个掩膜区域相邻的第jm'个掩膜区域的区域标签,
    表示中的第nm'个超像素区域节点与其相邻的第jm'个超像素区域节点之间的
    连接边特征中的第e个元素,表示的权重。

    在此具体实施例中,步骤③中优化通过现有的置信
    度传播方法(loopy belief propagation)来实现,或通过结合了标准化算法LBFGS的平均
    场估计(mean-field approximation)方法来实现。

    ④由于训练集中的每幅原始图像对应的超像素区域节点图像中的超像素区域节
    点的总个数不固定,而形状玻尔兹曼机模型要求输入层的可见层节点数量是固定的,如果
    将训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签作为形状玻尔
    兹曼机模型的输入,则会造成与形状玻尔兹曼机模型的输入节点不对应,因此本发明采用
    方格的虚拟标签来替代掩膜区域的区域标签作为形状玻尔兹曼机模型的输入?;袢⊙盗芳?br />中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的每个方格的
    虚拟标签,将中的第z个方格的虚拟标签记为然后将训
    练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的所有方
    格的虚拟标签构成一个虚拟标签集合,将中的所有方格的虚拟标签构成的虚拟标签集
    合记为接着将训练集中的所有原始图像对应的掩膜图像中
    的所有掩膜区域标记后得到的图像所对应的虚拟标签集合,输入到形状玻尔兹曼机模型
    中,图2给出
    了形状玻尔兹曼机模型的模型图;之后采用现有的对比散度算法训练形状玻尔兹曼机模型
    的第一层网络,得到形状玻尔兹曼机模型的第一层网络的输出htruth,1及形状玻尔兹曼机模
    型的第一层网络的参数Wtruth,1、atruth和btruth,
    再将
    形状玻尔兹曼机模型的第一层网络的输出htruth,1作为形状玻尔兹曼机模型的第二层网络
    的输入,同样采用现有的对比散度算法训练形状玻尔兹曼机模型的第二层网络,得到形状
    玻尔兹曼机模型的第二层网络的输出htruth,2及形状玻尔兹曼机模型的第二层网络的参数
    Wtruth,2和ctruth,
    最后采用现有的平均场估计方法对Wtruth,1、atruth、btruth、Wtruth,2和
    ctruth进行微调优化,将微调优化后对应得到的和作为形
    状玻尔兹曼机模型的最终参数,得到训练好的形状玻尔兹曼机模型;其中,1≤z≤Z,Z表示
    中的方格的总个数,在本实施例中,Penn-Fudan
    Pedestrians数据集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图
    像中的方格的总个数Z=900,Caltech-UCSD Birds 200数据集中的每幅原始图像对应的掩
    膜图像中的所有掩膜区域标记后得到的图像中的方格的总个数Z=1024,符号为向上
    取整符号,1≤nm'≤Nm',Nm'表示中的超像素区域节点的总个数,Nm'>1,在具体实施时一般
    可将一幅图像分割成50个以上的超像素区域节点,表示中的第nm'个掩膜区域的区域
    标签,表示中与中的第nm'个掩膜区域对应的区域中属于中的第z
    个方格的面积占的面积的比例,
    表示与相交的面积,符号“∩”为相交运算符号,表示的面积,
    表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中
    的所有方格的虚拟标签构成的虚拟标签集合,K表示形状玻尔兹曼机模型的第一层隐节点
    中的隐节点的总个数,K>1,在本实施例中,Penn-Fudan Pedestrians数据集中第一层隐节
    点中的隐节点的总个数K=500,Caltech-UCSD Birds 200数据集中第一层隐节点中的隐节
    点的总个数K=400,表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区
    域标记后得到的图像中的第z个方格的虚拟标签,表示与形状玻尔兹曼机模型的
    第一层隐节点中的第k个隐节点的连接权重,表示形状玻尔兹曼机模型的第一层隐节
    点中的第k个隐节点的值,表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点
    的偏置值,表示的偏置值,U表示形状玻尔兹曼机模型的第二层隐节点中的隐节点
    的总个数,U>1,在本实施例中,Penn-Fudan Pedestrians数据集中第二层隐节点中的隐节
    点的总个数U=200,Caltech-UCSD Birds 200数据集中第二层隐节点中的隐节点的总个数
    U=100,表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点与形状玻尔兹曼
    机模型的第二层隐节点中的第u个隐节点的连接权重,表示形状玻尔兹曼机模型的第
    二层隐节点中的第u个隐节点的值,表示形状玻尔兹曼机模型的第二层隐节点中的第u
    个隐节点的偏置值。

    在此具体实施例中,步骤④中中的方格的获取过程为:将分割成多个相
    同尺寸大小的方格,若分割方格到的末端时存在不同尺寸大小的区域,那么将这些区
    域也分别作为方格,并使中的方格的总个数Z的值在取值范围
    内。

    ⑤将训练好的条件随机场模型中的参数α和β及训练好的形状玻尔兹曼机模型中
    的参数和作为条件随机场与形状玻尔兹曼机联合模型
    (联合模型图如图1所示)的初始化参数;然后将训练集中的所有原始图像对应的超像素区
    域节点图像的特征集合及对应的掩膜图像所对应的区域标签集合,输入到条件随机场与形
    状玻尔兹曼机联合模型中;
    接着根据热统计力学,确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似
    然概率应满足的条件,的条件似然概率应满足的条件为:
    之后将训练集中的所有原始图像对应的超像素
    区域节点图像的最大条件似然概率的表示式描述为:最后
    通过现有的平均场估计方法迭代优化使得
    最大时输出条件随机场与形状玻尔兹曼机联合模型的最终参数
    αfinal、βfinal、和得到训练好的条件随机场与形状玻尔兹
    曼机联合模型。

    ⑥将测试集中的所有原始图像对应的超像素区域节点图像的特征集合,输入到训
    练好的条件随机场与形状玻尔兹曼机联合模型中,训练好的条件随机场与形状玻尔兹曼机
    联合模型输出测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签;然
    后将测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签,对应作为测
    试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标记,
    对于测试集中的第m”幅原始图像,将该原始图像对应的掩膜图像中的第nm”个掩膜区域的区
    域标签作为该原始图像对应的超像素区域节点图像中的第nm”个超像素区域节点的节点标
    记,其中,1≤m”≤M-M',1≤nm”≤Nm”,Nm”表示测试集中的第m”幅原始图像对应的超像素区域
    节点图像中的超像素区域节点的总个数;再将测试集中的每幅原始图像对应的超像素区域
    节点图像中的每个超像素区域节点的节点标记,作为该超像素区域节点中的每个像素点的
    标记,即若测试集中的第m”幅原始图像对应的超像素区域节点图像中的第nm”个超像素区域
    节点的节点标记为1,则将第nm”个超像素区域节点中的每个像素点的标记都确定为1,得到
    测试集中的每幅原始图像对应的超像素区域节点图像相应的标记图。

    为了进一步验证本发明方法的可行性与有效性,对本发明方法进行实验。

    本发明方法对Penn-Fudan Pedestrians数据集和Caltech-UCSD Birds 200数据
    集中的每幅原始图像对应的超像素区域节点图像中的每个像素点进行标记,来验证标记效
    果。Penn-Fudan Pedestrians数据集共有170幅原始图像,每幅原始图像中包含有至少一个
    行人,利用行人检测框标记信息提取出Penn-Fudan Pedestrians数据集中的每幅原始图像
    中的行人的检测框部分的图像,得到423幅单个行人图像,并将这些单个行人图像的尺寸大
    小统一为128×256像素,对从Penn-Fudan Pedestrians数据集中提取的423幅单个行人图
    像进行镜像对称复制形成846幅单个行人图像的数据集,其中500幅图像及每幅图像对应的
    掩膜图像构成训练集,346幅图像及每幅图像对应的掩膜图像构成测试集。Caltech-UCSD
    Birds 200数据集中包含有200类鸟类的6033幅原始图像,原始图像拥有粗糙的分割掩膜,
    因为其掩膜精确度不够,所以采用YANG J,SAFAR S,YANG M H.Max-Margin Boltzmann
    machines for object segmentation[C]//IEEE Conference on Computer Vision and
    Pattern Recognition(杨集美、西蒙·萨法、杨明轩,用于对象分割的最大间隔玻尔兹曼机
    [C]//IEEE计算机视觉与模式识别会议)手动标记出该数据集中的每幅原始图像的准确掩
    膜。利用检测框标记信息提取出Caltech-UCSD Birds 200数据集中的每幅原始图像中的检
    测框部分的图像,并将提取出的图像的尺寸大小统一为128×128像素,其中3033幅提取出
    的图像及各自对应的掩膜图像构成训练集,3000幅提取出的图像及各自对应的掩膜图像构
    成测试集。

    采用标准的条件随机场模型、标准的空间条件随机场(SCRF)、标准的形状玻尔兹
    曼机模型以及本发明方法分别对上述测试集中的每幅图像对应的超像素区域节点图像中
    的每个像素点进行标记。上述各方法在CPU为Intel Xeon E5-2650 2.60GHz,内存为128GB
    的计算机上进行实验。标记准确率的衡量标准如下:其
    中,avg_truth表示测试集中的所有图像对应的超像素区域节点图像中标记准确的超像素
    区域节点的总个数与测试集中的所有图像对应的超像素区域节点图像中的超像素区域节
    点的总个数的比例,M”表示测试集中的图像的总幅数,M”=M-M',Ym”表示测试集中的第m”幅
    图像对应的超像素区域节点图像中的超像素区域节点的节点标记结果,OR为异或操作,GTm”
    表示测试集中的第m”幅图像对应的超像素区域节点图像中的超像素区域节点的理论标记
    值,理论标记值的计算方式为本发明方法的步骤①中给出的确定图像库中的每幅原始图像
    对应的掩膜图像中的每个掩膜区域的区域标签的方式,即根据测试集中的每幅图像对应的
    掩膜图像中的每个掩膜区域中属于前景的像素点的总个数与整个掩膜区域中的像素点的
    总个数的比例来确定测试集中的每幅图像对应的掩膜图像中的每个掩膜区域的区域标签,
    再映射到对应的超像素区域节点图像中的超像素区域节点,作为对应的超像素区域节点图
    像中的超像素区域节点的理论标记值,超像素区域节点图像中的每个超像素区域节点的理
    论标记值作为该超像素区域节点中的每个像素点的理论标记值。

    针对Penn-Fudan Pedestrians数据集,经过多次实验证明,本发明方法设置参数Z
    =900、Q=529、K=500、U=200时具有较优的效果。通过10次交叉实验,每次实验的训练集
    中的500幅图像和测试集中的346幅图像都不完全相同,通过
    得到每次实验的标记准确率并通过平均得到本发明方法
    的最终实验准确率87.90%。在相同实验情况下,相对于标准的条件随机场模型、标准的空
    间条件随机场(SCRF)、标准的形状玻尔兹曼机模型得到的标记图的标记准确率上都有提
    高,具体对比结果见表1所列。表1中的误识降低率表示空间条件随机场(SCRF)、形状玻尔兹
    曼机模型和本发明方法相较于标准的条件随机场模型的错误率减少的程度。图3a给出了根
    据Penn-Fudan Pedestrians数据集构建的测试集中的一幅图像,图3b给出了利用条件随机
    场模型对图3a所示的图像对应的超像素区域节点图像中的每个像素点进行标记后得到的
    标记图,图3c给出了利用空间条件随机场对图3a所示的图像对应的超像素区域节点图像中
    的每个像素点进行标记后得到的标记图,图3d给出了利用本发明方法对图3a所示的图像对
    应的超像素区域节点图像中的每个像素点进行标记后得到的标记图,图3e给出了图3a所示
    的图像对应的标准掩膜图像;图4a给出了根据Penn-Fudan Pedestrians数据集构建的测试
    集中的另一幅图像,图4b给出了利用条件随机场模型对图4a所示的图像对应的超像素区域
    节点图像中的每个像素点进行标记后得到的标记图,图4c给出了利用空间条件随机场对图
    4a所示的图像对应的超像素区域节点图像中的每个像素点进行标记后得到的标记图,图4d
    给出了利用本发明方法对图4a所示的图像对应的超像素区域节点图像中的每个像素点进
    行标记后得到的标记图,图4e为图4a所示的图像对应的标准掩膜图像。由于本发明方法结
    合了对象的整体形状先验,因此相对于未增加对象的整体形状先验的条件随机场模型和空
    间条件随机场,本发明方法能够调整明显违背对象形状信息的错误标记,从图3a至图3e以
    及图4a至图4e中可以明显看出,在Penn-Fudan Pedestrians数据集上本发明方法的标记效
    果与标准掩膜图像图3e,4e最为接近,即本发明方法的标记效果要比条件随机场模型和空
    间条件随机场的标记效果好。

    表1 标准的条件随机场模型、空间条件随机场(SCRF)、形状玻尔兹曼机模型以及
    本发明方法在Penn-Fudan Pedestrians数据集上的标记准确率对比



    针对Caltech-UCSD Birds 200数据集,经过多次实验证明,本发明方法设置参数Z
    =1024、Q=529、K=400、U=100时具有较优的效果。通过10次交叉实验,每次实验的训练集
    中的3033幅图像和测试集中的3000幅图像都不完全相同,通过
    得到每次实验的标记准确率并通过平均得到本发明方法
    的最终实验准确率83.34%。在相同实验情况下,相对于标准的条件随机场模型、空间条件
    随机场(SCRF)、形状玻尔兹曼机模型得到的标记图的标记准确率上都有提高,具体对比结
    果见表2所列。表2中的误识降低率表示空间条件随机场(SCRF)、形状玻尔兹曼机模型和本
    发明方法相较于标准的条件随机场模型的错误率减少的程度。图5a给出了根据Caltech-
    UCSD Birds 200数据集构建的测试集中的一幅图像,图5b给出了利用条件随机场模型对图
    5a所示的图像对应的超像素区域节点图像中的每个像素点进行标记后得到的标记图,图5c
    给出了利用空间条件随机场对图5a所示的图像对应的超像素区域节点图像中的每个像素
    点进行标记后得到的标记图,图5d给出了利用本发明方法对图5a所示的图像对应的超像素
    区域节点图像中的每个像素点进行标记后得到的标记图,图5e给出了图5a所示的图像对应
    的标准掩膜图像;图6a给出了根据Caltech-UCSD Birds 200数据集构建的测试集中的另一
    幅图像,图6b给出了利用条件随机场模型对图6a所示的图像对应的超像素区域节点图像中
    的每个像素点进行标记后得到的标记图,图6c给出了利用空间条件随机场对图6a所示的图
    像对应的超像素区域节点图像中的每个像素点进行标记后得到的标记图,图6d给出了利用
    本发明方法对图6a所示的图像对应的超像素区域节点图像中的每个像素点进行标记后得
    到的标记图,图6e给出了图6a所示的图像对应的标准掩膜图像。由于本发明方法结合了对
    象的整体形状先验,因此相对于未增加对象的整体形状先验的条件随机场模型和空间条件
    随机场,本发明方法能够调整明显违背对象形状信息的错误标记,从图5a至图5e以及图6a
    至图6e中可以明显看出,在Caltech-UCSD Birds 200数据集上本发明方法的标记效果与标
    准掩膜图像图5e,6e最为接近,即本发明方法的标记效果要比条件随机场模型和空间条件
    随机场的标记效果好。

    表2 标准的条件随机场模型、空间条件随机场(SCRF)、形状玻尔兹曼机模型以及
    本发明方法在Caltech-UCSD Birds 200数据集上的标记准确率对比


    对本发明方法的计算复杂度进行分析。条件随机场模型使用置信度传播(loopy
    belief propagation)算法预测一幅原始图像对应的超像素区域节点图像中的所有像素点
    标记的时间复杂度是O(ELC),E为条件随机场图模型中边的总数量,边数与超像素区域节点
    的个数N'直接关联,使用Ncut算法估算E为4×N',L为标签的数量,C为超像素区域节点的平
    均大小,即width表示原始图像的宽度,height表示原始图像的高度,
    width×height表示每幅原始图像大小,由此可得条件随机场预测一幅图像的时间复杂度
    为对于形状玻尔兹曼机模型的时间复杂度分为正向学习阶段时间复杂度
    和反向学习阶段时间复杂度,正向学习阶段时间复杂度为O(Z×K×U×t),反向学习阶段时
    间复杂度为O(Z×K×U×CD1×CD2),所以形状玻尔兹曼机模型的时间复杂度为O(Z×K×U×
    (CD1+CD2+t)),其中,Z表示每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的
    图像中的方格的总个数即形状玻尔兹曼机模型的虚拟输入节点个数,K表示第一层隐节点
    中隐节点的总个数,U表示第二层隐节点中的隐节点的总个数,CD1和CD2表示对比散度算法
    的迭代次数,t表示形状玻尔兹曼机模型的迭代次数。因为条件随机场与形状玻尔兹曼机联
    合模型的能量函数是条件随机场与形状玻尔兹曼机的能量函数的叠加,即条件随机场与形
    状玻尔兹曼机的能量函数为线性关系,所以条件随机场与形状玻尔兹曼机联合模型的整体
    时间复杂度为即条件随机场与形状玻尔兹曼机联合模型在标记准确率提
    高的情况下,整体时间复杂度并没有提高。

    关 键 词:
    一种 结合 图像 局部 约束 对象 全局 标记 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种结合图像局部约束与对象全局约束的图像标记方法.pdf
    链接地址://www.4mum.com.cn/p-6092980.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03