• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 12
    • 下载费用:30 金币  

    重庆时时彩新走势图: 一种基于HRLLE权值约束的人脸图像超分辨率复原方法.pdf

    关 键 词:
    一种 基于 HRLLE 约束 图像 分辨率 复原 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410099532.5

    申请日:

    2014.03.17

    公开号:

    CN103971332A

    公开日:

    2014.08.06

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 5/00申请日:20140317|||公开
    IPC分类号: G06T5/00 主分类号: G06T5/00
    申请人: 北京工业大学
    发明人: 李晓光; 魏振利; 卓力
    地址: 100124 北京市朝阳区平乐园100号
    优先权:
    专利代理机构: 北京思海天达知识产权代理有限公司 11203 代理人: 刘萍
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410099532.5

    授权公告号:

    ||||||

    法律状态公告日:

    2016.10.05|||2014.09.03|||2014.08.06

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明属于数字图像处理领域,特别涉及一种基于HR‐LLE权值约束的人脸图像超分辨率复原方法。首先求出大量HR人脸样本和残差HR人脸相对于其近邻样本的平均重建权值约束;在重建过程中,分别利用全局和局部平均重建权值约束对传统的基于LLE的人脸超分辨率重建权值求解方法进行权值约束。重建算法分为全局重建和局部细节补偿两个部分。这里全局重建的目的是复原标准人脸应具备的基本特征;局部细节补偿的目的是重建人脸图像应该具有区分其他人脸的个性特征。该方法在估计目标HR图像的基于LLE的重建权值时,加入了HR-LLE权值约束,使权值在l2范数上更接近真实的HR图像重建权值。该方法可以取得较好的图像复原结果。

    权利要求书

    权利要求书
    1.  一种基于HR-LLE权值约束的人脸图像超分辨率复原方法,其特征在于包括如下步骤:
    (一)全局HR-LLE权值约束重建
    (1)全局平均重建权值约束
    首先,需要建立两个人脸图像样本库,即成对的HR人脸图像样本库和相应的LR人脸图像样本库;
    利用基于LLE的权值求解方法计算出每个LR人脸样本相对于其K1最近邻样本的重建权值,如公式(1)所示;

    其中为其中一个LR人脸样本图像,是其K1个最近邻样本且是其相对于K1个最近邻样本的重建权值;K1=800;
    利用基于LLE的权值求解方法计算出相应的HR人脸样本的重建权值,如公式(2)所示;

    其中是与相对应的HR人脸样本图像,是与对应的K1个最近邻HR样本,是其相对于K1个最近邻HR样本的重建权值;
    解最优化问题(1)和(2)得出LR样本和相应HR样本的重建权值,Wg=0.85;
    (2)全局重建
    输入一幅LR人脸图像x,大小为35×40个像素;利用欧氏距离从LR人脸样本库中找出x的K1个最近邻人脸样本利用公式(3)得出x相对于的重建权值WG=[wG1,wG2,wG3,...,wGK1];]]>再利用公式(4)重建全局初步放大人脸图像yG;
    minϵ=||x-Σj=1K1wGjl→Gj||2+α|||WG||2-Wg|Σj=1K1wGj=1;wGj=0,if(l→Gj∉[l→G1,l→G2,l→G3l→G4......l→GK1])---(3)]]>
    yG=Σj=1K1wGjh→Gj---(4)]]>
    其中是在HR人脸样本库中相对应的HR人脸样本;在(3)中,利用全局平均重建权值l2范数约束Wg对重建权值WG进行约束,这样解最优化问题(3)后得出的重建权值就相对接近目标HR人脸图像的真实权值;ɑ=0.01;
    (二)局部HR-LLE权值约束细节补偿
    (1)局部平均重建权值约束
    首先建立HR残差人脸样本和相应的LR残差人脸样本库;由样本中的LR图像利用全局HR-LLE权值约束算法生成一组初始放大HR图像样本,计算样本库中HR图像与这些初始放大HR样本之间的残差,得到一组HR残差样本库,然后对初始放大的HR人脸样本图像进行下采样,计算下采样后的子图像与LR人脸样本图像之间的残差,得到LR残差人脸样本图像;
    由于局部细节补偿时是分块进行的,所以在求取局部平均重建权值约束的时候也采用分块的方法;将HR残差人脸图像分成8×8的像素块,相应的LR残差人脸图像分成2×2的像素块;与全局平均重建权值约束的求解方法相似,Wl=0.8;
    (2)局部细节补偿生成最终放大人脸
    将全局初始放大人脸yG进行4倍下采样,然后将下采样人脸与输入LR人脸x做差,得到输入LR残差人脸diffLR;对LR残差人脸diffLR进行分块处理,块大小为2×2个像素;从LR残差人脸样本库中依次找到每个残差图像块的 K2个最近邻残差块K2=600;利用公式(5)得出LR残差图像块相对于的重建权值WL=[wL1,wL2,wL3,...,wLK2];]]>再利用公式(6)重建HR残差图像块
    minϵ=||LRLi-Σj=1K2wLjl→Lj||2+α|||WL||2-Wl|Σj=1K2wLj=1;wLj=0,if(l→Lj∉[l→L1,l→L2,l→L3......l→LK2])---(5)]]>
    HRLi=Σj=1K2wLjh→Lj---(6)]]>
    其中是在HR残差人脸样本图像块库中相对应的HR残差人脸图像块;在(5)中,利用局部平均重建权值约束Wl对重建权值WL进行约束,这样解最优化问题(5)后得出的重建权值就相对接近于目标HR残差人脸图像块的真实重建权值;
    依次重建HR残差图像块,最终重建出整幅HR残差图像diffHR;将HR残差人脸图像diffHR和初始放大人脸图像yG相加,得到最终输出放大人脸图像y。

    说明书

    说明书一种基于HR-LLE权值约束的人脸图像超分辨率复原方法
    技术领域
    本发明属于数字图像处理领域,特别涉及一种基于HR-LLE权值约束的人脸图像超分辨率复原方法。
    背景技术
    近年来,人脸检测和识别等技术在视频监控、移动终端和网络检索等多媒体应用中发挥着越来越重要的作用。人脸图像的质量对这些多媒体应用的性能具有很大的影响。然而,由于受到图像采集设备和采集环境的影响,特别是在无法控制的自然环境下,获取到的人脸图像通常质量较差,难以直接应用于后续的检测和识别。人脸图像采集后采用超分辨率复原(SuperResolution,SR)技术提高人脸图像质量显得尤为重要。
    现有的人脸超分辨率复原技术可以分为两类:基于重建的方法和基于学习的方法。近年来,基于学习的方法成为研究的热点。其主要思想是通过学习方法建立低分辨率和高分辨率图像之间的映射关系,由机器学习获取的先验信息取代基于重建方法中的人为定义的约束条件。随着流形学习理论的发展,研究者提出了一系列基于流形假设的人脸图像超分辨率复原算法。局部线性嵌入(Locally Linear Embedding,LLE)是流形学习中具有代表性的一种非线性降维方法,近年来被很多研究者用来进行图像的超分辨率复原,取得了一定的成绩?;贚LE的人脸超分辨率复原算法都是建立在流形假设的基础上,即高分辨率(High Resolution,HR)图像(或图像块)和相应的低分辨率(Low Resolution,LR)图像(或图像块)具有相似的局部几何结构。具体在LLE中,则表现为LR和HR空间中对应的像素点或图像块通过其周围像素点或块进行线性表示时,权值矢量相等。这种假设应用于图像超分辨率复原中,首先建立大量成对的LR-HR学习样本库;然后对于待重建的LR图像,利用样本库中的LR样本进行线性表示,获得LR权值系数。重建过程采用LR权值系数直接代替HR权值系数,与样本库中对应的HR图像线性组合来预测HR图像。然而,由于LR到HR空间的映射是一对多的 映射关系,因此这种映射存在非等距性。直接用LR空间的权值取代HR空间权值将引入误差。
    发明内容
    本发明的目的在于,通过一种基于HR-LLE权值约束的人脸图像超分辨率复原方法,将低分辨率图像重建为分辨率较高的图像。这里的高分辨率是指空间分辨率放大4倍或4倍以上。本发明主要针对的是人脸图像。
    本发明是采用以下技术手段实现的:
    首先求出大量HR人脸样本和残差HR人脸相对于其近邻样本的平均重建权值约束;在重建过程中,分别利用全局和局部平均重建权值约束对传统的基于LLE的人脸超分辨率重建权值求解方法进行权值约束。整体流程图如附图1所示。重建算法分为全局重建和局部细节补偿两个部分。这里全局重建的目的是复原标准人脸应具备的基本特征;局部细节补偿的目的是重建人脸图像应该具有区分其他人脸的个性特征;
    该方法具体包括以下步骤:
    (一)全局HR-LLE权值约束重建
    (1)全局平均重建权值约束
    首先建立成对的HR人脸样本图像库和LR人脸样本图像库;利用欧式距离作为衡量标准依次找出每个LR人脸样本的K1个最近邻LR人脸样本和与其相对应的K1个HR人脸样本图像;利用传统的基于LLE的权值求解方法计算出LR人脸样本相对于其K1个LR最近邻样本的重建权值;利用传统的基于LLE的权值求解方法得出HR人脸样本相对于K1个HR最近邻样本的重建权值,权值结果如图2所示;LR权值和HR权值之间存在着差别,这种差别表现在权值系数的整体起伏趋势一致,但是方差不同;对LR样本和HR样本的重建权值求l2范数,结果如附图3所示。HR样本的重建权值的l2范数是在一个很小的范围内上下浮动,取大量HR样本重建权值的l2范数的平均值作为全局平均重建权值约束Wg。
    (2)全局重建
    输入LR人脸图像,利用欧式距离在LR人脸样本库中找出K1个LR最近邻样本。利用本发明提出的基于HR-LLE的重建权值最优化方法得出输入 LR人脸图像相对于其K1个LR最近邻样本的重建权值;找出K1个LR最近邻样本相对应的HR样本;利用重建权值和K1个HR样本进行线性组合得到全局重建的人脸图像。
    (二)局部细节补偿
    (1)局部平均重建权值约束
    首先,建立HR残差人脸样本库和相应的LR残差人脸样本库;由样本中的LR图像利用全局HR-LLE权值约束算法生成一组初始放大的HR图像;计算样本库中HR图像与这些初始放大HR图像之间的残差,得到一组HR残差样本库;然后对初始放大的HR人脸样本图像进行下采样,计算下采样后的子图像与LR人脸样本图像之间的残差,得到一组LR残差人脸样本图像。
    由于局部细节补偿时是分块进行的,所以在求取局部平均重建权值约束的时候也采用分块的方法。与全局平均重建权值约束的求解方法相似,HR残差样本图像块的重建权值的l2范数也是在一个很小的范围内上下浮动,因此取大量HR残差样本块重建权值的l2范数的平均值作为局部平均重建权值约束Wl。
    (2)局部细节补偿
    对全局重建的人脸图像进行下采样处理;将下采样图像与输入LR人脸图像进行做差得到LR残差人脸图像;对LR残差人脸图像进行分块处理;利用欧氏距离在LR残差人脸样本库中依次找出每个LR残差图像块的K2个最近邻LR残差样本图像块;找出这K2个最近邻LR残差样本图像块相对应的HR残差样本块;利用本发明提出的基于HR-LLE的重建权值最优化方法得出输入LR残差人脸图像块相对于K2个LR最近邻残差样本块的重建权值;利用该重建权值和K2个HR残差样本块的线性组合得到重建的HR残差图像块。
    依次重建HR残差图像块,最终重建出整幅HR残差人脸图像;将该HR残差人脸图像和初始放大人脸图像相加,得到最终的输出放大人脸图像。
    本发明有益的技术效果是:提出了一种基于HR-LLE权值约束的HR图像重建权值预测方法。该方法在估计目标HR图像的基于LLE的重建权值时,加入了HR-LLE权值约束,使权值在l2范数上更接近真实的HR图像重建权 值。在此基础上,提出了一种基于HR-LLE权值约束的人脸图像超分辨率复原方法。相对于传统图像重建方法,该方法可以取得较好的图像复原结果。
    本发明的特点:
    (1)提出了一种基于HR-LLE权值约束的目标HR图像重建权值预测方法。该方法在估计目标HR图像的基于LLE的重建权值时,加入了HR-LLE权值约束,使权值在l2范数上更接近真实HR权值。
    (2)提出了一种基于HR-LLE权值约束的人脸图像超分辨率复原方法。该方法分别从全局特征、局部特征两方面进行约束,重建高分辨率人脸图像。实验表明,本文方法可取得较好的高分辨率人脸图像重建结果。
    附图说明:
    图1、本发明方法整体框图
    图2、HR人脸图像重建权值和4倍下采样LR人脸图像的重建权值对比图
    图3、人脸图像重建权值l2范数和4倍下采样LR人脸的权值l2范数对比
    图4、输入低分辨率人脸图像
    图5、初步放大人脸图像
    图6、最终放大输出人脸图像
    图7、本发明方法与传统插值放大结果比较
    具体实施方式:
    以下结合说明书附图,对本发明的实施实例加以说明。
    (一)全局HR-LLE权值约束重建
    (1)全局平均重建权值约束
    首先,需要建立两个人脸图像样本库,即成对的HR人脸图像样本库和相应的LR人脸图像样本库。该发明中选择CAS-PEAL人脸图像库和自建的二 代身份证图像库进行了实验;共选择了1470幅正面人脸图像,均归一化为140×160像素大小作为样本库中的HR人脸样本;4倍下采样HR人脸样本,生成相应的LR人脸样本。
    利用传统的基于LLE的权值求解方法计算出每个LR人脸样本相对于其K1最近邻样本的重建权值,如公式(1)所示。

    其中为其中一个LR人脸样本图像,是其K1个最近邻样本且是其相对于K1个最近邻样本的重建权值。该发明中我们对K1的值进行测试,发现当其大于800时,重建效果没有明显改善但是时间复杂度却增加很多。该发明中取K1=800。
    利用传统的基于LLE的权值求解方法计算出相应的HR人脸样本的重建权值,如公式(2)所示。

    其中是与相对应的HR人脸样本图像,是与对应的K1个最近邻HR样本,是其相对于K1个最近邻HR样本的重建权值。
    解最优化问题(1)和(2)得出LR样本和相应HR样本的重建权值,示例结果如附图2所示。其中wLR表示LR样本的重建权值,wHR表示HR样本的重建权值;结果发现,LR权值和HR权值之间存在着差别,这种差别表现在权值系数的整体起伏趋势一致,方差不同。对LR样本和HR样本的重建权值求l2范数,示例结果如附图3所示。其中星形虚线表示LR样本重建权值的l2范数,圆形虚线表示HR样本重建权值的l2范数;HR样本重建权值的l2范数是在一个很小的范围内上下浮动,因此取大量HR样本重建权值l2范数的平均值作为全局平均重建权值约束Wg,该发明中取Wg=0.85。
    (2)全局重建
    输入一幅LR人脸图像x(不包含在样本库内),大小为35×40个像素,如附图4所示;利用欧氏距离从LR人脸样本库中找出x的K1个最近邻人脸样本利用公式(3)得出x相对于的重建权值再利用公式(4)重建全局初步放大人脸图像yG,如附图5所示。
    minϵ=||x-Σj=1K1wGjl→Gj||2+α|||WG||2-Wg|Σj=1K1wGj=1;wGj=0,if(l→Gj∉[l→G1,l→G2,l→G3l→G4......l→GK1])---(3)]]>yG=Σj=1K1wGjh→Gj---(4)]]>
    其中是在HR人脸样本库中相对应的HR人脸样本。在(3)中,利用全局平均重建权值l2范数约束Wg对重建权值WG进行约束,这样解最优化问题(3)后得出的重建权值就相对接近目标HR人脸图像的真实权值。ɑ是一个可调节参数,取不同值时取得的重建结果不同,该发明中我们取ɑ=0.01。
    (二)局部HR-LLE权值约束细节补偿
    (1)局部平均重建权值约束
    首先建立HR残差人脸样本和相应的LR残差人脸样本库。由样本中的LR图像利用全局HR-LLE权值约束算法生成一组初始放大HR图像样本,计算样本库中HR图像与这些初始放大HR样本之间的残差,得到一组HR残差样本库,然后对初始放大的HR人脸样本图像进行下采样,计算下采样后的子图像与LR人脸样本图像之间的残差,得到LR残差人脸样本图像。
    由于局部细节补偿时是分块进行的,所以在求取局部平均重建权值约束的时候也采用分块的方法;该发明中将HR残差人脸图像分成8×8的像素块,相应的LR残差人脸图像分成2×2的像素块;与全局平均重建权值约束的求解方法相似,HR残差样本图像块的重建权值的l2范数也是在一个很小的范围内上下浮动,取大量HR残差样本块重建权值l2范数的平均值作为全局平均重建权值约束Wl,该发明中Wl=0.8。
    (2)局部细节补偿生成最终放大人脸
    将全局初始放大人脸yG进行4倍下采样,然后将下采样人脸与输入LR人脸x做差,得到输入LR残差人脸diffLR。对LR残差人脸diffLR进行分块处理(为了保证局部重建图像块之间的块效应,图像块之间均有一个像素的重叠),块大小为2×2个像素;从LR残差人脸样本库中依次找到每个残差图像块的K2个最近邻残差块该发明中K2>600时,复原效果无明显改善,因此取K2=600;利用公式(5)得出LR残差图像块相对于的重建权值WL=[wL1,wL2,wL3,...,wLK2].]]>再利用公式(6)重建HR残差图像块
    minϵ=||LRLi-Σj=1K2wLjl→Lj||2+α|||WL||2-Wl|Σj=1K2wLj=1;wLj=0,if(l→Lj∉[l→L1,l→L2,l→L3......l→LK2])---(5)]]>
    HRLi=Σj=1K2wLjh→Lj---(6)]]>
    其中是在HR残差人脸样本图像块库中相对应的HR残差人脸图像块。在(5)中,利用局部平均重建权值约束Wl对重建权值WL进行约束,这样解最优化问题(5)后得出的重建权值就相对接近于目标HR残差人脸图像块的真实重建权值。
    依次重建HR残差图像块,最终重建出整幅HR残差图像diffHR。将HR残差人脸图像diffHR和初始放大人脸图像yG相加,得到最终的输出放大人脸图像y,如附图6所示。
    图7为本发明方法与传统插值放大方法结果对比图。

    关于本文
    本文标题:一种基于HRLLE权值约束的人脸图像超分辨率复原方法.pdf
    链接地址://www.4mum.com.cn/p-6143817.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 天津快乐10分开奖走势 甘肃快3升降走势图 黄金棋牌娱乐 中彩票大奖 新疆十一选五开奖直播现场 山东时时彩开奖结果查询结果 15选5开桨结果江苏 泳坛夺金投注技巧 钱柜彩票安卓 e球彩app 开奖直播 欧泊彩票网址 彩票31选7规则 天津十一选五推荐号码 河北时时彩软件手机版下载 深圳风采基本走势图