• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩地下庄: 一种基于残差子图像的深度学习超分辨率重建方法.pdf

    关 键 词:
    一种 基于 残差子 图像 深度 学习 分辨率 重建 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201710044857.7

    申请日:

    2017.01.20

    公开号:

    CN106683067A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 5/50申请日:20170120|||公开
    IPC分类号: G06T5/50; G06T3/40; G06N3/08 主分类号: G06T5/50
    申请人: 福建帝视信息科技有限公司
    发明人: 童同; 高钦泉
    地址: 350002 福建省福州市鼓楼区西洪路528号云座2号楼5楼B区
    优先权:
    专利代理机构: 福州君诚知识产权代理有限公司 35211 代理人: 彭东
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201710044857.7

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开一种基于残差子图像的深度学习超分辨率重建方法,有效结合残差子图像和基于卷积神经网络的深度学习方法,不仅使得超分辨率重建的图像更加清晰,同时也使得重建速度更快。首先通过加深卷积神经网络的深度,从而使得学习得到的网络模型具有更强的非线性表示能力和图像重建能力。同时,通过引入残差子图像的方法,移除了基于传统插值算法的预处理,避免了插值算法带来的模糊效应。本发明巧妙地利用残差子图像,可以将深度学习的卷积运算过程由高分辨率空间转移到低分辨率空间,从而在提升超分辨率的重建效果的基础上,同时也提高了超分辨率算法的重建效率。

    权利要求书

    1.一种基于残差子图像的深度学习超分辨率重建方法,其特征在于:其包括以下步骤:
    1)训练深度神经网络模型:
    1-1)将高分辨图像y分解成s2个子图像ysub;
    1-2)计算s2个残差子图像rsub,并与对应的低分辨率图像x形成的图像训练集;
    1-3)通过图像训练集,采用基于卷积神经网络训练模型训练得到优化的网络模型参数
    w和b;
    2)利用训练完的深度神经网络模型将低分辨率待图像xtest重建成高分辨率图像ytest:
    2-1)基于训练好的网络模型参数w和b,将低分辨率图像xtest输入卷积神经网络训练模
    型中,并计算获得对应的s2个残差子图像rtestsub;
    2-2)利用残差子图像rtestsub,计算获得s2个子图像ytestsub,并变换各个子图像的空间位
    置,最终获得高分辨率图像ytest。
    2.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:所述图像训练集包括低分辨率图像x和对应的残差子图像rsub。
    3.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤1-1)中s是图像的超分辨率放大倍数,子图像按每隔s个像素点在高分辨率图像中
    进行抽样取值。
    4.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤1-2)残差子图像的计算公式是:rsub=ysub-x,子图像个数为s2。
    5.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤1-3)具体包括以下步骤:
    步骤1-3-1)设定卷积神经网络模型的卷积层和激活函数均为L层,采用规整化线性单
    元函数作为激活函数,
    步骤1-3-2)选用图像对(x,r)作为训练集,输入低分辨率图像x和残差子图像r,得到卷
    积神经网络的训练目标函数是:
    <mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>w</mi> <mo>,</mo> <mi>b</mi> </mrow> </munder> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>s</mi> <mn>2</mn> </msup> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
    其中,f(w,b,x)为神经网络模型的预测结果,w和b分别为神经网络中的卷积模板参数
    和偏置参数;
    每一卷积层的输出可以表示为:
    fk(x)=φk(Wk*fk-1(x)+bk),k∈[1,L] (2)
    其中фk为激活层的函数,bk是网络模型当中第k层的偏置参数,wk是网络模型当中第k
    层的卷积模板参数,大小为nk-1*vk*vk*nk,其中nk-1为第k层输入的特征图的数目,nk为第k层
    输出层的特征图的数目,vk为第k层的卷积核的大??;
    步骤1-3-3)采用随机梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b,在
    每次迭代过程中,计算预测结果误差并反向传播到卷积神经网络模型,计算梯度并更新卷
    积神经网络模型的参数;
    步骤1-3-4)基于卷积神经网络模型中各卷积层的模型参数生成低分辨率图像到高分
    辨率图像的映射关系并完成神经网络模型的训练。
    6.根据权利要求5所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤1-3-2)中神经网络模型中每一卷积层包含了卷积运算和非线性激活函数运算。
    7.根据权利要求5所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤1-3-3)中卷积模板参数w采用高斯分布初始化,偏置参数b初始化为0。
    8.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤2-1)所述残差子图像rtestsub表示在高分辨率图像空间中各个不同方向的高频图像
    信息,具体包括图像边缘信息和纹理信息。
    9.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤2-2)子图像ytestsub的计算过程为:
    ytestsub=xtestsub+rtestsub (3)。
    10.根据权利要求1所述一种基于残差子图像的深度学习超分辨率重建方法,其特征在
    于:步骤2-2)中获得子图像ytestsub后,可以按照步骤1-1)中取子图像的操作,反向把s2个子
    图像的各个像素还原到高分辨率图像空间相应位置并重建成高清图像ytest。

    说明书

    一种基于残差子图像的深度学习超分辨率重建方法

    技术领域

    本发明涉及计算机图像处理领域与人工智能技术,尤其涉及一种基于残差子图像
    的深度学习超分辨率重建方法。

    背景技术

    图像超分辨率是利用低分辨率的图像重建出高质量的高分辨率图像的过程,在视
    频压缩与传输,医学图像辅助诊断,安防监控以及卫星成像等领域有着广泛的应用前景。对
    于图像超分辨率有两个评价标准:(1)图像的重建效果,其目标是恢复图像的高频信息,提
    高图像的质量,尽可能地提升重建图像的视觉效果;(2)图像的重建效率,目标就是在保证
    重建效果的同时,尽可能地提高重建速度。目前主流的方法包括基于插值或者重构的传统
    方法和基于机器学习的新方法?;诓逯祷蛘咧毓沟拇撤椒ㄉ瓒斯潭ǖ牟问P?,由
    于重建速度快而被广泛采用,例如应用在美图秀秀或者Photoshop等商业软件中的超分辨
    率方法。然而利用这些技术重建的图像会产生锯齿、模糊或者振铃等视觉伪影,图像超分辨
    率重建的效果不佳?;诨餮暗姆椒ㄓ捎谀芄蛔允视ρ澳P筒问?,具有很强的重建
    能力,逐渐成为国际上最前沿的图像超分辨率方法。其中基于稀疏模型的字典学习,是最早
    应用于图像超分辨率的一种机器学习方法,然而字典学习只有线性表示能力,其超分辨率
    重建效果有限。中国公开专利“一种基于残差的图像超分辨率重建方法”(公开号
    CN102722876A,公开日为2012.10.10)和专利“基于稀疏表示的图像超分辨率重建方法”(公
    开号CN102722876A,公开日为2013.10.23)采用了基于稀疏表示的字典学习的方法进行图
    像超分辨率重建。这种重建方法不仅受限于字典学习的线性表示能力,同时残差图像是基
    于传统插值方法计算出来的全局残差图像,算法本质上是在传统插值算法的基础上进一步
    利用字典学习的方法提升重建效果,算法的重建性能会受到传统插值方法的影响。

    近年来,基于深度学习的技术得到迅速地发展,它通过利用卷积神经网络的超强
    非线性特征表示能力,能够很好地提高图像超分辨率的重建效果。经对对现有技术的文献
    检索发现,中国专利公开号CN105976318A,公开日为2016.09.28,专利名称“一种图像超分
    辨率重建方法”使用了深度学习的方法来进行超分辨率重建。然而此专利的图像超分辨重
    建效果一般,重建效率也可以进一步提高,其具体的不足之处是:(1)此专利利用双三次插
    值作为预处理,实际上是传统方法与机器学习方法的一种结合,重建效果会受到传统的插
    值方法的影响,例如产生模糊效应。(2)此专利只采用了3层的网络结构,其非线性的特征表
    示能力和图像重构能力有限。(3)此专利的训练数据是低分率图像和高分辨率图像,高分辨
    率图像的低频信息也会在网络的训练过程中得到重建,从而没有对图像中高频信息进行特
    异性重建,图像的超分辨率重建效果不佳。

    发明内容

    本发明的目的在于克服现有技术的不足,提供一种基于残差子图像的深度学习超
    分辨率重建方法super-resolution using sub-residual images(SRSRI)。

    本发明采用的技术方案是:

    一种基于残差子图像的深度学习超分辨率重建方法,其包括以下步骤:

    1)训练深度神经网络模型:

    1-1)将高分辨图像y分解成s2个子图像ysub;

    1-2)计算s2个残差子图像rsub,并与对应的低分辨率图像x形成图像训练集;

    1-3)通过图像训练集,采用基于卷积神经网络训练模型训练得到优化的网络模型
    参数w和b;

    2)利用训练完的深度神经网络模型将低分辨率图像xtest重建成高分辨率图像
    ytest:

    2-1)基于训练好的网络模型参数w和b,将低分辨率图像xtest输入卷积神经网络训
    练模型中,并计算获得对应的s2个残差子图像rtestsub;

    2-2)利用残差子图像rtestsub,计算获得s2个子图像ytestsub,并变换各个子图像的空
    间位置,最终获得高分辨率图像ytest。

    所述图像训练集包括低分辨率图像x和对应的残差子图像rsub;

    进一步地,步骤1-1)中s是图像的超分辨率放大倍数,子图像按每隔s个像素点在
    高分辨率图像中进行抽样取值。

    进一步地,步骤1-2)残差子图像的计算公式是:rsub=ysub-x,子图像个数为s2。

    进一步地,步骤1-3)具体包括以下步骤:

    步骤1-3-1)设定卷积神经网络模型的卷积层和激活函数均为L层,采用规整化线
    性单元函数作为激活函数,

    步骤1-3-2)选用图像对(x,r)作为训练集,输入低分辨率图像x和残差子图像r,得
    到卷积神经网络的训练目标函数是:


    其中,f(w,b,x)为神经网络模型的预测结果,w和b分别为神经网络中的卷积模板
    参数和偏置参数;

    每一卷积层的输出可以表示为:

    fk(x)=φk(Wk*fk-1(x)+bk),k∈[1,L] (2)

    其中фk为激活层的函数,bk是网络模型当中第k层的偏置参数,wk是网络模型当中
    第k层的卷积模板参数,大小为nk-1*vk*vk*nk,其中nk-1为第k层输入的特征图的数目,nk为第
    k层输出层的特征图的数目,vk为第k层的卷积核的大??;

    步骤1-3-3)采用随机梯度下降法求解神经网络模型的卷积模板参数w和偏置参数
    b,在每次迭代过程中,计算预测结果误差并反向传播到卷积神经网络模型,计算梯度并更
    新卷积神经网络模型的参数;

    步骤1-3-4)基于卷积神经网络模型中各卷积层的模型参数生成低分辨率图像到
    高分辨率图像的映射关系并完成神经网络模型的训练。

    进一步地,步骤1-3-2)中神经网络模型中每一卷积层包含了卷积运算和非线性激
    活函数运算。

    进一步地,步骤1-3-3)中卷积模板参数w采用高斯分布初始化,偏置参数b初始化
    为0。

    进一步地,步骤2-1)所述残差子图像rtestsub表示在高分辨率图像空间中各个不同
    方向的高频图像信息,具体包括图像边缘信息和纹理信息。

    进一步地,步骤2-2)子图像ytestsub的计算过程为:

    ytestsub=xtestsub+rtestsub (3)。

    进一步地,步骤2-2)中获得子图像ytestsub后,可以按照步骤1-1)中取子图像的操
    作,反向把s2个子图像的各个像素还原到高分辨率图像空间相应位置并重建高清图像ytest。

    本发明采用以上技术方案,具有如下优点:(1)本发明完全去除了双三次插值的预
    处理,形成低分辨率图像到高分辨率图像之间端到端的直接映射,从而不会受到传统插值
    算法的影响。(2)我们的发明中使用了11层的网络结构,使得神经网络结构的表示和重构能
    力极大地提升,从而能够更好的提高超分辨率重建效果。(3)利用低分辨率图像和残差子图
    像来训练神经网络。由于残差图像表示图像损失的信息,使得网络更集中地针对损失的高
    频信息来训练,从而增强了图像的超分辨率重建效果。同时,由于残差图像的稀疏属性,可
    以提高神经网络模型的训练速度。(4)此外,本发明的另外一个创新点是提出了基于残差子
    图像的方法,将图像超分辨的计算过程由高分辨空间转移到低分辨率空间进行,在提高超
    分辨率重建效果的同时,也极大地加快了超分辨率的重建速度。

    附图说明

    以下结合附图和具体实施方式对本发明做进一步详细说明;

    图1为本发明的一种基于残差子图像的深度学习超分辨率重建方法的残差子图像
    计算过程;

    图2为本发明的一种基于残差子图像的深度学习超分辨率重建方法的原理图;

    图3为本发明的一种基于残差子图像的深度学习超分辨率重建方法的流程图;

    图4为多种算法比较时的输入的低分辨率图像;

    图5为采用传统的双三次插值算法的最终效果;

    图6为基于字典学习的Aplus算法的最终效果;

    图7为基于深度学习的算法SRCNN的最终效果;

    图8为本发明的一种基于残差子图像的深度学习超分辨率重建方法SRSRI的最终
    效果。

    具体实施方式

    如图1-8之一所示,本发明公开一种基于残差子图像的深度学习超分辨率重建方
    法,巧妙的结合了残差子图像和基于卷积神经网络的深度学习方法,不仅可以很好的重建
    高质量的图像或者视频,提供很好的用户观看体验,而且能够快速的重建出高分辨率图像。
    具体实施流程如图3所示,

    其包括以下步骤:

    1)训练深度神经网络模型:

    1-1)如图1所示,将高分辨图像y分解成s2个子图像ysub;其中s是图像的超分辨率
    放大倍数。子图像是在高分辨率图像的行列中按每隔s个像素点进行取值。如果输入图像是
    RGB空间,需要先转换到YCbCr空间,算法只在Y通道进行训练,这是因为人眼对Y通道的变化
    很敏感,而对Cb和Cr通道的变化不太敏感。

    1-2)计算s2个残差子图像rsub,并获取对应的低分辨率图像x形成图像训练集;其
    中残差子图像的计算公式是:rsub=ysub-x。残差子图像表示低分辨率图像与高分辨率图像
    中各个方向分量的差异,包含了各个方向所丢失的边缘和纹理等信息。这样神经网络可以
    针对低分辨率图像所丢失的高频信息来训练,移除了对图像中低频信息的冗余重建过程。

    1-3)利用图像训练集,按照图2所示的卷积神经网络训练模型训练得到优化的网
    络模型参数w和b;

    2)利用训练完的神经网络模型将低分辨率图像xtest重建成高分辨率图像ytest:

    2-1)基于训练好的网络模型参数w和b,将低分辨率图像xtest输入卷积神经网络训
    练模型中,并计算获得对应的s2个残差子图像rtestsub;

    2-2)利用残差子图像rtestsub,计算获得s2个子图像ytestsub,并变换各个子图像的空
    间位置,最终获得高分辨率图像ytest。

    所述图像训练集包括低分辨率图像x和对应的残差子图像rsub;

    进一步地,步骤1-1)中s是图像的超分辨率放大倍数,子图像按每隔s个像素点在
    高分辨率图像中进行抽样取值。

    进一步地,步骤1-2)残差子图像的计算公式是:rsub=ysub-x,子图像个数为s2。

    进一步地,步骤1-3)具体包括以下步骤:

    步骤1-3-1)设定卷积神经网络模型的卷积层和激活函数均为L层,采用规整化线
    性单元函数作为激活函数,

    步骤1-3-2)选用图像对(x,r)作为训练集,输入低分辨率图像x和残差子图像r,得
    到卷积神经网络的训练目标函数是:


    其中,f(w,b,x)为神经网络模型的预测结果,w和b分别为神经网络中的卷积模板
    参数和偏置参数;

    每一卷积层的输出可以表示为:

    fk(x)=φk(Wk*fk-1(x)+bk),k∈[1,L] (2)

    其中f0(x)=φk为激活层的函数,bk是网络模型当中第k层的偏置参数,wk是网络
    模型当中第k层的卷积模板参数,大小为nk-1*vk*vk*nk,其中nk-1为第k层输入的特征图的数
    目,nk为第k层输出层的特征图的数目,vk为第k层的卷积核的大??;

    步骤1-3-3)采用随机梯度下降法求解神经网络模型的卷积模板参数w和偏置参数
    b,在每次迭代过程中,计算预测结果误差并反向传播到卷积神经网络模型,计算梯度并更
    新卷积神经网络模型的参数;具体的权重更新公式为:


    公式中L为训练的损失误差。m为结合动量,λ为学习率。初始学习率设为0.01,并逐
    步减小到0.0001,同时采用梯度剪切方法,防止梯度在计算过程中过大。特征图的数目nk设
    置为64,卷积核的大小设置为3。

    步骤1-3-4)基于卷积神经网络模型中各卷积层的模型参数生成低分辨率图像到
    高分辨率图像的映射关系并完成神经网络模型的训练。

    进一步地,步骤1-3-2)中神经网络模型中每一卷积层包含了卷积运算和非线性激
    活函数运算。

    进一步地,步骤1-3-3)中卷积模板参数w采用高斯分布初始化,偏置参数b初始化
    为0。

    进一步地,步骤2-1)所述残差子图像rtestsub表示在高分辨率图像空间中各个不同
    方向的高频图像信息,具体包括图像边缘信息和纹理信息。

    进一步地,步骤2-2)子图像ytestsub的计算过程为:

    ytestsub=xtestsub+rtestsub (3)。

    进一步地,步骤2-2)中获得子图像ytestsub后,可以按照步骤1-1)中取子图像的操
    作,反向把s2个子图像的各个像素还原到高分辨率图像空间相应位置并重建高清图像ytest。

    为了验证算法的重建效果,在公共测试图像集Set5上测试,并与其它三种算法进
    行比较。图4-8为本发明与其它几种算法的超分辨率重建实例比较,图4是输入神经网络的
    低分辨率图像;图5是基于传统的双三次插值算法的高分辨率重建效果图;图6是基于字典
    学习的Aplus算法的高分辨率重建效果图;图7是基于深度学习技术的SRCNN算法的重建效
    果图;图8是本发明一种基于残差子图像的深度学习超分辨率重建方法的重建效果图。从图
    8中可以看到本发明的SRSRI算法重建的高分辨率图像包含了更加丰富的边缘信息和纹理
    信息,能让观众看到更加清晰的图像,从而获得更好的体验。同时,我们利用英伟达的Titan
    X的GPU并行处理性能,加速我们的超分辨率重建过程。以放大四倍超分辨为例,本发明所提
    出的算法在Set5图像集的平均处理时间为20.5ms,基本达到实时处理的要求,极大的提高
    了超分辨率的重建效率。

    关于本文
    本文标题:一种基于残差子图像的深度学习超分辨率重建方法.pdf
    链接地址://www.4mum.com.cn/p-6079505.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 快乐时时是全国开奖 怎样理财稳而又生钱 关于使用免费黑客棋牌透牌器 dnf 稳赚 世界杯博彩app 七星彩稳赚不赔秘诀 北京pk拾前三 pk10app计划软 3d直选包胆是怎么玩的 12选五技巧 湖北快三计划软件科技有限公司 双色球预测号码最准确 新时时走势图500 双色球最迟几点可以买 黑马全人工计划软件网页版 体彩排三六码组六最大遗漏乐彩网