• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:30 金币  

    重庆时时彩前二和值走势: 一种图像超分辨率方法及设备.pdf

    关 键 词:
    一种 图像 分辨率 方法 设备
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611086392.3

    申请日:

    2016.11.30

    公开号:

    CN106683048A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 3/40申请日:20161130|||公开
    IPC分类号: G06T3/40 主分类号: G06T3/40
    申请人: 浙江宇视科技有限公司
    发明人: 吕春旭
    地址: 310051 浙江省杭州市滨江区江陵路88号万轮科技园10号楼南座2楼
    优先权:
    专利代理机构: 北京鑫媛睿博知识产权代理有限公司 11297 代理人: 龚家骅
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611086392.3

    授权公告号:

    |||

    法律状态公告日:

    2017.10.27|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本申请公开了一种超分辨图像生成方法,在预先设置生成网络以及判别网络后,将真实图像样本输入生成网络以输出超分辨率图像样本,并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率,根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数,根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当调整完成后接收到处理低分辨率图像,能够根据生成网络生成低分辨率图像的超分辨率图像,并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图像的真实性。

    权利要求书

    1.一种超分辨率图像生成方法,其特征在于,预先设置生成网络以及判别网络,所述生
    成网络以及所述判别网络的类型均为深度神经网络,该方法还包括:
    将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本;
    获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出
    的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概率;
    根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数
    以及判别网络损失函数,并根据所述生成网络损失函数以及所述判别网络损失函数对所述
    生成网络以及所述判别网络的配置参数进行调整;
    当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根据所述生成网络生
    成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视化处理;
    其中,当所述生成网络的损失函数越小,所述生成网络所输出的超分辨率图像的真实
    度越高;
    当所述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。
    2.如权利要求1所述的方法,其特征在于,所述生成网络的损失函数根据对抗损失函
    数、规则约束损失函数以及像素级的均方差损失函数生成,其中:
    所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概
    率生成;
    所述规则约束函数根据所述超分辨率图像样本的空间一致性确定;
    所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确
    定。
    3.如权利要求1或2任一项所述的方法,其特征在于,在将真实图像样本输入所述生成
    网络以输出超分辨率处理后的超分辨率图像样本之后,还包括:
    分别为所述真实图像样本以及所述超分辨率图像样本设置标签;
    其中,所述真实图像样本的标签置1,所述超分辨率图像样本的标签置0。
    4.如权利要求3所述的方法,其特征在于,
    所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述
    判别网络输出的判别概率生成。
    5.如权利要求4所述的方法,其特征在于,
    所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理;
    所述低分辨率图像在输入所述生成网络前进行归一化处理。
    6.一种超分辨率图像生成设备,其特征在于,包括:
    预置???,预先设置生成网络以及判别网络,所述生成网络以及所述判别网络的类型
    均为深度神经网络;
    输入???,将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像
    样本;
    获取???,获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样
    本后输出的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概率;
    确定???,根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网
    络损失函数以及判别网络损失函数,并根据所述生成网络损失函数以及判别网络损失函数
    对所述生成网络以及所述判别网络的配置参数进行调整;
    生成???,当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根据所述生
    成网络生成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视化处理;
    其中,当所述生成网络的损失函数越小,与所述生成网络所输出的超分辨率图像的真
    实度越高;
    当所述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。
    7.如权利要求6所述的设备,其特征在于,所述生成网络的损失函数根据对抗损失函
    数、规则约束损失函数以及像素级的均方差损失函数生成,其中:
    所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概
    率生成;
    所述规则约束函数根据所述超分辨率图像样本的空间一致性确定;
    所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确
    定。
    8.如权利要求6或7任一项所述的设备,其特征在于,还包括:
    标签???,分别为所述真实图像样本以及所述超分辨率图像样本设置标签;
    其中,所述真实图像样本的标签置1,所述超分辨率图像样本的标签置0。
    9.如权利要求8所述的设备,其特征在于,
    所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述
    判别网络输出的判别概率生成。
    10.如权利要求9所述的设备,其特征在于,
    所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理;
    所述低分辨率图像在输入所述生成网络前进行归一化处理。

    说明书

    一种图像超分辨率方法及设备

    技术领域

    本发明涉及通信技术领域,特别涉及一种图像超分辨率方法。本发明同时还涉及
    一种图像超分辨率设备。

    背景技术

    图像超分辨率重建技术是利用一组低质量、低分辨率图像(或运动序列)来产生单
    幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广,在军事,医学,公共安全,
    计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域,图像超分辨率重建技术
    有可能使图像实现从检出水平向识别水平的转化,或更进一步实现向细辨水平的转化。

    基于可以提高图像的识别能力和识别精度的图像超分辨率重建技术,现有技术提
    出了利用单帧低分辨率、欠采样图像,生成高分辨率图像的单帧图像超分辨率。单帧图像超
    分辨率重建技术可以实现目标物的专注分析,从而可以获取感兴趣区域更高空间分辨率的
    图像,而不必直接采用数据量巨大的高空间分辨率图像的配置。

    随着人工神经网络领域的不断发展,目前技术人员能够基于深度卷积神经网络实
    现单帧图像超分辨率,使得单帧图像超分辨率技术有了巨大的进步。卷积神经网络是人工
    神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结
    构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网
    络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识
    别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个
    多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

    目前,在基于深度卷积神经网络的单帧图像超分辨率时,该方法通过对输入低分
    辨率图像进行一系列的卷积或者反卷积操作,输出为一帧高分辨率的图像。通过计算输出
    高分辨率图像与真实高分辨率图像的均方差(MSE),作为深度卷积神经网络训练的监督信
    号。

    然而,发明人在实现本申请的过程中发现,当现有技术对图片进行大采样因子处
    理(例如4x上采样,即图像宽高分别放大为原来的4倍)时,纹理细节的恢复仍然存在问题,
    从而细节不够清晰。即便是利用深度卷积神经网络的单帧图像超分辨率,也会在采样因子
    较大时使得结果通常过分平滑,缺乏高频细节信息,导致无法满足需求。

    发明内容

    本发明提供了一种超分辨率图像生成方法,用以更好的保留待处理图像的细节信
    息,并解决现有技术中在采样因子较大时输出高分辨率图像纹理细节不清晰的问题。该方
    法预先设置生成网络以及判别网络,所述生成网络以及所述判别网络的类型均为深度神经
    网络,该方法还包括:

    将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本;

    获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后
    输出的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概率;

    根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失
    函数以及判别网络损失函数,并根据所述生成网络损失函数以及所述判别网络损失函数对
    所述生成网络以及所述判别网络的配置参数进行调整;

    当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根据所述生成网
    络生成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视化处理;

    其中,当所述生成网络的损失函数越小,与所述生成网络所输出的超分辨率图像
    的真实度越高;

    当所述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。

    优选的,所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像
    素级的均方差损失函数生成,其中:

    所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判
    别概率生成;

    所述规则约束函数根据所述超分辨率图像样本的空间一致性确定;

    所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样
    本确定。

    优选的,在将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率
    图像样本之后,还包括:

    分别为所述真实图像样本以及所述超分辨率图像样本设置标签;

    其中,所述真实图像样本的标签置1,所述超分辨率图像样本的标签置0。

    优选的,所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本
    在经过所述判别网络输出的判别概率生成。

    优选的,所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处
    理;所述低分辨率图像在输入所述生成网络前进行归一化处理。

    相应的,本申请还公开了一种超分辨率图像生成设备,包括:

    预置???,预先设置生成网络以及判别网络,所述生成网络以及所述判别网络的
    类型均为深度神经网络;

    输入???,将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率
    图像样本;

    获取???,获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图
    像样本后输出的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概率;

    确定???,根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生
    成网络损失函数以及判别网络损失函数,并根据所述生成网络损失函数以及所述判别网络
    损失函数对所述生成网络以及所述判别网络的配置参数进行调整;

    生成???,当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根据所
    述生成网络生成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视化处
    理;

    其中,当所述生成网络的损失函数越小,与所述生成网络所输出的超分辨率图像
    的真实度越高;

    当所述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。

    优选的,所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像
    素级的均方差损失函数生成,其中:

    所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判
    别概率生成;

    所述规则约束函数根据所述超分辨率图像样本的空间一致性确定;

    所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样
    本确定。

    优选的,还包括:

    标签???,分别为所述真实图像样本以及所述超分辨率图像样本设置标签;

    其中,所述真实图像样本的标签置1,所述超分辨率图像样本的标签置0。

    优选的,所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本
    在经过所述判别网络输出的判别概率生成。

    优选的,所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处
    理;所述低分辨率图像在输入所述生成网络前进行归一化处理。

    由此可见,通过应用本申请的技术方案,在预先设置生成网络以及判别网络后,将
    真实图像样本输入生成网络以输出超分辨率处理后的超分辨率图像样本,并获取判别网络
    分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率,最后根据真实图像样
    本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数,并根
    据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调
    整。这样在当调整完成后接收到待处理的低分辨率图像时,能够根据生成网络生成低分辨
    率图像的超分辨率图像,并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨
    率效果以及超分辨图像的真实性。

    附图说明

    图1为本申请具体实施例所公开的一种生成网络的结构示意图;

    图2为本申请具体实施例所公开的一种判别网络的结构示意图;

    图3为本申请提出的一种超分辨图像生成方法的流程示意图;

    图4为本申请具体实施例所提出的训练过程工作流程示意图;

    图5为本申请本具体实施例中超分辨率图像计算流程示意图;

    图6为本申请提出的一种超分辨图像生成设备的结构示意图。

    具体实施方式

    如背景技术所述,基于深度卷积神经网络的单帧图像超分辨率,使得单帧图像超
    分辨率技术有了巨大的进步。但是对于上采样因子比较大时(例如4倍上采样)纹理细节的
    恢复仍然存在问题,从而导致细节不够清晰。

    有鉴于此,本申请提出了一种超分辨图像生成方法,该方法针对单帧图像超分辨
    率提出了一种对抗网络框架,其中包括两个深度神经网络,一个是生成网络,一个是判别网
    络,两个网络同时训练相互竞争。生成网络的目的是从低分辨率图像生成高分辨率图像,而
    且生成的高分辨率图像很难与真实图像区分;判别网络的目的是区分真实图像和超分辨率
    生成的图像。通过对抗网络训练,使生成网络输出尽量真实的高分辨率图像。正因于此,在
    详细阐述本申请技术方案的详细步骤之前,本申请预先设置生成网络以及判别网络,需要
    说明的是,该生成网络以及判别网络的类型均为深度神经网络,以下针对这两种网络结合
    具体实施例进行说明:

    如图1所示,为本申请具体实施例中生成网络的结构示意图,该生成网络结构图中
    的每层具体含义如下:

    第1层InputLR表示输入低分辨率图像;

    第2和第3层表示一个卷积层和ReLU(Rectified linear unit,修正线性单元,为
    深度学习激活函数的一种)激活函数层,其中卷积操作的步长为1,卷积核大小为3*3,卷积
    核数量为64;

    第4到第9层是一个残差网络功能块,使用了两组卷积层紧跟批量规范化层,以
    ReLU作为激活函数,最后是元素级相加层,其中卷积操作的步长为1,卷积核大小为3*3,卷
    积核数量为64;

    第10到第33层是4个残差网络功能块,每个残差网络功能块同上;

    第34到第37层是两组反卷积单元,用于图像上采样。反卷积层操作的步长为0.5,
    卷积核大小为3*3,卷积核数量为64;本实例采用的缩放因子为4,所以采用了两组反卷积单
    元;如过缩放因子为2,那么可以采用一组反卷积单元;

    第38层是一个卷积层,卷积操作步长为1,卷积核大小为3*3,卷积核数量为3,目的
    是生成3通道的RGB数据。

    该生成网络的最后一层所输出的是超分辨率图像。

    如图2所示,为本申请具体实施例中的判别网络的结构示意图,该判别网络结构图
    中的每层具体含义如下:

    第1层Input HR/SR表示输入的高分辨率真实图像或者超分辨率图像;真实图像标
    记为1,超分辨率图像标记为0;

    第2层和第3层表示一个卷积层和一个激活函数层,卷积;其中卷积层步长为1,卷
    积核大小为3*3,卷积核数量为64;

    第4层到第6层表示一个卷积层、一个激活函数层和一个批量规则化层;其中卷积
    层步长为2,卷积核大小为3*3,卷积核数量为64;

    第7层到第9层表示一个卷积层、一个激活函数层和一个批量规则化层;其中卷积
    层步长为1,卷积核大小为3*3,卷积核数量为128;

    第10层到第12层表示一个卷积层、一个激活函数层和一个批量规则化层;其中卷
    积层步长为2,卷积核大小为3*3,卷积核数量为128;

    第13层到第18层类似于第7到第12层,唯一区别是卷积核数量为256;

    第19层到第24层类似于第7到第12层,唯一区别是卷积核数量为512;

    第25层和第26层是一个全连接层和一个ReLU激活函数层;

    第27层和第28层是一个全连接层和一个Sigmoid(利用sigmoid函数作为激活函
    数,为深度学习激活函数的一种)激活函数层,其中全连接层节点个数为1;

    该判别网络的最后一层输出一个概率值,表示输入图像为真实图像的概率。

    以上结合了具体的网络结构以及函数分布对本申请的生成网络以及判别网络进
    行了说明,然而需要说明的是,以上结构仅为本申请具体实施例中所提出的一种优选实施
    例方案,在基于深度神经网络通过将输入图像进行超分辨处理为超分辨图像,以及针对输
    入的图像进行真实图像/超分辨图像的判断的基础上,本领域技术人员所做的其他改型均
    属于本申请的?;し段?。

    基于预先创建的生成网络以及判别网络,本申请所提出的超分辨图像生成方法的
    流程示意图如图3所示,包括以下步骤:

    S301,将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像
    样本。

    由于本申请旨在通过对不同职能的深度神经网络进行改进以优化生成网络的输
    出效果,因此本申请主要分为两大流程部分,第一部分生成网络根据输入的低分辨率图像
    输出高分辨率图像;第二部分判别网络对输入图像进行真实性判断。生成网络的输出图像
    作为判别网络的输入图像,判别网络的输出作为生成网络的反馈信号。

    基于上述说明,该步骤首先将现有的图片作为真实图像样本输入生成网络,在输
    入生成网络之前,需要依照惯例将真实图像样本进行一些预处理工作,例如缩放处理、归一
    化处理等。具体的缩放参数以及归一化参数可由技术人员根据实际情况进行设置,这些调
    整均属于本申请的?;し段?。

    由于本申请需要针对判别网络的校验准确率进行检验,而真实图像样本与后续生
    成的超分辨图像存在一定的相似性,因此在本申请的一个优选实施例中,分别为所述真实
    图像样本以及所述超分辨率图像样本设置标签以进行区分,其中真实图像样本的标签置1,
    超分辨率图像样本的标签置0。

    S302,获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样
    本后输出的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概率。

    基于S301中生成的超分辨率图像样本以及原始的真实图像样本,本申请将其同时
    输入判别网络,以此来检测判别网络的校验准确性。无论是输入真实图像样本还是超分辨
    率图像样本,判别网络都会输出一个判别概率,该概率用以描述输入图像在判别网络的检
    验后为真实图像的概率。在具体的应用场景中,该概率可以与各个样本图像的标签值相对
    应,例如概率值越接近1,表示真实图像的概率越高;概率值越接近0,表示超分辨率图像的
    概率越高。

    S303,根据真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损
    失函数以及判别网络损失函数,并根据生成网络损失函数以及判别网络损失函数对生成网
    络以及判别网络的配置参数进行调整。

    由于本申请在训练阶段利用两个深度网络基于单帧图像超分辨率训练方式来相
    互对抗,因此基于S301中的超分辨率图像以及S302中的判别概率,本申请将分别针对生成
    网络以及判别网络确定其各自的损失函数,对于生成网络来说,当所述生成网络的损失函
    数越小,与所述生成网络所输出的超分辨率图像的真实度越高,而对于判别网络来说,当所
    述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。

    如前所述,生成网络以及判别网络的类型为深度神经网络,其分别由卷积单元和
    多个函数作为功能??樽槌?,因此在本申请的具体应用场景中,基于生成网络损失函数对
    生成网络中各个网络节点的权重值进行调整,以及基于判别网络损失函数对判别网络中各
    个网络节点的权重值进行调整。

    需要说明的是,以上内容中所提及的超分辨率图像的真实度是超分辨率图像样本
    相对于真实图像样本而言,而准确度则是判别概率相对于真实情况下的真实图像/超分辨
    率图像而言,具体的表现形式可以由技术人员按照实际情况进行设定。此外,针对生成网
    络/判别网络的参数配置可由技术人员按照损失函数来进行调整,这些都属于本申请的保
    护范围。

    在本申请的一个优选实施例中,生成网络的损失函数根据对抗损失函数、规则约
    束损失函数以及像素级的均方差损失函数生成,具体的,各函数的生成方式如下:

    (1)所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的
    判别概率生成。

    在具体的应用场景中,对抗损失函数的确定方式如下:


    其中,D(ISR)表示超分辨率输出图像输入到判别网络后的输出,这个值越大,表示
    超分辨率输出图像越接近真实图像,对抗损失函数值越小。

    (2)所述规则约束函数根据所述超分辨率图像样本的空间一致性确定。

    在本申请的具体应用场景中,规则约束损失函数记为LGREG,主要目的是保持超分
    辨率图像的空间一致性,确定方式如下:


    (3)所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像
    样本确定。

    在本申请的具体应用场景中,像素级的均方差损失函数,记为LGMSE,计算公式如
    下:


    其中,IHR表示高分辨率真实图像,ISR表示超分辨处理后的图像。

    基于上述函数,本申请的优选实施例在生成生成网络的损失函数时,可按照不同
    函数对于超分辨率图像的准确度分配不同的权重,具体的权重数值可由技术人员根据实际
    应用情况进行设置,这些均属于本申请的?;し段?。

    以上内容描述了生成网络的损失函数的具体生成方式,在本申请的另一优选实施
    例中,判别网络的损失函数则是基于预先为真实图像样本以及超分辨率图像样本分配的标
    签以及判别网络在分别输入这些图像后所得出的判别概率生成。在本申请的一个具体实施
    例中,假设判别网络的损失函数为LD,那么其相应的确定方式如下:


    其中,ai表示输入标签,1表示真实图像,0表示超分辨率图像;yi表示判别网络输出
    类别概率。

    基于生成网络的损失函数以及判别网络的损失函数,本申请进一步利用这些损失
    函数对生成网络以及判别网络的配置参数进行调整。在此需要说明的是,本申请中S301-
    S303的调整过程并不仅限于一次,而是按照网络的优化程度以及技术人员针对超分辨率图
    像的生成技术精度要求重复必要的次数,这些均属于本申请的?;し段?。

    S304,当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根据所述生
    成网络生成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视化处理。

    待生成网络以及判别网络的参数均通过S301-S303的步骤调整完成后,通过对抗
    网络训练使生成网络能够输出尽量真实的高分辨率图像。后续当技术人员需要针对低分辨
    率图像生成超分辨率图像时,即可将低分辨率图像作为输入图像向生成网络输入,并以此
    生成超分辨率图像。相较于现有的像素级误差统计,能够更好的保留图像细节信息,且解决
    了采样因子较大时输出高分辨率图像纹理细节不清晰的问题。

    为了进一步阐述本发明的技术思想,现结合图4所示的训练过程以及图5所示的超
    分辨率图像确定流程对本发明的技术方案进行说明。

    本具体实施例的每次训练过程中的训练样本是从训练图片集中随机裁剪出N张
    Width*Height的图片,例如N为32,Width=Height=128。这些训练样本同时作为生成网络
    和判别网络的输入。如图4所示,为本申请具体实施例所提出的训练过程工作流程,包括如
    下步骤:

    步骤一、缩放及归一化处理。对训练样本进行双三次插值下采样,采样因子为4;然
    后对下采样后的图像进行归一化,即每个通道像素值除以255;作为生成网络的输入数据;

    步骤二、生成网络前向传播。根据生成网络结构图,前向遍历所有层;

    步骤三、输出超分辨率图像,同时用于判别网络的输入和生成网络的损失计算;

    步骤四、样本预处理。该处样本分为两个来源,一个是训练样本,每个通道像素值
    除以255,作为真实图像,标记为类别1;另一个是步骤三的输出,作为超分辨率图像,是程序
    产生的,区别于真实图像,标记为类别0;每一类样本N张,总计2N张;

    步骤五、判别网络前向传播。根据判别网络结构图,前向遍历所有层;

    步骤六、输出类别概率,概率值越接近1,表示真实图像的概率越高;概率值越接近
    0,表示超分辨率图像的概率越高;

    步骤七、生成网络损失函数计算。生成网络损失函数记为LG,它由三部分组成:

    1)像素级的均方差损失函数,记为LGMSE,确定方式如下所示:


    其中,x,y代表像素点在图像中的坐标位置,IHR表示高分辨率真实图像,ISR表示超
    分辨处理后的图像。

    2)对抗损失函数,目的是统计这个超分辨率图像的真实性,记为LGADV。其确定方式
    如下所示:


    其中,N为步骤四中样本的数量N,i表示当前的样本的编号,D(ISR)表示超分辨率输
    出图像输入到判别网络后的输出,即判别网络的判别概率,这个值越大,表示超分辨率输出
    图像越接近真实图像,对抗损失函数值越小。

    3)规则约束损失函数,记为LGREG,主要目的是保持超分辨率图像的空间一致性。其
    确定方式如下所示:


    其中,ISRx,y表示超分辨处理后的图像中的某个像素点。

    生成网络损失函数可以通过以上三部分加权求和生成,具体方式如下:

    LG=γ0LGMSE+γ1LGADV+γ2LGREG

    其中γ0可以取值0.9,γ1可以取值0.002,γ2可以取值2*10-8,可以具体调整这些
    参数。

    步骤八、生成网络反向传播。根据步骤七计算的生成网络损失函数,反向传播整个
    生成网络,即利用网络损失函数对生成网络中的各个网络节点进行调整,在具体的应用场
    景中,技术人员能够根据该损失函数调整生成网络节点的权重值;

    步骤九、判别网络损失函数计算。判别网络损失函数记为LD,计算公式如下公式1:


    其中ai表示输入标签,1表示真实图像,0表示超分辨率图像;yi表示判别网络输出
    的判别概率;

    步骤十、判别网络反向传播。根据步骤九计算的判别网络损失函数,反向传播整个
    判别网络,调整判别网络节点权重值;

    在实际的应用过程中,技术人员可以根据需要同时执行步骤七、八和步骤九、十,
    具体的步骤执行先后次序并不影响本申请的?;し段?。

    在针对生成网络以及判别网络的损失函数调整了配置参数之后,本具体实施例中
    超分辨率图像计算流程如图5所示,包括以下步骤:

    步骤一、输入低分辨率图像;

    步骤二、对输入图像做归一化处理,即图像每个通道像素值除以255;

    步骤三、生成网络前向传播。根据生成网络结构图,前向遍历所有层;

    步骤四、输出超分辨率图像;

    步骤五、图像可视化,即对生成网络输出的超分辨率图像每个通道像素值乘以
    255,并定点化。

    通过应用以上具体实施例的技术方案,提高了单帧图像超分辨率效果,特别是对
    于缩放因子较大的情况,而且还提升了单帧图像超分辨图像的真实性,而不仅仅局限于信
    噪比。

    为达到以上技术目的,本发明还提出了一种超分辨率图像生成设备如图6所示,包
    括:

    预置???10,预先设置生成网络以及判别网络,所述生成网络以及所述判别网络
    的类型均为深度神经网络;

    输入???20,将真实图像样本输入所述生成网络以输出超分辨率处理后的超分
    辨率图像样本;

    获取???30,获取所述判别网络分别在输入所述真实图像样本以及所述超分辨
    率图像样本后输出的判别概率,所述判别概率为所述判别网络的输入图像为真实图像的概
    率;

    确定???40,根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定
    生成网络损失函数以及判别网络损失函数,并根据所述生成网络损失函数以及所述判别网
    络损失函数对所述生成网络以及所述判别网络的配置参数进行调整;

    生成???50,当完成所述配置参数的调整之后,接收待处理的低分辨率图像,根
    据所述生成网络生成所述低分辨率图像的超分辨率图像,并对所述超分辨率图像进行可视
    化处理;

    其中,当所述生成网络的损失函数越小,与所述生成网络所输出的超分辨率图像
    的真实度越高;

    当所述判别网络的损失函数越小,所述判别网络输出的判别概率的准确度越高。

    在具体的应用场景中,所述生成网络的损失函数根据对抗损失函数、规则约束损
    失函数以及像素级的均方差损失函数生成,其中:

    所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判
    别概率生成;

    所述规则约束函数根据所述超分辨率图像样本的空间一致性确定;

    所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样
    本确定。

    在具体的应用场景中,还包括:

    标签???,分别为所述真实图像样本以及所述超分辨率图像样本设置标签;

    其中,所述真实图像样本的标签置1,所述超分辨率图像样本的标签置0。

    在具体的应用场景中,所述判别网络的损失函数根据所有图像样本的标签以及各
    所述图像样本在经过所述判别网络输出的判别概率生成。

    在具体的应用场景中,所述真实图像样本在输入所述生成网络前进行缩放处理以
    及归一化处理;所述低分辨率图像在输入所述生成网络前进行归一化处理。

    由此可见,通过应用本申请的技术方案,在预先设置生成网络以及判别网络后,将
    真实图像样本输入生成网络以输出超分辨率图像样本,并获取判别网络分别在输入真实图
    像样本以及超分辨率图像样本后输出的判别概率,根据真实图像样本、超分辨率图像样本
    以及判别概率确定生成网络损失函数以及判别网络损失函数,根据生成网络损失函数以及
    判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当完成配置参数的调
    整之后,接收待处理的低分辨率图像,能够根据生成网络生成低分辨率图像的超分辨率图
    像,并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图
    像的真实性。

    通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通
    过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现?;谡庋睦斫?,本发
    明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储
    介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是
    个人计算机,服务器,或者网络设备等)执行本发明各个实施场景所述的方法。

    本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的??榛?br />流程并不一定是实施本发明所必须的。

    本领域技术人员可以理解实施场景中的装置中的??榭梢园凑帐凳┏【懊枋鼋?br />行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装
    置中。上述实施场景的??榭梢院喜⑽桓瞿??,也可以进一步拆分成多个子???。

    上述本发明序号仅仅为了描述,不代表实施场景的优劣。

    以上公开的仅为本发明的几个具体实施场景,但是,本发明并非局限于此,任何本
    领域的技术人员能思之的变化都应落入本发明的?;し段?。

    关于本文
    本文标题:一种图像超分辨率方法及设备.pdf
    链接地址://www.4mum.com.cn/p-6079496.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 3d真人游戏美女脱衣服 七乐彩预测专家推荐 11选5无死角每期必中 足球混合过关分析彩客网 甘肃快三开奖结果查询今天 山西11选5开奖电子屏走势图 足彩4场进球彩怎么玩 生财有道六合图库开奖结果 辽宁11选5走式图 彩吧p3试机号关注码 土地挂牌和土地拍卖哪种赚钱多 168澳洲幸运5开奖结果 21点游戏下载大全 长毛兔赚钱吗 云南时时彩开奖结果 1分比时时彩开奖走势