• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:30 金币  

    重庆时时彩投注站加盟: 一种基于块匹配视差估计的中间视图合成方法.pdf

    关 键 词:
    一种 基于 匹配 视差 估计 中间 视图 合成 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110207606.9

    申请日:

    2011.07.25

    公开号:

    CN102254348A

    公开日:

    2011.11.23

    当前法律状态:

    终止

    有效性:

    无权

    法律详情: 未缴年费专利权终止IPC(主分类):G06T 17/00申请日:20110725授权公告日:20130918终止日期:20140725|||授权|||实质审查的生效IPC(主分类):G06T 17/00申请日:20110725|||公开
    IPC分类号: G06T17/00; G06T7/00; H04N13/00 主分类号: G06T17/00
    申请人: 北京航空航天大学
    发明人: 祝世平; 于洋
    地址: 100191 北京市海淀区学院路37号
    优先权:
    专利代理机构: 北京科迪生专利代理有限责任公司 11251 代理人: 李新华;顾炜
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110207606.9

    授权公告号:

    |||102254348B||||||

    法律状态公告日:

    2015.09.16|||2013.09.18|||2012.04.11|||2011.11.23

    法律状态类型:

    专利权的终止|||授权|||实质审查的生效|||公开

    摘要

    本发明提出一种基于块匹配视差估计的中间视图合成方法,该方法为对水平摄像机组同时拍摄的两幅图像进行视差估计,根据求出的视差图通过插值和反向映射得到输入视点之间任意位置虚拟视图的方法。首先分别以左右图像为目标图像,进行搜索窗口自适应的视差估计,求出以左视图为目标和以右视图为目标的两幅视差图,根据两视图纹理相似性调整窗口大??;然后依据所求视差进行指定视点的虚拟视图绘制,得到最终结果。本发明的视差估计环节只在水平方向进行搜索,很大程度上减少了计算量,并提出搜索窗口自适应的方法,提高了视差估计的准确性;本发明所述方法,针对摄像机组水平放置情况,在视图前景距离摄像机较远情况下能得到良好的合成结果。

    权利要求书

    1.一种基于块匹配视差估计的中间视图合成方法,其特征在于实现步骤如下:
    (1)读入两幅初始图像,并按照视差估计和虚拟视点合成的要求对读入的两幅初
    始图像进行预处理;
    (2)以两幅初始图像中的一幅为目标图像,另一幅为参考图像,使用自适应选择
    窗口大小的视差估计方法,求出参考图像到目标图像的视差矢量图:首先计算出目标图
    像中每个M×N大小的块与参考图像中匹配块之间的位移矢量,再计算出目标图像中每
    个(M/2)×(N/2)大小的块与参考图像中匹配块之间的位移矢量,最后根据误差最小原则
    对每一块自适应地在以上两种匹配模式中选择较优模式;然后交换目标图像和参考图
    像,得到双向视差信息;
    (3)根据步骤(2)求出的双向视差矢量图,以及预处理后两幅初始图像的灰度及
    纹理信息,利用双目视觉原理和反向映射方法,直接在两幅初始图像中寻找待合成视图
    的每个像素点,将两幅初始图像中分别找到的最佳匹配点与视差信息相结合,根据位置
    参数进行加权运算,最后得到完整的虚拟视点绘制结果。
    2.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法,其特征在于:
    所述步骤(1)中的具体实现如下:
    (1.1)读入两幅初始图像,所述两幅初始图像由水平摄像机组在同一时刻拍摄自同
    一场景,所述两幅初始图像仅在拍摄视角上存在差异且尺寸相同;
    (1.2)若两幅初始图像为彩色图像,则分别将其转化为灰度图像,然后进行步骤
    (1.3);若两幅输入图像为灰度图像,则直接进行步骤(1.3);
    (1.3)对两幅灰度图像进行扩边处理,在每一幅图像的左右各增加b个像素,b须
    满足包含所有双目视图中只存在于一幅视图的场景内容,并令增加的像素灰度值为0,
    即参考图像高度不变,宽度增加2×b个单位,且增加的部分为黑色,并且另外开辟空间
    保存。
    3.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法,其特征在于:
    所述步骤(2)中的具体实现如下:
    (2.1)首先将目标图像分为M×N的块,称为宏块,其中M为每块宽度,N为高度,
    求出目标图像与参考图像对应位置块的SAD,作为搜索时用于比较的初始值;SAD定
    义为目标图像块与参考图像块之间的绝对值误差和,计算方法如下:
    SAD [ T ( m , n ) , R ( p , q ) ] = Σ i = 1 M Σ j = 1 N | G T ( m + i , n + j ) - G R ( p + i , q + j ) | ]]>
    为其中块的大小为M×N,T(m,n)为目标图像中某一块的左上角点,(m,n)为T的位
    置坐标;R(p,q)为参考图像中某一块的左上角点,(p,q)为R的位置坐标;GT、GR分别
    为目标图像和参考图像在某一坐标点的灰度值;i、j为遍历参数,分别依次取从0到
    M-1和从0到N-1之间的整数;
    对目标图像中的每一宏块,在参考图像中寻找灰度最接近块,具体为,计算每一宏
    块匹配范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位
    置即为最佳匹配块,并保留这个SAD最小值,记为其中上标M×N代表所使
    用块的宽度乘以高度,代表尺寸;下标min代表这个SAD是所有匹配位置得到的SAD
    的最小值;当块的尺寸为正方形,即M=N时,将这个SAD最小值记为
    将搜索到的最佳匹配块位置记录下来,并求出目标块与最佳匹配块之间的位移矢
    量,即视差,记作
    d ( m , n ) M × N = ( m - p , n - q ) ]]>
    其中上标M×N代表所使用块的宽度乘以高度,表示尺寸;下标(m,n)代表待匹配的
    目标块的左上角坐标,(i,j)表示视差矢量值,即水平方向和垂直方向上目标块和最佳匹
    配块的相对位移;当块的尺寸为正方形,即M=N时,同一块的视差值记作
    对目标图像中的每一宏块进行匹配,求出每一宏块与参考图像中最佳匹配块之间的
    SAD和;
    (2.2)将目标图像重新分块,分为(M/2)×(N/2)的块,称为子块,重复步骤(2.1)
    中所述对目标图像中的每一块在参考图像中寻找灰度最接近块的方法,计算每一块匹配
    范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位置即为
    最佳匹配块,并保留这个SAD最小值,记为将搜索到的最佳匹配块位
    置记录下来,并求出目标块与最佳匹配块之间的位移矢量,即视差,记作
    (2.3)使用SAD最小准则选择较优匹配模式,即比较1个M×N大小的宏块与最佳
    匹配块之间的SAD值和4个(M/2)×(N/2)大小的子块与它们各自的最佳匹
    配块之间的SAD值之和,记为而每块最终视差为:
    d ( m , n ) final M × N = d ( m , n ) M × N , SAD min M × N Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 , SAD min M × N > Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) ]]>
    其中为子块视差矩阵,(m,n)表示4个子块中最左上角的坐标;符号
    [·]4表示子块视差矩阵由与宏块位置对应的4个子块组成:
    [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 = d ( m , n ) ( M / 2 ) × ( N / 2 ) d ( m , n + N / 2 ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n + N / 2 ) ( M / 2 ) × ( N / 2 ) . ]]>
    4.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法,其特征在于:
    所述步骤(3)中的具体实现如下:
    (3.1)求出左视图到右视图的视差图dLR中的最大值dLRmax,然后对于待合成的虚拟
    视点视图中每一点(X,Y),求函数gL(x)=|X-(x+αdRL(x,y))|在x∈[X-αdRLmax,X+αdRLmax]区
    间内的最小值,记为gLmin(xL),并保存使gLmin(x)取得最小的x值,记为xL,至此已找出对
    于待合成的虚拟视点视图中每一点,左视图中与之最相近的点;
    (3.2)求出右视图到左视图的视差图dRL中的最大值dRLmax,然后对于待合成的虚拟
    视点视图中每一点(X,Y),求函数gR(x)=|xI-(x+αdLR(x,y))|在x∈[xI-αdLR,xI+αdLR]区间内
    的最小值min(gR(x))=gR(xR),并保存xR,至此已找出对于待合成的虚拟视点视图中每一点,
    右视图中与之最相近的点;
    (3.3)按照亮度加权公式IM(x,y)=(1-α)IL(xL,y)+αIR(xR,y),直接从左右视图中与待
    合成视图间最相近点,得到中间视图合成的结果IM。

    说明书

    一种基于块匹配视差估计的中间视图合成方法

    技术领域

    本发明涉及一种多目数字图像处理方法,特别涉及一种基于图像的虚拟视点绘制方
    法。

    背景技术

    视频处理、传输与显示技术经历了从黑白到彩色,从模拟到数字,从标清到高清等
    多次变革,而下一代变革的目标,则将是三维立体视频显示系统。目前已经得到普及的
    二维视频平面显示系统由于无法表达自然场景中物体的深度信息,使用户在观赏时缺乏
    立体感,观赏到的也与自然场景不一致,存在着丢失第三维信息造成的失真。因此,得
    到用户所要求视点视图的自由视点显示结构,成为二维向三维变革的重要基础。

    为了使用户可以自主选择视点,视图采集系统中的摄像机的数量应尽可能多,但摄
    像机组能提供的视点信息是有限的,离散的,并且是固定的,无法满足用户切换视点的
    多变性,所以在客户端进行虚拟视点的绘制是非常必要的。本发明研究的就是一种新的
    虚拟视点绘制方法,通过对已有视点的分析,合成用户所要观察的视点。

    虚拟视点绘制技术作为多媒体领域一项非常重要的新兴技术,已经为越来越多的科
    研单位和团体所重视,新的算法也相继提出,虚拟绘制问题的解决方法正在逐步构成体
    系。虚拟视点绘制的算法目前可大致分为两类,即基于模型的绘制(参见毕家瑜,张之
    江,董志华.多视点立体显示系统建模及分析[J]光学技术.2009.35(4).575-583.)和基
    于图像的绘制(参见安平,张倩,鞠芹,王贺,张兆杨.用于3DTV的图像绘制技术[J]电
    视技术.2010.34(01):49-51.)。其中,基于图像的绘制方法由于具有真实感强,不需要
    复杂建模过程等优点,而优于基于模型的绘制方法,也因此基于图像的绘制方法得到了
    更广泛的应用和研究。

    基于图像的绘制方法可以根据采用场景几何信息的比例的多少分为三类:完全不用
    几何信息的方法,如光场法(参见Masaki?Kitahara,Hideaki?Kimata,Shinya?Shimizu,
    Kazuto?Kamikura,Yoshiyuki?Yashima.Progressive?Coding?of?Surface?Light?Fields?for?
    Efficient?Image?Based?Rendering[J].IEEE?Transactions?on?Circuits?and?Systems?for?Video?
    Technology.2007.17(11):1549-1557.)、全景建模法(参见高辉,王炜,张茂军.一种多
    视点全景图像自动生成的新方法[J]系统仿真学报.2009.21(6):1641-1646.)等;使用隐
    含集合信息的方法,如视图插值法(参见Naho?Inamoto,Hideo?Saito.Virtual?Viewpoint?
    Replay?for?a?Soccer?Match?by?View?Interpolation?From?Multiple?Cameras[C].IEEE
    Transactions?on?Multimedia.2007.9(6):1155-1166.)、深度图绘制法(参见Feng?Yamei,Li?
    Dongxiao,Luo?Kai,Zhang?Ming.Depth-Image?Based?View?Synthesis?for?Three-dimensional?
    Television[C].IEEE?Conference?on?Industrial?Electronics?and?Applications.2009:
    2428-2431.)等;使用明确几何信息的方法,如纹理映射法(参见Haldun?M.
    Ozaktas·Levent?Onural(Eds.).Three-Dimensional?Television,Capture,Transmission,
    Display[M].Springer.2008.62-69.)等。

    在诸多基于图像的绘制方法中,完全不用几何信息的方法虽然能够较快重建视点,
    但真实感较差,数据量较大;基于深度图的方法得到的虚拟视点视图效果较好,但深度
    图的获取本身就是一项难以攻克的任务;基于纹理映射的方法算法难度过大,而且不适
    用于真实场景。由此可见,目前的虚拟视点绘制领域中,尚未出现一种能够兼顾快速性、
    准确性和普遍适应性的绘制方法。

    本发明使用更容易获取的视差信息代替深度图,采用双向视差与图像插值相结合
    的方案,能够较好的克服这两种算法单独使用出现的缺点,在满足运行时间较短的同时
    得到视觉效果令人满意的虚拟视点视图;并且可以一步合成可观赏的虚拟视图,而无需
    对初步合成的视图进行补偿和后处理,方法直接有效,运算效率高。

    发明内容

    本发明要解决的技术问题是:

    为克服现有技术的不足,本发明提供一种基于自适应视差估计的虚拟视点绘制方
    法,与同类方法相比,本方法直接有效,节省视点初步合成以及对不理想效果进行补偿
    的额外运算量和运行时间,能够直接得到满足人类视觉观赏的虚拟视图;另外,本方法
    针对性强,针对水平摄像机组拍摄的满足双目视觉原理的输入图像组,仅在水平方向进
    行搜索,进一步加快方法运行速度,提高运算效率,更快找到最佳匹配点。

    本发明解决其技术问题所采用的技术方案包括:

    一种基于块匹配视差估计的中间视图合成方法,其特征在于实现步骤如下:

    (1)读入两幅初始图像,并按照视差估计和虚拟视点合成的要求对读入的两幅初
    始图像进行预处理;

    (2)以两幅初始图像中的一幅为目标图像,另一幅为参考图像,使用自适应选择
    窗口大小的视差估计方法,求出参考图像到目标图像的视差矢量图:首先计算出目标图
    像中每个M×N大小的块与参考图像中匹配块之间的位移矢量,再计算出目标图像中每
    个(M/2)×(N/2)大小的块与参考图像中匹配块之间的位移矢量,最后根据误差最小原则
    对每一块自适应地在以上两种匹配模式中选择较优模式;然后交换目标图像和参考图
    像,得到双向视差信息;

    (3)根据步骤(2)求出的双向视差矢量图,以及预处理后两幅初始图像的灰度及
    纹理信息,利用双目视觉原理和反向映射方法,直接在两幅初始图像中寻找待合成视图
    的每个像素点,将两幅初始图像中分别找到的最佳匹配点与视差信息相结合,根据位置
    参数进行加权运算,最后得到完整的虚拟视点绘制结果。

    所述步骤(1)中,对输入的图像组进行预处理的具体实现如下:

    (1.1)读入两幅初始图像,所述两幅初始图像由水平摄像机组在同一时刻拍摄自同
    一场景,所述两幅初始图像仅在拍摄视角上存在差异且尺寸相同;

    (1.2)若两幅初始图像为彩色图像,则分别将其转化为灰度图像;若两幅输入图像
    为灰度图像,则开始视差估计不同大小块匹配;

    (1.3)对两幅灰度图像进行扩边处理,在每一幅图像的左右各增加b个像素,b须
    满足包含所有双目视图中只存在于一幅视图的场景内容,并令增加的像素灰度值为0,
    即参考图像高度不变,宽度增加2×b个单位,且增加的部分为黑色,并且另外开辟空间
    保存。

    所述步骤(2)中,自适应选择窗口大小的视差估计的具体实现如下:

    (2.1)首先将目标图像分为M×N的块,称为宏块,其中M为每块宽度,N为高度,
    求出目标图像与参考图像对应位置块的SAD,作为搜索时用于比较的初始值;SAD定
    义为目标图像块与参考图像块之间的绝对值误差和,计算方法如下:

    SAD [ T ( m , n ) , R ( p , q ) ] = Σ i = 1 M Σ j = 1 N | G T ( m + i , n + j ) - G R ( p + i , q + j ) | ]]>

    为其中块的大小为M×N,T(m,n)为目标图像中某一块的左上角点,(m,n)为T的位
    置坐标;R(p,q)为参考图像中某一块的左上角点,(p,q)为R的位置坐标;GT、GR分别
    为目标图像和参考图像在某一坐标点的灰度值;i、j为遍历参数,分别依次取从0到
    M-1和从0到N-1之间的整数;

    对目标图像中的每一宏块,在参考图像中寻找灰度最接近块,具体为,计算每一宏
    块匹配范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位
    置即为最佳匹配块,并保留这个SAD最小值,记为其中上标M×N代表所使
    用块的宽度乘以高度,代表尺寸;下标min代表这个SAD是所有匹配位置得到的SAD
    的最小值;当块的尺寸为正方形,即M=N时,将这个SAD最小值记为
    将搜索到的最佳匹配块位置记录下来,并求出目标块与最佳匹配块之间的位移矢
    量,即视差,记作

    d ( m , n ) M × N = ( m - p , n - q ) ]]>

    其中上标M×N代表所使用块的宽度乘以高度,表示尺寸;下标(m,n)代表待匹配的
    目标块的左上角坐标,(i,j)表示视差矢量值,即水平方向和垂直方向上目标块和最佳匹
    配块的相对位移;当块的尺寸为正方形,即M=N时,同一块的视差值记作

    对目标图像中的每一宏块进行匹配,求出每一宏块与参考图像中最佳匹配块之间的
    SAD和;

    (2.2)将目标图像重新分块,分为(M/2)×(N/2)的块,称为子块,重复步骤(2.1)
    中所述对目标图像中的每一块在参考图像中寻找灰度最接近块的方法,计算每一块匹配
    范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位置即为
    最佳匹配块,并保留这个SAD最小值,记为将搜索到的最佳匹配块位
    置记录下来,并求出目标块与最佳匹配块之间的位移矢量,即视差,记作

    (2.3)使用SAD最小准则选择较优匹配模式,即比较1个M×N大小的宏块与最佳
    匹配块之间的SAD值和4个(M/2)×(N/2)大小的子块与它们各自的最佳匹
    配块之间的SAD值之和,记为而每块最终视差为:

    d ( m , n ) final M × N = d ( m , n ) M × N , SAD min M × N Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 , SAD min M × N > Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) ]]>

    其中为子块视差矩阵,(m,n)表示4个子块中最左上角的坐标;符号
    [·]4表示子块视差矩阵由与宏块位置对应的4个子块组成:

    [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 = d ( m , n ) ( M / 2 ) × ( N / 2 ) d ( m , n + N / 2 ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n + N / 2 ) ( M / 2 ) × ( N / 2 ) ]]>

    所述步骤(3)中,反向映射进行虚拟视点绘制的具体实现如下:

    (3.1)求出左视图到右视图的视差图dLR中的最大值dLRmax,然后对于待合成的虚拟
    视点视图中每一点(X,Y),求函数gL(x)=|X-(x+αdRL(x,y))|在x∈[X-αdRLmax,X+αdRLmax]区
    间内的最小值,记为gLmin(xL),并保存使gLmin(x)取得最小的x值,记为xL,至此已找出对
    于待合成的虚拟视点视图中每一点,左视图中与之最相近的点;

    (3.2)求出右视图到左视图的视差图dRL中的最大值dRLmax,然后对于待合成的虚拟
    视点视图中每一点(X,Y),求函数gR(x)=|xI-(x+αdLR(x,y))|在x∈[xI-αdLR,xI+αdLR]区间内
    的最小值min(gR(x))=gR(xR),并保存xR,至此已找出对于待合成的虚拟视点视图中每一点,
    右视图中与之最相近的点;

    (3.3)按照亮度加权公式IM(x,y)=(1-α)IL(xL,y)+αIR(xR,y),直接从左右视图中与待
    合成视图间最相近点,得到中间视图合成的结果IM。

    本发明与现有技术相比所具有的优点:

    (1)本发明在获取视差的步骤中做到了自适应地选择匹配模式(即窗口大小),采用
    局部全搜索路线使获得最优匹配,搜索精度高于经典视差估计算法的其它搜索路线,另外,
    获取视差图所用时间较常规像素级搜索方法大大缩短,同时准确度较固定块搜索方案有较大
    提升;

    (2)本发明依据双目视觉原理,在视差估计的搜索环节中,针对水平摄像机组得到的
    图像理论上不存在垂直方向视差这一特点,仅对水平方向进行搜索匹配,大大减小了搜索范
    围,从而减少了很大一部分运算量。

    (3)本发明在视图合成步骤中能够一次性合成完整可观赏的指定视点视图,不用经过
    区域性补偿或空洞填补等后处理环节,简化了算法,提高了虚拟视点绘制的效率。

    附图说明

    图1所示为本发明的机遇自适应视差估计的虚拟视点绘制方法流程图;

    图2所示分别为标准视频序列“ballroom.yuv”中第3、4视点的第1帧位图文件,
    即本发明中实例的输入视图,其中图(a)为左视图,(b)为右视图;

    图3所示分别为对两幅输入视图进行预处理后的结果,其中扩边后的左视图为参考图
    像,即图(a),未进行扩边处理的右视图为目标图像,即图(b);

    图4所示分别为对两幅输入视图进行预处理后的结果,其中扩边后的右视图为参考图
    像,即图(a),进行扩边处理的左视图为目标图像,即图(b);

    图5所示为进行自适应视差匹配的程序流程图;

    图6所示为使用反向映射绘制虚拟视点的程序流程图;

    图7所示为本发明使用方法对图2所示输入视图进行虚拟视点绘制的结果,其中位置参
    数α=0.5。

    具体实施方式

    本发明为一种基于自适应视差估计的虚拟视点绘制方法,属于多目数字图像处理领
    域的虚拟视点绘制范畴,具体为对水平摄像机组同步拍摄的两幅图像进行自适应选择窗口
    模式的视差估计,获得双向视差图,然后根据所获得的视差信息,以及输入视图的灰度信息,
    根据反向映射原理,对待合成视图当中的每一个坐标位置,分别在左右视图当中寻找最接近
    待合成视点视图灰度的对应点,最后通过亮度加权得到待合成的虚拟视点视图。

    本实例中所有“视图”、“图像”均指数字位图,横坐标为从左至右,纵坐标为从上至下,
    均为从0为初始计数点,像素点表示形式为(x,y)。图1所示为本发明的基于自适应视差估
    计的虚拟视点绘制方法流程图。本发明具体实施步骤如下:

    (1)读入两幅初始图像,并按照视差估计和虚拟视点合成的要求对读入的两幅初
    始图像进行预处理,这一步骤的具体实施过程包括如下3个步骤:

    (1.1)读入两幅初始图像,所述两幅初始图像由水平摄像机组在同一时刻拍摄自同
    一场景,所述两幅初始图像仅在拍摄视角上存在差异且尺寸相同,本实例中读入标准视
    频序列“ballroom.yuv”中第3、4视点的第1帧作为初始图像,以下分别称为左视图和
    右视图。这两幅图像满足由水平摄像机组,在同一时刻拍摄自同一场景的条件,仅在拍
    摄视角上存在差异(参见图2)。

    (1.2)若两幅初始图像为彩色图像,则分别将其转化为灰度图像,若两幅输入图像
    为灰度图像,则开始视差估计不同大小块匹配。彩色图像转换为灰度图像的公式为:
    gray(x,y)=0.11R(x,y)+0.59G(x,y)+0.30B(x,y)

    其中(x,y)表示某一像素点位置,gray、R、G、B分别表示位于同一位置的像素点的
    灰度值、红色分量、绿色分量和蓝色分量。

    (1.3)对两幅灰度图像进行扩边处理,在每一幅图像的左右各增加b个像素,b须
    满足包含所有双目视图中只存在于一幅视图的场景内容,并令增加的像素灰度值为0,
    即参考图像高度不变,宽度增加2×b个单位,且增加的部分为黑色,并且另外开辟空间
    保存。以下提到的目标图像为扩边之前的输入灰度图像,参考图像均为扩边之后的图像,
    具体分别参见图3、图4,其中图3为左视图为参考图像,右视图为目标图像;图4为
    左视图为目标图像,右视图为参考图像。

    (2)以两幅初始图像中的一幅为目标图像,另一幅为参考图像,使用自适应选择
    窗口大小的视差估计方法,求出参考图像到目标图像的视差矢量图:首先计算出目标图
    像中每个M×N大小的块与参考图像中匹配块之间的位移矢量,再计算出目标图像中每
    个(M/2)×(N/2)大小的块与参考图像中匹配块之间的位移矢量,最后根据误差最小原则
    对每一块自适应地在以上两种匹配模式中选择较优模式;然后交换目标图像和参考图
    像,得到双向视差信息;

    (2.1)首先以右视图为目标图像,左视图为参考图像,求取从左到右的视差矢量图。
    具体为首先将目标图像分为M×N的块,称为宏块,其中M为每块宽度,N为高度,求
    出目标图像与参考图像对应位置块的SAD,作为搜索时用于比较的初始值;SAD定义
    为目标图像块与参考图像块之间的绝对值误差和,计算方法如下:

    SAD [ T ( m , n ) , R ( p , q ) ] = Σ i = 1 M Σ j = 1 N | G T ( m + i , n + j ) - G R ( p + i , q + j ) | ]]>

    为其中块的大小为M×N,T(m,n)为目标图像中某一块的左上角点,(m,n)为T的位
    置坐标;R(p,q)为参考图像中某一块的左上角点,(p,q)为R的位置坐标;GT、GR分别
    为目标图像和参考图像在某一坐标点的灰度值;i、j为遍历参数,分别依次取从0到
    M-1和从0到N-1之间的整数;

    对目标图像中的每一宏块,在参考图像中寻找灰度最接近块,具体为,计算每一宏
    块匹配范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位
    置即为最佳匹配块,并保留这个SAD最小值,记为其中上标M×N代表所使
    用块的宽度乘以高度,代表尺寸;下标min代表这个SAD是所有匹配位置得到的SAD
    的最小值;当块的尺寸为正方形,即M=N时,将这个SAD最小值记为

    将搜索到的最佳匹配块位置记录下来,并求出目标块与最佳匹配块之间的位移矢
    量,即视差,记作

    d ( m , n ) M × N = ( m - p , n - q ) ]]>

    其中上标M×N代表所使用块的宽度乘以高度,表示尺寸;下标(m,n)代表待匹配的
    目标块的左上角坐标,(i,j)表示视差矢量值,即水平方向和垂直方向上目标块和最佳匹
    配块的相对位移;当块的尺寸为正方形,即M=N时,同一块的视差值记作

    对目标图像中的每一宏块进行匹配,求出每一宏块与参考图像中最佳匹配块之间的
    SAD和;

    (2.2)将目标图像重新分块,分为(M/2)×(N/2)的块,称为子块,重复步骤(2.1)
    中所述对目标图像中的每一块在参考图像中寻找灰度最接近块的方法,计算每一块匹配
    范围内每个位置与待匹配块之间的SAD,使SAD值取得最小的参考图像对应位置即为
    最佳匹配块,并保留这个SAD最小值,记为将搜索到的最佳匹配块位
    置记录下来,并求出目标块与最佳匹配块之间的位移矢量,即视差,记作

    (2.3)使用SAD最小准则选择较优匹配模式,即比较1个M×N大小的宏块与最佳
    匹配块之间的SAD值和4个(M/2)×(N/2)大小的子块与它们各自的最佳匹
    配块之间的SAD值之和,记为而每块最终视差

    d ( m , n ) final M × N = d ( m , n ) M × N , SAD min M × N Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 , SAD min M × N > Σ i = 1 4 SAD min ( M / 2 ) × ( N / 2 ) ]]>

    其中为子块视差矩阵,(m,n)表示4个子块中最左上角的坐标;符号
    [·]4表示子块视差矩阵由与宏块位置对应的4个子块组成:

    [ d ( m , n ) ( M / 2 ) × ( N / 2 ) ] 4 = d ( m , n ) ( M / 2 ) × ( N / 2 ) d ( m , n + N / 2 ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n ) ( M / 2 ) × ( N / 2 ) d ( m + M / 2 , n + N / 2 ) ( M / 2 ) × ( N / 2 ) ]]>

    对目标图像中的每一块均进行步骤(i)到步骤(iii)的重复,即可得到从左到右
    的视差矢量图,进行自适应视差匹配的程序流程图参见图5;

    (2.4)然后求取从右到左的视差矢量图,即以左视图为目标图像,右视图为参考
    图像,对左视图中的每一块重复步骤(2.1)到步骤(2.3)。

    (3)根据步骤(2)求出的双向视差矢量图,以及预处理后两幅初始图像的灰度及
    纹理信息,利用双目视觉原理和反向映射方法,直接在两幅初始图像中寻找待合成视图
    的每个像素点,将两幅初始图像中分别找到的最佳匹配点与视差信息相结合,根据位置
    参数进行加权运算,最后得到完整的虚拟视点绘制结果。虚拟视点绘制过程的具体流程
    参见图6。

    (3.1)首先求出左视图到右视图的视差图dLR中的最大值dLRmax,然后对于待合成的
    虚拟视点视图中每一点(X,Y),求函数gL(x)=|X-(x+αdRL(x,y))|在
    x∈[X-αdRLmax,X+αdRLmax]区间内的极小值,记为gLmin(xL),并保存极小值点最小的x值,
    记为xL,至此已找出对于待合成的虚拟视点视图中每一点,左视图中与之最相近的点;

    (3.2)求出右视图到左视图的视差图dRL中的最大值dRLmax,对于待合成的虚拟视点
    视图中每一点(X,Y),求函数gR(x)=|X-(x+αdLR(x,y))|在x∈[X-αdLR,X+αdLR]区间内的极
    小值,记为gRmin(xR),并保存极小值点的x值,记为xR,至此已找出对于待合成的虚拟视点
    视图中每一点,右视图中与之最相近的点;

    (3.3)按照亮度加权公式IM(x,y)=(1-α)IL(xL,y)+αIR(xR,y),直接从左右视图中与待
    合成视图间最相近点,得到中间视图合成的结果IM,参见图7,其中位置参数α=0.5。这
    一亮度加权公式充分利用了左视图、右视图的灰度分布信息,以及左视图到右视图,和右视
    图到左视图的两个视差场,因此得到的结果是比较准确的。从附图实例证明,本发明确实得
    到了很好的视觉效果。

    关于本文
    本文标题:一种基于块匹配视差估计的中间视图合成方法.pdf
    链接地址://www.4mum.com.cn/p-5870683.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • pk10一天稳赚几百块 海南七星彩免费6组头尾 时时彩组选包胆走势图 pc蛋蛋如何稳赚不赔 福建时时几点开始 新版手机上市 排列3技巧规律 山东时时手机下载 pc蛋蛋28软件下载 龙虎官网下载 pk10两期计划 11选5稳赚公式 河内5分彩手机全天计划软件 聚富视界软件app下载 分分彩组选包胆 快三单双稳赚买法