• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩真有高手吗: 一种基于彩色图像分割的KINECT深度图修复方法.pdf

    关 键 词:
    一种 基于 彩色 图像 分割 KINECT 深度 修复 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201510117062.5

    申请日:

    2015.03.17

    公开号:

    CN104680496A

    公开日:

    2015.06.03

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 5/00申请日:20150317|||公开
    IPC分类号: G06T5/00; G06T7/00 主分类号: G06T5/00
    申请人: 山东大学
    发明人: 陈辉; 李海坤
    地址: 250199山东省济南市历城区山大南路27号
    优先权:
    专利代理机构: 济南金迪知识产权代理有限公司37219 代理人: 吕利敏
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510117062.5

    授权公告号:

    ||||||

    法律状态公告日:

    2018.01.05|||2015.07.01|||2015.06.03

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明涉及一种基于彩色图像分割的Kinect深度图修复方法,本方法将对应的彩色图像分割结果作为参考信息修复深度图,来重建深度图的无效区域,再利用彩色图像作为引导信息对重建后的深度图滤波,达到去噪的效果;以实现在同时拍摄的彩色图像的提供参考信息的基础上,通过对彩色图像分割处理,获得深度图空洞重建区域,得到较好质量的Kinect深度图。

    权利要求书

    权利要求书
    1.  一种基于彩色图像分割的Kinect深度图修复方法,其特征在于,包括步 骤如下:
    A、获取彩色图像和深度图;
    B、对彩色图像做分割预处理;
    C、缺失深度值Dp估计;
    对空洞边界上缺失深度值的像素p所在的分割物体区域Rk,在分割后的彩色 图像中选择对应的分割物体区域Rk;在深度图的分割物体区域Rk中,选择像素p 周围深度值已知的像素点的深度值Dq;利用彩色图像中的分割物体区域Rk和深度 图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计,得到中间深度图;
    D、对中间深度图进行去噪。

    2.  如权利要求1所述的基于彩色图像分割的Kinect深度图修复方法,其特 征在于:所述步骤A、获取彩色图像和深度图的方法包括:
    使用Kinect相机同时获取彩色图像和深度图,将所述彩色图像和深度图对 齐。

    3.  如权利要求1所述的基于彩色图像分割的Kinect深度图修复方法,其特 征在于:所述步骤B、对彩色图像做分割预处理的方法包括:
    对彩色图像进行图像分割,得到彩色图像的所有分割物体区域;彩色图像分 割后的分割物体区域为(R1,R2,…,Rn),其中,n是分割物体区域的个数。

    4.  如权利要求1所述的基于彩色图像分割的Kinect深度图修复方法,其特 征在于:所述步骤C、缺失深度值估计的方法包括:
    在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估 计;对空洞边界上缺失深度值的像素p所在的分割物体区域Rk,其中,k∈ (1,…,n),在分割后的彩色图像中选择对应的分割物体区域Rk;在深度图的分 割物体区域Rk中,使用像素p周围深度值已知的像素点的深度值Dq计算p的深 度值Dp,Dp的计算公式为:
    D p = 1 Σ ω q ( Σ q ∈ N ( p ) , q ∈ R k ω q D q ) ]]>
    其中,N(p)表示像素邻域,所述像素邻域是M×M的正方形窗口,ωq表示 深度值Dp的群权重,是空域高斯权重ωqs和颜色高斯权重ωqc的乘积,即:
    ωq=ωqsωqc
    空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示 两者之间距离对深度值Dp的群权重ωq的影响;
    ω qs = exp ( - | | s p - s q | | 2 2 σ s 2 ) = exp ( - ( x p - x q ) 2 + ( y p - y q ) 2 2 σ s 2 ) ]]>
    σs表示空域高斯权重ωqs的标准差,是根据实际应用选择的;
    颜色高斯权重ωqc由彩色图像中像素p的颜色值Cp(Rp,Gp,Bp)和彩色图像中 像素q的颜色值Cq(Rq,Gq,Bq)定义,表示两者之间颜色差异对深度值Dp的群权重 ωq的影响;
    ω qc = exp ( - | | C p - C q | | 2 2 σ c 2 ) = exp ( - ( R p - R q ) 2 + ( G p - G q ) 2 + ( B p - B q ) 2 2 σ c 2 ) ]]>
    σc表示颜色高斯权重ωqc的标准差,是根据实际应用选择的。

    5.  如权利要求1所述的基于彩色图像分割的Kinect深度图修复方法,其特 征在于:所述步骤D中所述去噪的方法是引导滤波的方法;以彩色图像作为引导 信息,采用引导滤波(Guided filter)进行滤波。

    6.  如权利要求1所述的基于彩色图像分割的Kinect深度图修复方法,其 特征在于:所述步骤D中所述去噪的方法是双边滤波。

    说明书

    说明书一种基于彩色图像分割的Kinect深度图修复方法
    技术领域:
    本发明涉及一种基于彩色图像分割的Kinect深度图修复方法,属于图像处 理的技术领域。
    背景技术:
    随着立体显示技术和视频处理技术的发展,深度图成为近年来立体视觉技术 中的研究热点,并被广泛应用于三维重建、3D电视、深度图像渲染(DIBR)、图 像分割等众多领域。深度图可以通过立体匹配算法或深度相机获得。立体匹配算 法是在由双目相机获取的图像对中确定像素对应点来计算视差图,然后根据几何 关系转换为深度图。由于该类方法计算成本高,大部分的立体匹配方法无法用于 实际应用。深度相机直接获取深度信息,一般通过发射和接收反射光来计算深度 信息以实现深度信息的实时提取。
    随着传感器技术的发展,现在市场上出现了很多深度摄像机。其中Kinect 是由微软研发的深度相机,可以同时获得深度图和彩色图像。由于价格低以及实 时的深度图像获取能力,Kinect相机在游戏产业和科学研究中都得到了广泛应 用。但Kinect获取的深度图也存在着很多问题。首先,由于作用距离的限制以 及反射、遮挡等因素影响,Kinect深度图存在很多空洞——没有有效深度的区 域,特别是在前景对象的边界部分;第二,Kinect深度图中也存在着严重噪声。
    Kinect的深度图需修复以便用于需要高质量深度图的实际应用中,在这个 问题上人们已有很多研究。Dan Miao等在论文“Texture-assisted Kinect Depth  Inpainting”中提出了利用彩色图像纹理作为辅助信息的Kinect的深度修补算 法,其中,在彩色图像中纹理边缘被提取为辅助信息,在深度图中对平滑区域和 边缘区域中采用不同的修复方案。Junyi Liu等人在论文“Guided Inpainting  and Filtering for Kinect Depth Maps”中提出了引导快速行进算法(guided  fast marching method,GFFM)来修复Kinect深度图。S.Matyunin在论文 “Temporal filtering for depth maps generated by Kinect depth camera” 提出了使用从视频中物体的运动和颜色信息来处理Kinect深度图。但是现有的 Kinect深度图修复方法很难处理大的空洞,在由于边界遮挡而形成空洞处也难 于给出比较准确的深度值。
    发明内容:
    针对现有技术方案所存在的缺陷和不足,本发明提供一种基于彩色图像分割 的Kinect深度图修复方法,本方法将对应的彩色图像分割结果作为参考信息修 复深度图,来重建深度图的无效区域,再利用彩色图像作为引导信息对重建后的 深度图滤波,达到去噪的效果;以实现在同时拍摄的彩色图像的提供参考信息的 基础上,通过对彩色图像分割处理,获得深度图空洞重建区域,得到较好质量的 Kinect深度图。
    专业技术术语:
    有效深度:在Kinect获得的深度图是一副灰度图,灰度取值范围在[0,255] 之间,有效深度指取值范围在[1,255]之间的深度,而无效深度是指由于遮挡、 反光等因素而造成的取值为0的深度,表示Kinect相机没有获得该像素的实际 深度。
    引导滤波:是现有的一种新的滤波技术,使用一副图像(引导图像)对另一 幅图像进行滤波,能够有效的保持待滤波图像的边缘信息。
    本发明的技术方案如下:
    一种基于彩色图像分割的Kinect深度图修复方法,包括步骤如下:
    A、获取彩色图像和深度图;
    将同时获得的彩色图像和深度图对齐;
    B、对彩色图像做分割预处理;
    对彩色图像做分割预处理,得到彩色图像的所有分割物体区域;
    C、缺失深度值Dp估计;
    对空洞边界上缺失深度值的像素p所在的分割物体区域Rk,在分割后的彩色 图像中选择对应的分割物体区域Rk;在深度图的分割物体区域Rk中,选择像素p 周围深度值已知的像素点的深度值Dq;利用彩色图像中的分割物体区域Rk和深度 图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计,得到中间深度图;
    使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值,并只在 同一个分割物体区域Rk中的像素被选择用于计算,这避免不同的对象的深度值的 干扰,因此它可以产生一个具有更精确边界的深度图;
    D、对中间深度图进行去噪。
    本发明所述方法包括两个大的步骤。首先基于彩色图像分割给出估计的空洞 中缺失的深度值;第二,对空洞填充后的深度图进行滤波去噪。本方法的创新在 于,利用彩色图像分割结果在深度图估计缺失的深度值,从而可以消除在计算深 度值过程中的不同物体的影响,并在深度图中给出前景物体的更准确的边界。在 深度图修复中使用彩色图像作为引导,颜色信息被用来区分不同的物体。假定具 有类似颜色的相邻像素属于同一物体,具有相似的深度值。
    根据本发明优选的,所述步骤A、获取彩色图像和深度图的方法包括:
    使用Kinect相机同时获取彩色图像和深度图,将所述彩色图像和深度图对 齐;所述对齐是指所获取的彩色图像和深度图中,同一位置的彩色像素和深度值 是一一对应的。
    根据本发明优选的,所述步骤B、对彩色图像做分割预处理的方法包括:
    对彩色图像进行图像分割,得到彩色图像的所有分割物体区域;彩色图像分 割后的分割物体区域为(R1,R2,…,Rn),其中,n是分割物体区域的个数;
    在步骤A中已经将所述彩色图像和深度图进行了对齐处理,因此所述分割物 体区域,在彩色图像和深度图中表示坐标位置相同的区域。
    图像分割是现有的图像处理技术,这里的分割可以采用一些常见方法,例如 分水岭的方法,mean shift方法。
    根据本发明优选的,所述步骤C、缺失深度值估计的方法包括:
    在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估 计;对空洞边界上缺失深度值的像素p所在的分割物体区域Rk,其中,k∈ (1,…,n),在分割后的彩色图像中选择对应的分割物体区域Rk;按照现有技术 沿着空洞边界,从外到内可以有效地利用已有的深度值(包括实际拍摄和估计得 到的)对无效深度进行计算。在深度图的分割物体区域Rk中,使用像素p周围深 度值已知的像素点的深度值Dq计算p的深度值Dp,Dp的计算公式为:
    D p = 1 Σ ω q ( Σ q ∈ N ( p ) , q ∈ R k ω q D q ) - - - ( 1 ) ]]>
    其中,N(p)表示像素邻域,所述像素邻域是M×M的正方形窗口,ωq表示 深度值Dp的群权重,是空域高斯权重ωqs和颜色高斯权重ωqc的乘积,即:
    ωq=ωqsωqc    (2)
    空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示 两者之间距离对深度值Dp的群权重ωq的影响;
    ω qs = exp ( - | | s p - s q | | 2 2 σ s 2 ) = exp ( - ( x p - x q ) 2 + ( y p - y q ) 2 2 σ s 2 ) - - - ( 3 ) ]]>
    σs表示空域高斯权重ωqs的标准差,是根据实际应用选择的;
    颜色高斯权重ωqc由彩色图像中像素p的颜色值Cp(Rp,Gp,Bp)和彩色图像中 像素q的颜色值Cq(Rq,Gq,Bq)定义,表示两者之间颜色差异对深度值Dp的群权重 ωq的影响;
    ω qc = exp ( - | | C p - C q | | 2 2 σ c 2 ) = exp ( - ( R p - R q ) 2 + ( G p - G q ) 2 + ( B p - B q ) 2 2 σ c 2 ) - - - ( 4 ) ]]>
    σc表示颜色高斯权重ωqc的标准差,是根据实际应用选择的;
    使用像素p周围深度值已知的像素点的深度值计算p的深度值Dp,并只在同 一个分割物体区域Rk中的像素被选择用于计算,用于产生一个具有更精确边界的 深度图;对Dp的值进行计算的过程即是对深度图中的空洞进行重建的过程,得 到空洞重建后的中间深度图;只在同一个分割物体区域Rk中的像素被选择用于计 算,这避免不同的对象的深度值的干扰。
    根据本发明优选的,所述步骤D中所述去噪的方法是引导滤波的方法;以 彩色图像作为引导信息,采用引导滤波(Guided filter)进行滤波。
    根据本发明优选的,所述步骤D中所述去噪的方法是双边滤波。
    本发明的优势在于:
    1、本发明所述基于彩色图像分割的Kinect深度图修复方法,利用彩色图像 分割结果在深度图估计缺失的深度值,从而可以消除在计算深度值过程中的不同 物体的影响,并在深度图中给出前景物体的更准确的边界;
    2、本发明所述基于彩色图像分割的Kinect深度图修复方法,在同时拍摄的 彩色图像的提供参考信息的基础上,通过对彩色图像分割处理,获得深度图空洞 重建区域,得到较好质量的Kinect深度图;
    3、本发明所述基于彩色图像分割的Kinect深度图修复方法,步骤简单,易 于实现,信息处理量小,处理效率高,图像处理效果好。
    附图说明:
    图1为本发明所述基于彩色图像分割的Kinect深度图修复方法的流程图;
    图2是本发明所述基于彩色图像分割的Kinect深度图修复方法获取的彩色图像;
    图3是本发明所述基于彩色图像分割的Kinect深度图修复方法分割后的彩色图 像;
    图4是本发明所述基于彩色图像分割的Kinect深度图修复方法获取的深度图;
    图5是本发明所述基于彩色图像分割的Kinect深度图修复方法显示分割区域的 深度图;
    图6是本发明所述深度图空洞重建示意图;
    图7是本发明基于彩色图像分割的Kinect深度图修复方法输出的空洞重建后的 中间深度图;
    图8是本发明所述基于彩色图像分割的Kinect深度图修复方法输出的去噪后最 终深度图;
    图9是本发明所述基于彩色图像分割的Kinect深度图修复方法输出的显示彩色 图像分割区域的最终深度图。
    具体实施方式:
    下面结合实施例和说明书附图对本发明做详细的说明,但不限于此。
    实施例1、
    如图1-9所示。
    一种基于彩色图像分割的Kinect深度图修复方法,步骤如下:
    A、获取彩色图像和深度图;
    使用Kinect相机同时获取彩色图像和深度图,将所述彩色图像和深度图对 齐;图2为彩色图像,图4为深度图,场景为实验室中的站立人;
    对齐是指我们获取的彩色图像和深度图中,同一位置的彩色像素和深度值是 一一对应的。
    B、对彩色图像做分割预处理;
    对彩色图像采用水岭的方法进行图像分割,得到彩色图像的所有分割物体区 域,假设彩色图像分割后的分割物体区域为(R1,R2,…,Rn),其中,n是分割 物体区域的个数;图3显示了彩色图像分割的结果,图4为深度图中标注了图像 分割区域边界作为比对;
    C、缺失深度值估计;
    在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估 计;对空洞边界上缺失深度值的像素p所在的分割物体区域Rk其中,k∈(1,n), 在分割后的彩色图像中选择对应的分割物体区域Rk;沿着空洞边界,从外到内可 以有效地利用已有的深度值(包括实际拍摄和估计得到的)对无效深度进行计算。 在深度图的分割物体区域Rk中,使用像素p周围深度值已知的像素点的深度值 Dq计算p的深度值Dp,Dp的计算公式为:
    D p = 1 Σ ω q ( Σ q ∈ N ( p ) , q ∈ R k ω q D q ) - - - ( 5 ) ]]>
    其中,N(p)表示像素邻域,所述像素邻域是M×M的正方形窗口,ωq表示Dp 的群权重,是空域高斯权重ωqs和颜色高斯权重ωqc的乘积,即:
    ωq=ωqsωqc    (6) 空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示两者 之间距离对权重ωq的影响;
    ω qs = exp ( - | | s p - s q | | 2 2 σ s 2 ) = exp ( - ( x p - x q ) 2 + ( y p - y q ) 2 2 σ s 2 ) - - - ( 7 ) ]]>
    σs表示空域高斯权重ωqs的标准差,可根据实际应用选择合适数值;
    颜色高斯权重ωqc由对应的彩色像素p的颜色值Cp(Rp,Gp,Bp)和像素q的颜色值 Cq(Rq,Gq,Bq)定义,表示两者之间颜色差异对权重ωq的影响;
    ω qc = exp ( - | | C p - C q | | 2 2 σ c 2 ) = exp ( - ( R p - R q ) 2 + ( G p - G q ) 2 + ( B p - B q ) 2 2 σ c 2 ) - - - ( 8 ) ]]>
    σc表示颜色高斯权重ωqc的标准差,可根据实际应用选择合适数值;
    使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值,并只在 同一个分割物体区域Rk中的像素被选择用于计算,这避免不同的对象的深度值的 干扰,因此它可以产生一个具有更精确边界的深度图;图6黑色部分示意了对像 素点p进行深度值估计所用的邻域范围;对Dp的值进行计算的过程实际上是对 深度图中的空洞进行重建的过程,得到空洞重建后的中间深度图,如图7。
    D、对重建完空洞的深度图进行去噪,如图8、图9。
    实施例2、
    如实施例1所述的一种基于彩色图像分割的Kinect深度图修复方法,区别 在于:步骤D中所述去噪的具体方法是引导滤波的方法;以彩色图像作为引导信 息,采用引导滤波(Guided filter)进行滤波。
    实施例3、
    如实施例1所述的一种基于彩色图像分割的Kinect深度图修复方法,区别 在于:步骤D中所述去噪的具体方法是双边滤波。

    关于本文
    本文标题:一种基于彩色图像分割的KINECT深度图修复方法.pdf
    链接地址://www.4mum.com.cn/p-5887146.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 江苏十一选五走势图江苏十一五期 中彩网首页 新疆十一选五结果 pk10冠军固定公式软件 北京11选5走势图任选基本走势图 棋牌游戏平台官网 购买福建11选5 星空棋牌官方下载 多乐彩74期开奖结果 pk10在线赛车计划配置 腾讯qq棋牌游戏下载 黑马股票推荐2017 灰熊打雄鹿分析 河南十一选五开奖走势图百度百度贴吧 江苏11选5在线观看 大富豪棋牌游戏大厅