• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩杀码软件下载: 一种基于2D/3D模态切换的RGBD图像配准方法.pdf

    关 键 词:
    一种 基于 切换 RGBD 图像 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201710018093.4

    申请日:

    2017.01.11

    公开号:

    CN106683125A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/30申请日:20170111|||公开
    IPC分类号: G06T7/30(2017.01)I; G06T7/90(2017.01)I 主分类号: G06T7/30
    申请人: 中国矿业大学
    发明人: 缪燕子; 金鑫; 卜淑萍; 许红盛; 金慧杰; 李晓东; 周笛
    地址: 221116 江苏省徐州市大学路中国矿业大学南湖校区科技处
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201710018093.4

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种基于2D/3D模态切换的RGB??D图像配准方法,首先利用RGB??D传感器获取环境的RGB图像和Depth图像,然后利用图像质量检测方法分别对RGB图像和Depth图像的质量进行检测,根据图像质量检测结果决定配准模态的优先级,并利用余下的另一种图像配准算法对其进行补充,同时把质量差的图像抛弃,减少了图像配准的时间。本发明合理利用了2D/3D这两种模态的信息,大大提高了图像配准的鲁棒性和实时性,同时拓宽了移动机器人的应用时间和空间,使其能够适用于更加复杂的环境。

    权利要求书

    1.一种基于2D/3D模态切换的RGB-D图像配准方法,其特征在于该方法包括的步骤为:
    步骤1、利用RGB-D传感器采集环境信息,并输出有序列的RGB图像和Depth图像;
    步骤2、对所采集的环境信息随机提取N个样本图像,分别检测其RGB图像质量和Depth
    图像质量,根据检测结果决定配准模态的优先级;
    步骤3、在N个样本中,若RGB图像中质量好的图像占整个样本的比例大于Depth图像中
    质量好的图像占整个样本的比例,则2D配准方法优先级高;反之,则3D配准方法优先级高;
    若环境中的纹理信息和结构信息同样丰富,也就是说环境中RGB图像和Depth图像的质量都
    好,此时选择2D配准方法;
    步骤4、根据步骤3中的结果,对2D/3D两种模态的粗配准方法进行选择:
    2D配准方法的优先级高时,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方
    法;若α=0,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准方法,若β=0,则抛弃
    该??;
    3D配准方法的优先级高时,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准
    方法;若β=0,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方法,若α=0,则抛弃
    该??;
    步骤5、根据步骤4中得到的粗配准结果,使用迭代最近点算法进行精配准,得到精确的
    配准结果和最终的运动参数估计。
    2.根据权利要求1所述的一种基于2D/3D模态切换的RGB-D图像配准方法,其特征在于:
    所述步骤2中,分别检测RGB-D传感器采集的RGB图像质量和Depth图像质量;对RGB图像质量
    判断时,若RGB图像中无特征的点所占比例低于比例阈值0.75,则RGB图像质量好,反之,RGB
    图像质量差;对Depth图像质量判断时,若Depth图像中有结构信息的点所占比例高于比例
    阈值0.85,则Depth图像质量好,反之,Depth图像质量差。
    3.根据权利要求1所述的一种基于2D/3D模态切换的RGB-D图像配准方法,其特征在于:
    所述步骤3中,根据图像质量检测结果决定配准方法的优先级,并利用余下的另一种图像配
    准算法对其进行补充,合理利用了2D/3D这两种模态的信息,提高了图像配准的鲁棒性。

    说明书

    一种基于2D/3D模态切换的RGB-D图像配准方法

    技术领域

    本发明属于移动机器人自主导航与定位领域,特别是涉及一种基于2D/3D模态切
    换的RGB-D图像配准方法。

    背景技术

    机器人对周围环境的认知及自定位是其自主导航的前提,因此,同时定位与地图
    构建(Simultaneous Localization and Mapping,SLAM)问题在自主移动机器人研究领域
    具有举足轻重的地位。近十年来,基于视觉传感器的SLAM取得了大量研究成果。在相对简单
    的结构化环境中,机器人能够建立环境的地图并实现自定位,完成导航及其他任务。但在复
    杂非结构化环境中,图像的环境颜色、亮度等信息容易受到光照、天气、季节的变化等影响,
    机器人要实现可靠的视觉SLAM,仍面临着众多的困难和挑战。图像配准是视觉SLAM过程中
    非常重要的步骤之一,其配准速度和精度将直接影响SLAM结果。

    目前常用的图像配准方法主要包括直接法和基于特征的图像配准方法。

    直接法是利用视觉传感器获取图像像素亮度信息,只要场景中存在明暗变化,通
    过亮度的变化进行梯度搜索,降低目标函数来计算传感器位姿。但是直接法是基于灰度不
    变假设的。实际上,由于物体的材质不同,场景中图像的像素会出现高光和阴影部分,有时
    传感器也会自动调整曝光参数,使得图像整体变亮或变暗,这些情况下灰度不变假设都是
    不成立的。因此,直接法的应用场景具有一定的局限性,图像配准结果不可靠。

    基于特征的图像配准方法包括基于特征的2D图像配准方法和基于特征的3D图像
    配准方法两种方法。

    基于特征的2D图像配准方法是利用传统2D视觉传感器,通过传感器获取的相邻两
    帧RGB图像对其进行特征点提取和特征点匹配,这样可以快速得到精确的配准结果。但是
    RGB图像的环境颜色、亮度等信息容易受到光照、天气、季节场景变化的影响,此时,2D图像
    配准方法对图像的特征点提取会不准确,甚至会出现提取不到图像的特征点的情况,大大
    降低了图像特征匹配的精度;

    基于特征的3D图像配准方法是利用3D深度传感器获取环境的结构信息,这些结构信息
    不容易受到光照、天气、季节场景变化的影响,通过对获取到的相邻两帧图像进行特征点提
    取和特征点匹配,这提高了图像配准的精度。但是当3D深度传感器的应用环境中没有足够
    的结构信息时,3D图像配准方法就无法得到环境的纹理信息,而且这种方法计算量大,配准
    算法的实时性较差。

    发明内容

    针对现有技术中图像配准质量不高的问题,本发明的目的在于提供一种基于2D/
    3D模态切换的RGB-D图像配准方法,通过利用RGB-D传感器可以同时获取环境的RGB和Depth
    图像信息,根据图像质量检测结果决定配准模态的优先级,并利用余下的另一种图像配准
    算法对其进行补充,实现图像的准确配准。

    本发明采用的技术方案步骤如下:

    步骤1、利用RGB-D传感器采集环境信息,并输出有序列的RGB图像和Depth图像;

    步骤2、对所采集的环境信息随机提取N个样本图像,分别检测其RGB图像质量和Depth
    图像质量,根据检测结果决定配准模态的优先级;

    步骤3、在N个样本中,若RGB图像中质量好的图像占整个样本的比例大于Depth图像中
    质量好的图像占整个样本的比例,则2D配准方法优先级高;反之,则3D配准方法优先级高;
    若环境中的纹理信息和结构信息同样丰富,也就是说环境中RGB图像和Depth图像的质量都
    好,此时选择2D配准方法;

    步骤4、根据步骤3中的结果,对2D/3D两种模态的粗配准方法进行选择:

    2D配准方法的优先级高时,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方
    法;若α=0,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准方法,若β=0,则抛弃
    该??;

    3D配准方法的优先级高时,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准
    方法;若β=0,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方法,若α=0,则抛弃
    该??;

    步骤5、根据步骤4中得到的粗配准结果,使用迭代最近点算法进行精配准,得到精确的
    配准结果和最终的运动参数估计。

    由于上述技术方案的应用,本发明与现有技术相比具有下列优点:

    1)本发明可以获取精确的场景三维信息,尤其可以突破现有图像配准系统对光照条件
    的依赖;

    2)本发明可对图像的质量作判断,抛弃质量差的图像,能够减少图像配准系统的计算
    时间,提高配准效率;

    3)本发明根据图像质量检测结果决定配准模态的优先级,并利用余下的另一种图像配
    准算法对其进行补充,合理利用了2D/3D这两种模态的信息,大大提高了图像配准的鲁棒
    性,并且拓宽了移动机器人的应用时间和空间,使其能够适用于更加复杂的环境。

    附图说明

    下面基于附图来详细描述本发明的实施方式,附图中:

    附图1是本发明的工作流程图。

    附图2是RGB配准方法流程图。

    附图3是Depth配准方法流程图。

    具体实施方式

    下面结合附图和具体实施例,进一步阐明本发明。

    步骤1、利用RGB-D传感器采集环境信息,并输出有序列的RGB图像和Depth图像;

    步骤2、对所采集的环境信息随机提取N个样本图像,分别检测其RGB图像质量和Depth
    图像质量,根据检测结果决定配准模态的优先级;

    步骤3、在N个样本中,若RGB图像中质量好的图像占整个样本的比例大于Depth图像中
    质量好的图像占整个样本的比例,则2D配准方法优先级高;反之,则3D配准方法优先级高;
    若环境中的纹理信息和结构信息同样丰富,也就是说环境中RGB图像和Depth图像的质量都
    好,此时选择2D配准方法;

    步骤4、根据步骤3中的结果,对2D/3D两种模态的粗配准方法进行选择:

    2D配准方法的优先级高时,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方
    法;若α=0,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准方法,若β=0,则抛弃
    该??;

    3D配准方法的优先级高时,则对该帧图像进行结构信息判断,若β=1,则采用Depth配准
    方法;若β=0,则对该帧图像进行纹理信息判断,若α=1,则采用RGB配准方法,若α=0,则抛弃
    该??;

    步骤5、根据步骤4中得到的粗配准结果,使用迭代最近点算法进行精配准,得到精确的
    配准结果和最终的运动参数估计。

    以上所述步骤2中,对RGB图像质量的判断,包括如下步骤:

    1)将RGB图像转换为灰度图像;

    2)在灰度图像中,设置像素大小为3*3的窗口,阈值为T hR。若像素点在给定尺寸窗口
    的梯度平均值低于给定的阈值T hR,则定义该像素点没有足够的纹理,即该像素点为无特
    征的点;

    3)若RGB图像中无特征的点所占比例低于比例阈值0.75,则认为该帧RGB图像质量好,α
    =1;反之,RGB图像质量差,α=0。

    以上所述步骤2中,对Depth图像质量的判断,包括如下步骤:

    1)在Depth图像中,设置像素大小为3*3的窗口,阈值为T hD。若邻域窗口中存在一点
    其深度值与该像素点的差大于阈值T hD,则定义该像素点的深度信息不连续,即有足够的
    结构信息;

    2)若有足够结构信息的点所占比例高于比例阈值0.85,则认为该帧Depth图像质量好,
    β=1;反之,Depth图像质量差,β=0。

    以上所述步骤4中,利用RGB配准方法对图像进行配准,包括如下步骤:

    1)首先利用 SIFT ( Scale-Invariant Feature Transform ) 特征检测算法分别对
    每帧RGB图像提取特征点及特征点相应的特征描述子,然后通过基于特征点描述子的相似
    度对其进行特征点匹配,得到2D特征点对集合;

    2)将相匹配的所有的2D特征点对映射到3D空间中;

    3)通过随机采样一致性算法对得到的特征点对集合进行筛选,获得可用于确定运动参
    数的三维对应点对,从而得到粗配准的旋转矩阵R和平移向量T。

    随机采样一致性算法步骤如下:

    对特征点对集合进行m次随机抽样,每次抽样从特征点对集合中随机选取n对特征点
    对,根据这n对特征点对及其对应的估计刚体运动参数的公式算出两帧图像间的运动参数,
    即旋转矩阵R和平移向量T,其中m与n均为正整数;

    对于所有的特征点对,计算前一帧图像中的特征点经过旋转矩阵R和平移向量T后的三
    维坐标:若该坐标与当前帧图像中对应特征点的欧氏距离小于阈值,则该特征点属于内样
    本点;若该坐标与当前帧图像中对应特征点的欧氏距离大于等于阈值,则该特征点属于外
    样本点;

    经过m次随机抽样试验后,选择内点数目最多的那次随机抽样试验;将该次抽样试验所
    取的特征点对,作为最终筛选得到的用于确定运动参数的三维点对,并将该次抽样试验所
    估计的运动参数,作为最终确定的运动参数。

    以上所述步骤4中,利用Depth配准方法对图像进行配准,包括如下步骤:

    1)将Depth图像经过坐标变换转化为点云图像;

    2)对点云图像进行体素网格化滤波,去除点云图像中的噪声点的同时保留了图像的原
    始特征;

    3)利用ISS特征点检测方法和FPFH特征描述子提取方法,对每一帧点云图像提取特征
    点和特征点相应的特征描述子,然后利用基于特征点描述子的相似度对其进行特征点匹
    配,得到特征点对集合;

    4)对得到的特征点对集合利用采样一致性初始配准算法进行配准,得到粗配准的旋转
    矩阵R和平移向量T。

    采样一致性初始配准算法步骤如下:

    1)从源特征点集中选择S个样本点,其中S为正整数;

    2)对S个样本点,在目标特征点集中分别找到满足相似度条件的点存入一个列表中。随
    机选择一些代表采样点的对应关系,同时确定它们的配对距离大于用户设定的最小值
    dmin;

    3)根据两个特征点集的对应关系计算运动变换矩阵,并通过计算度量错误来评价转换
    矩阵的质量。度量错误可由Huber评价公式决定:

    (1)

    其中ei为第i 组对应点在变换之后的距离差,te为给定阈值;

    重复以上三个步骤直至达到最佳度量错误结果。

    以上所述步骤5中,使用迭代最近点算法进行精配准,包括如下步骤:

    1)利用粗配准获得的旋转矩阵R和平移向量T,根据公式(2)将源点云中每个点pi (x
    ,y ,z )的坐标变换到目标点云所在的坐标系下得到点pi(x ,y ,z ),得到转换点云:

    (2)

    对转换点云中的任一点pi,计算该点与目标点云中的每个点之间的欧氏距离,选取目
    标点云中与其欧氏距离最小的点qi,这样便得到一组对应点对(pi,qi)。对源点云中的所
    有点进行以上操作,最终得到特征匹配点集;

    3)利用特征匹配点集计算配准参数,计算使得误差函数(3)最小时的旋转矩阵Rn和平
    移向量Tn作为新的配准参数:

    (3)

    其中n为特征匹配点对数目;

    4)将新的配准参数用于源点云中所有点得到新的点集;

    5)设定迭代次数阈值T hiter=100,重复迭代上述步骤。迭代结束即可得到精配准的配
    准结果,从而得到精确的运动参数。

    关于本文
    本文标题:一种基于2D/3D模态切换的RGBD图像配准方法.pdf
    链接地址://www.4mum.com.cn/p-6079517.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • pk10计划人工在线计划网页版 七星彩二定谁买 北京pk10定位胆预测 重庆时时彩龙虎和3期计划 单双玩法nba 必中北京pk10赛车杀号计划 体彩排三六码最大遗漏 时时彩组三全包稳赚 双色球计算公式99% 导师带你买快三是真是假 彩经网北京pk10走势图 快乐时时开奖号码查询 足彩买单关稳赚不赔 北京单场上下单双玩法 双色球机选号码 海南七星彩论坛粤海网