• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 18
    • 下载费用:30 金币  

    重庆时时彩牛牛怎样算: 一种基于拼接图像的巡视器定位方法.pdf

    关 键 词:
    一种 基于 拼接 图像 巡视 定位 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410015505.5

    申请日:

    2014.01.10

    公开号:

    CN103927739A

    公开日:

    2014.07.16

    当前法律状态:

    终止

    有效性:

    无权

    法律详情: 未缴年费专利权终止IPC(主分类):G06T 7/00申请日:20140110授权公告日:20161123终止日期:20170110|||授权|||实质审查的生效IPC(主分类):G06T 7/00申请日:20140110|||公开
    IPC分类号: G06T7/00 主分类号: G06T7/00
    申请人: 北京航天飞行控制中心
    发明人: 刘传凯; 王保丰; 王镓; 周建亮; 唐歌实; 卜彦龙; 袁建平; 张强; 苗萍; 许柏; 师明
    地址: 100094 北京市海淀区北清路26号
    优先权:
    专利代理机构: 国防专利服务中心 11043 代理人: 江亚平
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410015505.5

    授权公告号:

    |||||||||

    法律状态公告日:

    2018.02.27|||2016.11.23|||2014.08.13|||2014.07.16

    法律状态类型:

    专利权的终止|||授权|||实质审查的生效|||公开

    摘要

    本发明公开一种基于拼接图像的巡视器定位方法,利用双目立体相机在上一站点和当前站点前方一定角度范围内拍摄序列图像;将上一站点和当前站点左相机拍摄的序列图像分别通过柱面投影方法进行拼接,得到上一站点和当前站点左相机前方的广角度拼接图像;计算上一站点和当前站点左相机拼接图像的重叠区域并对其进行Affine-SIFT特征提取与匹配,寻找上一站点和当前站点图像的匹配特征点;将匹配特征点反算到左相机原始图像中,在右相机图像提取对应的匹配特征点,并剔除错误特征点;通过光束法求解巡视器在当前站点的位置和姿态。采用本发明技术方案,能够实现巡视器的高精度定姿定位。

    权利要求书

    权利要求书
    1.  一种基于拼接图像的巡视器定位方法,其特征在于,包括以下步骤:
    步骤S1:将巡视器的已知站点作为上一站点,巡视器向前行进一定距离到达的新站点作为当前站点,利用双目立体相机在上一站点和当前站点前方一定角度范围内拍摄序列图像;
    步骤S2:上一站点和当前站点分别将双目立体相机的左相机拍摄的序列图像分别通过柱面投影方法进行拼接,得到上一站点和当前站点前方的左相机广角度拼接图像,同时记录拼接图像各个区域对应的原始图像编号;
    步骤S3:利用巡视器上一站点和当前站点的初始位置和姿态信息以及在上一站点和当前站点拍摄图像时左相机与巡视器的位姿关系,分别计算前上一站点和当前站点左相机拼接图像的重叠区域,并对该重叠区域进行Affine-SIFT特征提取与匹配,得到上一站点和当前站点左相机拼接图像的匹配特征点集;
    步骤S4:将上一站点和当前站点左相机拼接图像的匹配特征点反算到上一站点和当前站点左相机拍摄的原始图像中,得到多组具有对应关系的原始图像及匹配点对;
    步骤S5:利用图像相关系数匹配方法,分别从上一站点和当前站点右相机拍摄的原始图像中寻找出左相机原始图像特征点的最优匹配点,得到上一站点和当前站点左右相机图像的匹配特征点集;
    步骤S6:利用前方交会算法,分别将上一站点和当前站点的每一对左右相机原始图像中提取的匹配特征点集的立体空间关系进行检查,剔除错误的特征点;
    步骤S7:根据上一站点的巡视器位置和姿态,将上一站点和当前站点左右相机图像的匹配特征点集及其对应关系作为输入,利用光束法求解巡视器在当前站点的位置和姿态。

    2.  如权利要求1所述一种基于拼接图像的巡视器定位方法,其特征在于,所述的通过柱面投影方法进行拼接方法包括:
    步骤a:图像柱面投影:将同一站点同一相机拍摄的序列图像,根据每幅图像拍摄时相机的外方位信息,通过柱面投影方法投影到柱面上,得到一系列柱面图像;
    步骤b:图像拼接配准:采用Forstner算子对图像重叠区域处进行特征提取与匹配,计算相邻柱面图像之间的平移旋转关系,并按照该平移旋转关系对柱面投影图像进行变换调整;
    步骤c:柱面图像融合:将原始的序列图像按照其拍摄时相机偏航角方向投影到柱 面上形成柱面序列图像,定义每幅图像的中心线为过柱面图像中心的柱面线;根据柱面点与相邻柱面图像的中心线的距离dl和dr对柱面图像进行裁剪:以dl=dr的柱面线为分界线,分界线与图像中心线之间的柱面拼接图像区域由该图像像素填充;对相邻图像交界处通过渐进渐出的方法进行融合处理,即交界线左右各取一宽度区域,该区域内的图像像素计算为I(x,y)=uIl(x,y)+(1-u)Ir(x,y),其中,u是取值在0~1之间的渐变因子,Il(x,y)和Ir(x,y)分别是相邻柱面图像在(x,y)的像素灰度值。

    3.  如权利要求1或2所述的一种基于拼接图像的巡视器定位方法,其特征在于,步骤S3中利用巡视器上一站点和当前站点的初始位置和姿态信息以及在上一站点和当前站点拍摄图像时左相机与巡视器的位姿关系,分别计算上一站点和当前站点左相机拼接图像的重叠区域。

    4.  如权利要求1或3所述的一种基于拼接图像的巡视器定位方法,其特征在于,步骤S4中,将上一站点和当前站点左相机拼接图像的匹配特征点反算到左相机原始图像中包括:首先将匹配特征点按照图像拼接时柱面图像之间的平移旋转关系,变换到原始的柱面投影图像中;然后根据柱面投影关系逆向求解得到匹配特征点在原始图像中的位置。

    5.  如权利要求1或4所述的一种基于拼接图像的巡视器定位方法其特征在于,步骤S6中,剔除错误特征点后,在上一站点和当前站点左右相机图像的匹配特征点集中剩余的特征点数量不小于4组。

    说明书

    说明书一种基于拼接图像的巡视器定位方法
    技术领域
    本发明涉及月面巡视器定位技术领域,尤其涉及一种基于拼接图像的巡视器定位方法。
    背景技术
    月面巡视器是在复杂非结构化月面环境中执行近距离科学探测任务的移动机器人,能够在月面自主巡游或者根据地面遥操作中心的指挥在月面几百米甚至几百公里范围内,通过自身携带的科学仪器实现月面环境的探测。巡视器在自主巡游或者??匦惺还讨?,需要了解其自身在月面坐标系中的位置和方向,才能将其重构的月面地形统一到同一基准下,指导后续的路径规划和行进。因此,巡视器的定位功能是进行路径规划和避障行进的前提和基础,对月面巡视器完成科学探测任务具有重要的意义。
    由于月面环境的特殊性,使得地面移动机器人定位常用的超声传感器定位、激光传感器定位和罗盘定位等方法无法使用;另一方面月球与地球的距离也远远超出了GPS定位和北斗定位系统导航服务的范围。因此,需要依赖专用的导航定位技术实现月面巡视器的定位导航。现阶段应用于月面巡视器导航定位的方法主要包括航位推算法、惯性导航定位法、天文导航定位法、无线电导航定位法和视觉导航定位法。在众多的定位方法中,视觉导航定位方法具有定位灵活、容错性强、定位精度高、定位精度不受地形地貌影响且容易与地形地貌三维恢复相结合等特点,能够提高月面巡视器的智能性,为巡视器成功实现科学探测任务提供有力的指导。
    目前,巡视器的视觉导航定位通常是利用双目视觉系统一定隔距离范围内连续拍摄图像,然后通过图像特征提取与匹配求取匹配特征点的空间立体关系,解算其巡视器自身的位置和姿态。然而在月球表面环境中,纹理较为匮乏且光照条件极为复杂,巡视器在不同位置拍摄的图像重叠区域较为有限且存在较大尺度差别。纹理匮乏致使特征点提取困难,光照条件复杂和图像的大尺度差别致使图像特征点的匹配容易发生错误;受上述两方面因素影响,在对图像的有限重叠区进行特征点提取和匹配时,可能发生特征点数量太少、特征点匹配错误率高甚至无法提取特征点的情况,无法获得足够的特征点信 息,难以保证巡视器定位的成功。
    发明内容
    本发明要解决的技术问题是,提供一种基于拼接图像的巡视器定位方法,使巡视器在未知环境中实现高精度定姿定位。
    为解决上述问题,本发明采用如下的技术方案:
    一种基于拼接图像的巡视器定位方法包括以下步骤:
    步骤S1:将巡视器的已知站点作为上一站点,巡视器向前行进一定距离到达的新站点作为当前站点,利用双目立体相机在上一站点和当前站点前方一定角度范围内拍摄序列图像;
    步骤S2:上一站点和当前站点分别将双目立体相机的左相机拍摄的序列图像分别通过柱面投影方法进行拼接,得到上一站点和当前站点前方的左相机广角度拼接图像,同时记录拼接图像各个区域对应的原始图像编号;
    步骤S3:利用巡视器上一站点和当前站点的初始位置和姿态信息以及在上一站点和当前站点拍摄图像时左相机与巡视器的位姿关系,分别计算前上一站点和当前站点左相机拼接图像的重叠区域,并对该重叠区域进行Affine-SIFT特征提取与匹配,得到上一站点和当前站点左相机拼接图像的匹配特征点集;
    步骤S4:将上一站点和当前站点左相机拼接图像的匹配特征点反算到上一站点和当前站点左相机拍摄的原始图像中,得到多组具有对应关系的原始图像及匹配点对;
    步骤S5:利用图像相关系数匹配方法,分别从上一站点和当前站点右相机拍摄的原始图像中寻找出左相机原始图像特征点的最优匹配点,得到上一站点和当前站点左右相机图像的匹配特征点集;
    步骤S6:利用前方交会算法,分别将上一站点和当前站点的每一对左右相机原始图像中提取的匹配特征点集的立体空间关系进行检查,剔除错误的特征点;
    步骤S7:根据上一站点的巡视器位置和姿态,将上一站点和当前站点左右相机图像的匹配特征点集及其对应关系作为输入,利用光束法求解巡视器在当前站点的位置和姿态。
    本发明与现有的月面巡视器的定位方法相比,
    一方面,采用通过柱面投影形成的拼接图像进行上一站点和当前站点的特征提取与 匹配,然后反算到原始图像中构成多组图像的匹配特征点集,这比现有的采用单幅视觉图像进行站点的特征提取和匹配,构成单组图像匹配特征点集的方法,显著性地增大了图像匹配重叠区的范围,有利于上一站点和当前站点图像特征点的提取和匹配,避免了因上一站点和当前站点单对图像中包含的重叠区域过小而导致匹配失败的问题,大大提高了匹配成功率;
    另一方面,根据双目相机与巡视器本体的位姿约束关系,利用巡视器和云台装置的可移动性,设计了通过双目相机在不同位置和姿态下多次拍摄进行巡视器定位的视觉测量方法,实现了根据多组图像匹配特征点求解巡视器外方位参数和特征点三维空间坐标的站点定位。这与一般的通过双相机分别在上一站点和当前站点单个方位拍摄图像进行站点定位相比,能够在更广泛地利用巡视器周围环境中的显著性特征,提高巡视器定位的效率和成功率;通过在光束法引入巡视器与相机的位姿约束关系,将巡视器的定位问题转换为多相机的摄影测量问题进行解决。
    附图说明
    图1是一种基于拼接图像的巡视器定位方法的流程图;
    图2是巡视器在上一站点和当前站点站点拍摄图像过程示意图;
    图3是柱面投影进行图像拼接的示意图;
    图4是柱面投影图像融合的示意图;
    图5是巡视器上一站点和当前站点拼接图像重叠区的示意图;
    图6是上一站点和当前站点左右相机与地面特征点位置关系示意图;
    图7是上一站点和当前站点相机与地面观测点位置关系的示意图。
    具体实施方式
    如图1所示,本发明提供一种基于拼接图像的巡视器定位方法,包括以下步骤:
    步骤S1:将巡视器的已知站点作为上一站点,巡视器向前行进一定距离到达的新站点作为当前站点,利用双目立体相机在上一站点和当前站点前方一定角度范围内拍摄序列图像。
    如图2所示,巡视器是一个具有四个驱动轮的可移动机器人,包括巡视器车体、位于车体前部上方的竖直桅杆机构、桅杆顶部的两自由度云台机构和安装于云台支撑架上的双目相机;云台能够在俯仰和偏航两个自由度上转动,通过云台转动可控制相机在不 同的方向上拍摄图像;桅杆、云台和双目相机相对于巡视器车体的位置和姿态关系预先精确标定为已知参数。巡视器的关键部件解释如下:巡视器车体1,位于车体前部上方竖直的桅杆机构2,桅杆顶部的两自由度云台机构3,包括俯仰自由度机构3-1和偏航自由度机构3-2,双目相机系统4,包括相机支撑架4-1、安装于云台支撑架上的左相机4-2和右相机4-3。左相机4-2和右相机4-3的视场均为45°×45°。云台能够通过俯仰自由度机构3-1和偏航自由度机构(3-2)在俯仰和偏航两个自由度上转动,通过云台转动可控制相机在不同的方向上拍摄图像。桅杆机构2、云台机构3和双目相机系统4相对于巡巡视器车体1的位置和姿态关系预先精确标定为已知参数。巡视器在上一站点和当前站点拍摄序列图像的过程描述如下:
    巡视器初始位于上一站点P1(站点位置和姿态信息已知),两自由度云台机构3初始状态下,安装于其上的双目相机系统4的左相机4-2和右相机4-3在俯仰和偏航角均为0°。两自由度云台机构3的俯仰自由度机构3-1转动带动双目相机系统4的左相机4-2和右相机4-3到达俯仰-30°(向下转为负)状态,偏航自由度机构3-2向左转动60°,达到偏航-60°(向左转为负)状态。两自由度云台机构3保持俯仰-30°不变,从偏航-60°到偏航60°依次向右以20°为步长旋转,控制左相机4-2和右相机4-3在偏航-60°、-40°、-20°、0°、20°、40°、60°处拍摄图像,从而可得到在上一站点P1拍摄的左相机序列图像和右相机序列图像。然后控制巡视器向前行驶一段距离到达当前站点P2位置,向前行驶的距离一般小于7米。与巡视器在上一站点P1位置的拍照过程类似,通过双目相机系统左相机4-2和右相机4-3在俯仰-30°,偏航-60°、-40°、-20°、0°、20°、40°、60°状态拍摄图像,从而可得到当前站点P2拍摄的左相机序列图像和右相机序列图像。假设巡视器在上一站点P1和当前站点P2位置云台机构处于-30°俯仰和0°偏航时左相机4-2拍摄图像的重叠区域为R1,同理,可以得到巡视器在上一站点和当前站点不同偏航状态下,左相机4-2拍摄图像的重叠区域。
    步骤S2:上一站点和当前站点分别将双目立体相机的左相机拍摄的序列图像分别通过柱面投影方法进行拼接,得到上一站点和当前站点左相机前方的广角度拼接图像,同时记录拼接图像各个区域对应的原始图像编号。
    上一站点和当前站点的左右相机序列图像的拼接方法完全相同,下面对序列图像拼 接的描述中不进行站点和相机类型的限定。如图3所示,3-1为相机光心,3-2为投影柱面,3-3为光轴,3-4为序列图像中任意一副图像的像平面,3-4-1为像平面上的像素点,3-2-1为投影柱面上的像素点,3-5为以光心为起点过像平面像素点3-4-1的射线,3-6为投影柱面半径r,3-7为图像对应的相机水平方向视场角θw,3-8为以光心为起点过像平面像素点的射线3-5与光轴3-3的夹角在圆柱方向上投影的角度α,(3-9)为像平面坐标系,3-9-1为像平面坐标系横轴,3-9-2为像平面坐标系纵轴,3-10为柱面坐标系,其定义如下:柱面坐标系的原点位于相机光心3-1,柱面坐标系的x轴和y轴与像平面坐标系的横轴和纵轴方向一致,柱面坐标系的z轴与柱面坐标系的x轴和y轴满足右手定则。序列图像通过柱面投影方法进行拼接,即是将序列图像的像平面上任意像素点3-4-1通过柱面投影方法变换到投影柱面上的任意像点3-2-1形成柱面拼接图像的过程,具体介绍如下:
    步骤a:图像柱面投影:将同一站点同一相机拍摄的序列图像,根据每幅图像对应的相机的外方位信息,通过柱面投影方法投影到柱面上,实现步骤如下:假设图像对应的相机偏航角为β,拍摄图像的相机的焦距为f,则投影柱面半径r=f。则像平面3-2的宽度W=2ftan(θw/2),高度为H=2ftan(θh/2),其中θw和θh是分别是相机水平方向和竖直方向的视场角。像平面左上角的坐标为(0,0),像平面上的像点3-4-1在像平面上的坐标为(x,y),该点到光心的距离光轴与图像交点坐标为(xc,yc)。以光心为起点过像平面像素点的射线3-5与光轴3-3的夹角在圆柱方向上投影的角度α=arctan[(x-W/2)/r],射线3-5与投影柱面相交,设相交的像素点3-2-1在柱面坐标系3-10中的坐标为(x′,y′,z′),像平面上的像点3-4-1到投影柱面上像素点3-2-1的坐标变换关系表达为:
    x=xc+rsinα,xc=rsinθw2,]]>
    y=yc+(y-H2)·r/r2+(x-W2)2,yc=H2,---(1)]]>
    z′=rcosα.
    则考虑相机偏航角β对原始图像点到柱面点映射关系的影响,可得到偏航角β状态下拍摄图像像素点与柱面像素点(x″,y″,z″)的转换关系如下:
    xyz=cosβ-sinβ0sinβcosβ0001xyz=cosβ-sinβ0sinβcosβ0001xc+rsinαyc+(y-H2)·r/r2+(x-W2)2rcosα..]]>
    步骤b:图像拼接配准:采用Forstner算子对柱面图像重叠区域处进行特征提取与匹配,计算相邻柱面图像之间的平移旋转关系,并按照该平移旋转关系对柱面投影图像进行变换调整,以实现相邻柱面图像之间的配准。相邻柱面图像之间的平移旋转关系的计算方法描述如下:
    假设两幅相邻柱面图像重叠区域具有m个公共特征点和待求的两幅图像的平移旋转关系矩阵为T12,则应满足:
    Pi21=T12·Pi11=R12t1201Pi11.---(2)]]>
    其中,T12=R12t1201,]]>是相邻图像配准的旋转变换矩阵,是相邻图像配准的平移向量。
    联合m个公共特征点,通过最小化特征点间平均距离的优化问题求解平移旋转矩阵T12,即求解:
    minRt12Σi=1m|Pi2-(R12Pi1+t12)|.---(3)]]>
    步骤c:柱面图像融合:将原始的序列图像按照其拍摄时相机偏航角方向投影到柱面上形成柱面序列图像,定义每幅图像的中心线为过柱面图像中心的柱面线,如图4所示。根据柱面点与相邻柱面图像的中心线的距离dl和dr对柱面图像进行裁剪:以dl=dr的柱面线为分界线,分界线与图像中心线之间的柱面拼接图像区域由该图像像素填充;对相邻图像交界处通过渐进渐出的方法进行融合处理,即交界线左右各取一定宽度区域(比如取1/10图像的宽度区域),该区域内的图像像素计算为I(x,y)=uIl(x,y)+(1-u)Ir(x,y),其中u是取值在0~1之间的渐变因子,Il(x,y)和 Ir(x,y)分别是相邻柱面图像在(x,y)的像素灰度值。
    通过上述三个步骤的处理即可得到上一站点和当前站点左相机的广角度拼接图像,分别记为IFL和ICL,同时记录拼接图像各个区域对应的原始图像编号。
    步骤S3:利用巡视器上一站点和当前站点的初始位置和姿态信息以及在上一站点和当前站点拍摄图像时左相机与巡视器的位姿关系,分别计算前上一站点和当前站点左相机拼接图像的重叠区域,并对该重叠区域进行Affine-SIFT特征提取与匹配,得到上一站点和当前站点左相机拼接图像的匹配特征点集。
    如图5所示,5-1为巡视器在上一站点的位置和姿态,5-2为巡视器在当前站点的位置和姿态,5-3为巡视器上一站点拍摄视场的左边界角,5-4为巡视器上一站点拍摄视场的右边界角,5-5为巡视器当前站点拍摄视场的左边界角,5-6为巡视器上一站点拍摄视场的右边界角,5-7为巡视器在上一站点拍摄区域的最远边界线,5-8为巡视器在上一站点和当前站点拍摄的重叠区域。利用巡视器上一站点和当前站点的初始位置和姿态信息以及在上一站点和当前站点拍摄图像时左相机与巡视器的位姿关系,分别计算上一站点和当前站点左相机拼接图像的重叠区域的方法如下:
    巡视器在上一站点的位置和姿态5-1,表示为该信息在初始条件下已知,当前站点的位置和姿态5-2,表示为当前站点的位置和姿态信息可通过巡视器惯导系统测量获得,其精度在10%-20%之间。设上一站点左相机拍摄图像的视场范围为当前站点左相机拍摄图像的范围为其中表示视场的左边界角5-5、5-7和右边界角5-6、5-8,表示视场的下边界角和上边界角,则上一站点和当前站点左相机拍摄视场的方向角范围分别为和设巡视器左相机到地面的距离为H,则可得到巡视器在上一站点左相机拍摄的最远距离为则上一站点左相机拍摄区域的最远边界线5-7在拍摄区域平面内的直线方程为:
    Y-YR0-HtanβT0·sinκR0=-1/tanκR0(X-XR0-HtanβT0·cosκR0),---(4)]]>
    当前站点左相机拍摄区域的左边界和右边界在拍摄区域平面内的直线方程分别为:
    Y-YR1=tan(κR1-αL1)(X-XR1),Y-YR1=tan(κR1+αL1)(X-XR1).---(5)]]>
    联立公式(4)和(5)可以求得上一站点左相机拍摄区域的最远边界线与当前站点左相机拍摄区域的左边界和右边界的交点和从而可以获得则和的方向角,记为和当交点或不存在时,和取值为左边界线或者右边界线的方向角。则上一站左相机拍摄区域与当前站点左相机拍摄区域重叠的角度范围近似为当前站左相机拍摄区域与上一站点左相机拍摄区域重叠的角度范围近似为分别根据上一站点和当前站点左相机拍摄区域重叠的近似角度范围与左相机视场的方向角范围的关系,可以得到上一站点和当前站点左相机拍摄的重叠区域对应的原始图像;然后根据原始图像到拼接图像的投影关系,可以得出上一站点和当前站点左相机拼接图像的重叠区域。
    将计算出上一站点和当前站点左相机拼接图像的重叠区域作为Affine-SIFT特征提取与匹配算法的输入,首先根据Affine-SIFT算法提取上一站点和当前站点左相机拼接图像重叠区域中的SIFT特征点,然后对上一站点和当前站点左相机拼接图像的特征点进行匹配,得到上一站点左相机拼接图像的匹配特征点集和当前站点左相机拼接图像的匹配特征点集记为:
    {(IFL,xFLk,yFLk)|k=1,2,...,K},]]>
    {(ICL,xCLk,yCLk)|k=1,2,...,K},]]>
    其中,IFL和IFL分别表示上一站点和当前站点的左相机拼接图像,和分别表示上一站点和当前站点左相机左拼接图像的第k特征点的坐标。
    步骤S4:将上一站点和当前站点左相机拼接图像的匹配特征点反算到上一站点和当前站点左相机拍摄的原始图像中,得到多组具有对应关系的原始图像及匹配点对。
    结合柱面投影关系,即公式(1),将上一站点和当前站点左相机拼接图像的匹配特 征点和反算到上一站点和当前站点左相机原始图像的方法介绍如下:
    首先将匹配特征点和按照图像拼接时柱面图像之间的平移旋转关系,变换到原始的柱面投影图像中。根据公式(4)可得拼接图像点Ptrans到原始的柱面投影图像点Porig的变换关系表示为:
    Porig=R12t1201-1·Ptrans.---(4)]]>
    然后根据柱面投影关系逆向求解得到匹配特征点在原始图像中的位置,过程如下:设拼接图像的特征点对应的柱面投影点在图3中柱面坐标系3-10中的坐标为(x′,y′,z′),从柱面投影点反求原始图像特征点的求解关系为:
    x=xc+r·x′/z′
                        (5)
    y=yc+r·y′/z′.
    其中,(x,y)为拼接图像特征点对应的原始图像中特征点的坐标,(xc,yc)为光轴与图像交点坐标,r为投影柱面半径。由公式(5)可以得到原始图像特征点的图像坐标,结合拼接图像匹配特征点之间的对应关系,可得到多对上一站点和当前站点左相机原始图像以及每对上一站点和当前站点左相机原始图像上的匹配特征点,记为:
    {(IFLi,xFLij,yFLij)|i∈[1,...,M],j=1,2,...,N},]]>
    {(ICLi,xCLij,yCLij)|i∈[1,...,M],j=1,2,...,N},]]>
    其中,和分别表示上一站点和当前站点第i幅原始图像,原始图像的编号i可根据步骤S2记录的拼接图像各个区域对应的原始图像编号获得,和分别表示上一站点和当前站点第i幅左相机原始图像第j个特征点的坐标。
    步骤S5:利用图像相关系数匹配方法,分别从上一站点和当前站点右相机拍摄的原始图像中寻找出左相机原始图像特征点的最优匹配点,得到上一站点和当前站点左右相机图像的匹配特征点集。
    如图6所示,6-1为目标区,6-1-1为目标区中心的目标点,6-2为搜索区,6-2-1为 搜索区内部的搜索窗口。目标区的宽度为m,高度为n,搜索区的宽度为k,高度为l,满足k>m,l>n,搜索窗口的宽度和高度与目标区的宽度和高度相等。
    利用图像相关系数匹配方法从上一站点和当前站点右相机原始图像中寻找出上一站点和当前站点左相机原始图像匹配特征点和的最优匹配点和方法如下:
    步骤a:选择左相机图像上的某个特征点或作为目标点6-1-1,以此点为中心选取m×n个像素的灰度阵列作为目标区6-1。
    步骤b:在右图像上估计出目标点在右图像中对应匹配点的大致范围,确定出包含k×l个像素的灰度阵列作为搜索区6-2。
    步骤c:依次在搜索区6-2中取出m×n个像素灰度阵列作为搜索窗口6-2-1,计算其与目标区的相关性测度ρij(i∈[i0-k/2+m/2,i0+k/2-m/2],j∈[j0-l/2+n/2,j0+l/2-n/2]),(i0,j0)为搜索区中心像素。相关性测度ρij越接近1,表示目标点与搜索窗口中心点(i,j)的相关性越大,匹配度越高。当ρij取得最大值时,则认为该搜索窗口的中心像素是左图像目标点在右图像中的匹配点,记匹配点坐标为(c,r),即或则满足
    ρc,r=max{ρiji∈[i0-k/2+m/2,i0+k/2-m/2],j∈[j0-l/2+n/2,j0+l/2-n/2].},]]>
    其中,相似性测度ρij通过目标区图像和搜索区以(c,r)为中心的m×n个像素阵列的相关系数ρ(x,y)-(x′,y′)计算:
    ρ(x,y)-(x,y)=σggσggσgg]]>
    其中,(x,y)为目标点在左相机图像中的坐标,(x′,y′)为搜索区内某个点在右相机图像的坐标,σgg′是以(x,y)为中心的目标区影像和以(x′,y′)为中心的影像的方差,σgg以(x,y)为中心的目标区图像的方差,σg′g′是搜索区中以(x′,y′)为中心的图像的方差。设g(x,y)是以(x,y)为中心的目标区图像的灰度值,g′(x′,y′)是搜索区中以(x′,y′)为中心的 搜索区内m×n像素图像的灰度值,是以(x,y)为中心的目标区影像灰度的平均值,是以(x′,y′)为中心的目标区图像灰度的平均值,它们之间的关系式:
    g‾=1mnΣi=x-m/2x+m/2Σj=y-n/2y+n/2g(i,j),]]>
    g‾=1mnΣi=x-m/2x+m/2Σj=y-n/2y+n/2g(i,j),]]>
    σgg=1mnΣi=x-m/2x+m/2Σj=y-n/2y+n/2g(i,j)2-g‾2,]]>
    σgg=1mnΣi=x-m/2x+m/2Σj=y-n/2y+n/2g(i,j)2-g‾2,]]>
    σgg=1mnΣi=x-m/2i=x+m/2Σj=y-n/2j=y+n/2g(i,j)g(i+k1,j+k2)-g‾g‾,k1=x-x,k2=y-y.]]>
    通过图像相关匹配,最终得到上一站点和当前站点左右相机图像的匹配特征点集,要求上一站点和当前站点左右相机图像的匹配特征点集中包含点的数量大于4组,上一站点和当前站点左右相机图像的匹配特征点集表示为:
    {(IFLi,xFLij,yFLij,IFRi,xFRij,yFRij)|i∈[1,...,M],j=1,2,...,N},]]>
    {(ICLi,xCLij,yCLij,ICRi,xCRij,yCRij)|i∈[1,...,M],j=1,2,...,N}.]]>
    步骤S6:利用前方交会算法,分别将上一站点和当前站点的每一对左右相机原始图像中提取的匹配特征点集的立体空间关系进行检查,剔除错误的特征点。
    利用前方交会算法,将每一对左右相机原始图像中提取的匹配特征点集的立体空间关系进行检查,剔除错误的特征点的方法介绍如下:
    步骤a:将上一站点和当前站点左右相机图像的匹配特征点和作为输入,利用前方交会的方法计算获得其对应的地面观测点Pi,i=1,2,…,n的在上一站点和当前站点相机坐标系(左相机坐标系或右相机坐标系)下的三维坐标,设在上一站点坐标系下的三维坐标计作Pi(Xi,Yi,Zi),在当前站点坐标系下的三维坐标计作Pi′(Xi′,Yi′,Zi′);
    步骤b:利用获得的匹配点在上一站点和当前站点坐标系下的坐标计算它们对应的中心点然后计算每点与Pc的距离Di=|Pi-Pc|,Di′=|Pi′-Pc′|;
    步骤c:计算ΔDi=|Di-Di′|,剔除满足的Pi点,其中α是权重系数,一般情况下α=3;
    步骤d:重复步骤a和步骤b,直至所有特征点对应的ΔDi满足
    剔除错误特征点后,在上一站点和当前站点左右相机图像的匹配特征点集中剩余的特征点数量不小于4组。
    {(IFLi,xFLij,yFLij,IFRi,xFRij,yFRij)|i∈[1,...,M],j=1,2,...,n,nN},]]>
    {(ICLi,xCLij,yCLij,ICRi,xCRij,yCRij)|i∈[1,...,M],j=1,2,...,n,nN}.]]>
    步骤S7:根据上一站点的巡视器位置和姿态,将上一站点和当前站点左右相机图像的匹配特征点集及其对应关系作为输入,利用光束法求解巡视器在当前站点的位置和姿态。
    如图7所示,7-1和7-2分别为上一站点位置处的左相机和右相机,分别定义为1号相机和2号相机,7-3和7-4分别为当前站点位置处的左相机和右相机,分别定义为3号相机和4号相机,7-5为与左右相机图像中的匹配特征点对应的多个观测点,1号相机、2号相机、3号相机和4号相机分别独立设定像辅助空间坐标系;图7中仅对2号相机的像辅助坐标系进行标注,即7-6为2号相机的像辅助空间坐标系,其中,像辅助空间坐标系7-6定义为:坐标系原点位于相机的光心,坐标系X轴和Y轴与像平面的横轴和纵轴同向平行,坐标系的Z轴与X轴和Y轴满足右手定则。
    在1,2号相机内参数和外方位参数已知,3,4号相机内参数已知,外方位参数初值通过巡视器惯导系统测量获得,精度在10%-20%之间,左右相机图像的匹配特征点集数量不小于4组的条件下,根据上一站点和当前站点左右相机图像的匹配特征点集的图像坐标及相互对应关系,即和1,2号相机位置和姿态利用光束法,求解3号和4号相机位置和姿态获得3号和4号相机位置和姿态后,即可通过相机到巡视器车体的平移与旋转关系,计算出巡视器在当前站点的位置和姿态,得到当前站点位置信息精度在2%以内。光束法求解相机位置和姿态的方法如下:
    巡视器左右相机拍摄观测点满足的共线方程,表示为
    x=-fa1(XAi-XSk)+b1(YAi-YSk)+c1(ZAi-ZSk)a3(XA-XSk)+b3(YA-YSk)+c3(ZA-ZSk),---(6)]]>
    y=-fa2(XAi-XSk)+b2(YAi-YS)+c1(ZAi-ZSk)a3(XAi-XSk)+b3(YAi-YSk)+c3(ZAi-ZSk),]]>
    其中,(x,y)为相机图像的匹配特征点集的图像坐标,f是相机的焦距,是观测点在像空间辅助坐标系中的坐标,为某一观测点的位置坐标,为相机外方位参数中的位置参数,即1,2,3或4号相机位置和姿态,ai,bi,ci,i=1,2,3是像点的像空间坐标与像空间辅助坐标旋转变换关系矩阵的9个元素。将1,2号相机外方位参数(位置和姿态参数)作为已知条件,3,4号相机的外方位参数和N个观测点的坐标作为未知数,且3,4号相机的外方位参数和N个观测点的坐标需要赋予初值,其中3,4号相机的外方位参数初值可设为1,2号相机的外方位参数;N个观测点的坐标可根据1,2号相机的外方位参数和步骤S6输出的匹配特征点坐标,通过前方交会方法计算得到,构建的误差方程V=[A B][t X]T-L,即:

    其中,Vij=vijxvijyT]]>为第i个相机和第j个观测点对应的误差量,lij是误差方程的常数项,表示第i个相机对于第j个观测点通过共线方程计算的像平面点坐标与实际的图像特征点坐标(该坐标由步骤S6计算获得)之差。Aij为像平面点位置随相机外方位参数变化的系数矩阵,即第j个观测点映射的像平面点坐标随第i个相机的外方位参数变化的矩阵表示为:

    Bij为像平面点位置随观测点位置坐标变化关系的系数矩阵,即第j个观测点映射的像平面点坐标随第i个相机的外方位参数变化的矩阵表示为:
    Bij=∂xj∂XAi,∂xj∂YAi,∂xj∂ZAi∂yj∂XAi,∂yj∂YAi,∂yj∂ZAi,]]>
    联合共线方程可得:
    Bij=-∂xj∂XSk,∂xj∂YSk,-∂xj∂ZSk-∂yj∂XSk,-∂yj∂YSk,-∂yj∂ZSk,]]>
    ti和XiA分别表示第i号相机的外方位参数改正数组成的列向量和第j个观测点坐标改正数组成的列向量,即

    XAi=[dXAi,dYAi,dZAi]T.]]>
    根据误差方程V=[A B[[t X]T-L,即公式(7),可得相应的法方程为:
    ATAATBBTABTAtX=ATLBTL,---(8)]]>
    根据上述法方程,即公式(8),可以分别求解出t和X两类未知数,即相机外方位参数的改正数和观测点的坐标的改正数。然后利用改正数对相机外方位元素和观测点坐标的初值进行改正,反复多次迭代,直至改正数小于规定限差,实现计算收敛。从而可获得最终的3号、4号相机外方位参数即求得了巡视器在当前站点的位置和姿态。
    在步骤S1-S7的实施过程中,利用上一站点和当前站点的拼接图像能够极大的增加 上一站点和当前站点特征提取的可选图像范围,增加了上一站点和当前站点图像中包含的特征点的数量,易于实现上一站点和当前站点图像的特征提取与匹配,从而能够很好地解决巡视器月面行进过程中因月面纹理匮乏、光照条件复杂、上一站点和当前站点图像重叠区有限而导致的特征点提取与匹配困难的问题,通过根据在拼接图像中准确提取足够多的特征点,作为光束法输入,实现巡视器的精确定位。
    以上所述,仅为本发明中的具体实施方式,但本发明的?;し段Р⒉痪窒抻诖?,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的?;し段вΩ靡匀ɡ笫榈谋;し段??!  ∧谌堇醋宰ɡ鴚ww.www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:一种基于拼接图像的巡视器定位方法.pdf
    链接地址://www.4mum.com.cn/p-6130288.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 赚钱的收菜游戏 大乐透开奖直播电视台 彩票开奖查询公告 胜负彩第17147期奖金 彩票软件千里马 安徽快三助手走势图 北京pk10 1月3日篮彩分析 千炮街机捕鱼破解 极速快乐十分计划 云南11选5在线开奖直播 排列5开奖结果l 大丰彩票苹果 陕西快乐十分走势图爱彩乐 开元棋牌app在哪下载 高频彩号码推荐