• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩万能2码: 无人机平台基于单目SLAM的多关键帧协同地面目标定位方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201710023837.1

    申请日:

    2017.01.13

    公开号:

    CN106803270A

    公开日:

    2017.06.06

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/70申请日:20170113|||公开
    IPC分类号: G06T7/70(2017.01)I; G06T7/80(2017.01)I; G06T7/292(2017.01)I 主分类号: G06T7/70
    申请人: 西北工业大学深圳研究院; 西北工业大学
    发明人: 杨涛; 李治; 李广坡; 张艳宁; 刘小飞
    地址: 518000 广东省深圳市南山区粤海街道高新技术产业园南区虚拟大学园A座3楼315室
    优先权:
    专利代理机构: 西北工业大学专利中心 61204 代理人: 王鲜凯
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201710023837.1

    授权公告号:

    |||

    法律状态公告日:

    2017.06.30|||2017.06.06

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种无人机平台基于单目SLAM的多关键帧协同地面目标定位方法,用于解决现有目标定位方法定位精度低的技术问题。技术方案是首先采用无人机及其内嵌的单目相机作为数据的采集平台,再结合视觉ORB??SLAM算法完成多关键帧选取以及其位姿解算,由于ORB??SLAM可实时获得相机精确姿态,相比于通过静态场景三维点求解平面具有速度快、精度高等特点。最后利用射影重构理论通过多关键帧协同的方式求解目标的三维坐标。该方法适用于各种复杂的环境,具有较高的测量精度。经测试,本发明方法在室内具有厘米级定位精度,在室外20米飞行高度定位误差<0.3m。

    权利要求书

    1.一种无人机平台基于单目SLAM的多关键帧协同地面目标定位方法,其特征在于包括
    以下步骤:
    步骤一、标定单目相机内参;
    采用张氏标定法,调整标定板,连续采集20幅图像,进行角点检测,计算图像和棋盘格
    之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系,棋盘格
    上所有角点的空间坐标是满足共面约束的,假设其Z坐标为0,对单应性进行计算:
    <mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>H</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
    其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标;分解H如下:
    H=sK[r1 r2 t] (2)
    其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机内参矩阵,利用r1和r2的正交性
    求解K;
    步骤二、基于ORB-SLAM的关键帧姿态估计;
    采用ORB-SLAM,在已知相机内参的情况下,针对输入的视频序列,ORB-SLAM算法在经过
    初始化操作完成后,跟踪、地图构建以及闭环检测三个线程并行操作,完成相机实时的姿态
    估计同时构建增量式地图,其中得到的关键帧记录了整个场景的关键信息;均匀选取五个
    关键帧{frel1,frel2,frel3,frel4,frel5}并记录姿态信息,作为单目尺度解算基??;
    步骤三、解算场景中基于标定板的单目尺度;
    单目视觉自身存在物理尺度不确定的特点,经过步骤二,ORB-SLAM算法估计得到的关
    键帧姿态是相对的,为了获得关键帧的真实姿态,必须恢复场景的尺度;步骤二选取的五个
    关键帧{frel1,frel2,frel3,frel4,frel5}画面中都含有放置的标定板,通过OPENCV开发的标定程
    序完成相机外参的标定,同时结合之前的相机内参,计算关键帧实际的投影矩阵得{P1,P2,
    P3,P4,P5}并进一步解算关键帧之间的真实姿态{Pose1,Pose2,Pose3,Pose4,Pose5}:
    Posei=PiP1-1 (3)
    其中,P1是第一基准关键帧的投影矩阵,Pi是第i个关键帧的投影矩阵,其中i=2,3,4,
    5;通过比较真实姿态和ORB-SLAM估计得到的相对姿态,解算场景的尺度Scale;
    步骤四、TLD目标跟踪;
    采用TLD目标跟踪算法,首先对待测定位的目标进行圈选,并针对视频序列实时的得到
    目标图像坐标,然后保存关键帧中目标图像坐标{x1,x2......xn};
    步骤五、解算多关键帧协同的目标三维坐标;
    采用多关键帧协同的目标定位方法,首先依据对极几何的原理采用双关键帧实现目标
    世界三维坐标初值的解算;三维坐标X,其在两关键帧中的观测点是x,x',现假设分别是
    观测点x,x'满足极限约束的附近点;依据最小化投影误差,求解如下:
    <mrow> <mi>C</mi> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>,</mo> <msup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>&prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>d</mi> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>d</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <msup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>&prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
    其中,F是两个关键帧之间的基本矩阵,和是观测点的投影误
    差;
    求解分为两步,首先通过DLT得到初始值,然后LM非线性迭代优化设
    满足x×PX=0,x'×P'X=0,故有:
    <mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mrow> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mn>1</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mrow> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mn>2</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mrow> <mn>2</mn> <mi>T</mi> </mrow> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mn>1</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>1</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>1</mn> <mi>T</mi> </mrow> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
    其中,PiT是P矩阵的第i行,P'jT是P'矩阵的第j列,其次坐标x=(x1,y1,1),x'=(x2,y2,
    1);转化X的线性方程组为AX=0;每一组对应点可以确定三个方程,但是只有两个线性无
    关,故转化A为下式:
    <mrow> <mi>A</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <msup> <mi>P</mi> <mrow> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>P</mi> <mrow> <mn>1</mn> <mi>T</mi> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <msup> <mi>P</mi> <mrow> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>P</mi> <mrow> <mn>2</mn> <mi>T</mi> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>1</mn> <mi>T</mi> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>3</mn> <mi>T</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>P</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> <mi>T</mi> </mrow> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
    由于齐次坐标X有三个自由度,而AX=0含四个方程,故(6)式为一个超定方程组,通过
    得到AX=0的最优解,其中||AX||=1;
    采用多关键帧协同,使用捆束调整最小化多视图重投影误差,进一步优化X,如下式:
    <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>v</mi> <mi>i</mi> </msub> <mi>d</mi> <msup> <mrow> <mo>(</mo> <mi>Q</mi> <mo>(</mo> <mrow> <mi>X</mi> <mo>,</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
    其中,Ii代表的式第i个关键帧,vi由下式确定:
    <mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&Element;</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&NotElement;</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
    Q(X,Ii)代表目标点X在第i个关键帧上的投影点,d(Q(X,Ii),xi)2表示目标点在第i个关
    键帧上的重投影误差。

    说明书

    无人机平台基于单目SLAM的多关键帧协同地面目标定位方法

    技术领域

    本发明涉及一种目标定位方法,特别是涉及一种无人机平台基于单目SLAM的多关
    键帧协同地面目标定位方法。

    背景技术

    无人机对地观测系统因其廉价、操作简单、部署快捷及机动性强等显著特点,在对
    地观测方面发展迅速。目标精确空间定位能有效获取目标空间三维坐标,故在灾害侦察、军
    事国防以及民用生产等测量领域具有广泛的应用前景。

    文献“A localization method of UAV flying around for ground moving
    target.The National Conference on Experimental Mechanics.2012.”提出了一种地面
    场景信息辅助的运动目标单目定位方法。该方法首先通过无人机围绕目标飞行跟拍,经过
    若干序列图像提取并重建运动目标周围静态场景的三维信息,利用至少三个静态场景点的
    三维信息得到运动目标所在的平面信息,最后通过目标视线与平面上运动目标点相交远
    离,求得三维坐标信息。但是,文献所述方法中,前端平面的求解计算量大且最终目标点的
    测量精度直接与该平面的测量精度有关,因此在实时以及高精度的测量系统的应用中具有
    一定的局限性。

    发明内容

    为了克服现有目标定位方法定位精度低的不足,本发明提供一种无人机平台基于
    单目SLAM的多关键帧协同地面目标定位方法。该方法首先采用无人机及其内嵌的单目相机
    作为数据的采集平台,再结合视觉ORB-SLAM算法完成多关键帧选取以及其位姿解算,由于
    ORB-SLAM可实时获得相机精确姿态,相比于通过静态场景三维点求解平面具有速度快、精
    度高等特点。最后利用射影重构理论通过多关键帧协同的方式求解目标的三维坐标。该方
    法适用于各种复杂的环境,具有较高的测量精度。

    本发明解决其技术问题所采用的技术方案是:一种无人机平台基于单目SLAM的多
    关键帧协同地面目标定位方法,其特点是包括以下步骤:

    步骤一、标定单目相机内参。

    采用张氏标定法,调整标定板,连续采集20幅图像,进行角点检测,计算图像和棋
    盘格之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系,棋
    盘格上所有角点的空间坐标是满足共面约束的,假设其Z坐标为0,对单应性进行计算:


    其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标。分解H如下:

    H=sK[r1 r2 t] (2)

    其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机内参矩阵,利用r1和r2的
    正交性求解K。

    步骤二、基于ORB-SLAM的关键帧姿态估计。

    采用ORB-SLAM,在已知相机内参的情况下,针对输入的视频序列,ORB-SLAM算法在
    经过初始化操作完成后,跟踪、地图构建以及闭环检测三个线程并行操作,完成相机实时的
    姿态估计同时构建增量式地图,其中得到的关键帧记录了整个场景的关键信息。均匀选取
    五个关键帧{frel1,frel2,frel3,frel4,frel5}并记录姿态信息,作为单目尺度解算基础。

    步骤三、解算场景中基于标定板的单目尺度。

    单目视觉自身存在物理尺度不确定的特点,经过步骤二,ORB-SLAM算法估计得到
    的关键帧姿态是相对的,为了获得关键帧的真实姿态,必须恢复场景的尺度。步骤二选取的
    五个关键帧{frel1,frel2,frel3,frel4,frel5}画面中都含有放置的标定板,通过OPENCV开发的标
    定程序完成相机外参的标定,同时结合之前的相机内参,计算关键帧实际的投影矩阵得
    {P1,P2,P3,P4,P5}并进一步解算关键帧之间的真实姿态{Pose1,Pose2,Pose3,Pose4,Pose5}:


    其中,P1是第一基准关键帧的投影矩阵,Pi是第i个关键帧的投影矩阵,其中i=2,
    3,4,5。通过比较真实姿态和ORB-SLAM估计得到的相对姿态,解算场景的尺度Scale。

    步骤四、TLD目标跟踪。

    采用TLD目标跟踪算法,首先对待测定位的目标进行圈选,并针对视频序列实时的
    得到目标图像坐标,然后保存关键帧中目标图像坐标{x1,x2......xn}。

    步骤五、解算多关键帧协同的目标三维坐标。

    采用多关键帧协同的目标定位方法,首先依据对极几何的原理采用双关键帧实现
    目标世界三维坐标初值的解算。三维坐标X,其在两关键帧中的观测点是x,x',现假设
    分别是观测点x,x'满足极限约束的附近点。依据最小化投影误差,求解如下:


    其中,F是两个关键帧之间的基本矩阵,和是观测点的投
    影误差。

    求解分为两步,首先通过DLT得到初始值,然后LM非线性迭代优化设
    满足x×PX=0,x'×P'X=0,故有:


    其中,PiT是P矩阵的第i行,P'jT是P'矩阵的第j列,其次坐标x=(x1,y1,1),x'=(x2,
    y2,1)。转化X的线性方程组为AX=0。每一组对应点可以确定三个方程,但是只有两个线性
    无关,故转化A为下式:


    由于齐次坐标X有三个自由度,而AX=0含四个方程,故(6)式为一个超定方程组,
    通过得到AX=0的最优解,其中||AX||=1。

    采用多关键帧协同,使用捆束调整最小化多视图重投影误差,进一步优化X,如下
    式:


    其中,Ii代表的式第i个关键帧,vi由下式确定:


    Q(X,Ii)代表目标点X在第i个关键帧上的投影点,d(Q(X,Ii),xi)2表示目标点在第
    i个关键帧上的重投影误差。

    本发明的有益效果是:该方法首先采用无人机及其内嵌的单目相机作为数据的采
    集平台,再结合视觉ORB-SLAM算法完成多关键帧选取以及其位姿解算,由于ORB-SLAM可实
    时获得相机精确姿态,相比于通过静态场景三维点求解平面具有速度快、精度高等特点。最
    后利用射影重构理论通过多关键帧协同的方式求解目标的三维坐标。该方法适用于各种复
    杂的环境,具有较高的测量精度。经测试,本发明方法在室内具有厘米级定位精度,在室外
    20米飞行高度定位误差<0.3m。

    下面结合具体实施方式对本发明作详细说明。

    具体实施方式

    本发明无人机平台基于单目SLAM的多关键帧协同地面目标定位方法具体步骤如
    下:

    1、单目相机内参的标定。

    张氏标定法:调整标定板,连续采集20幅图像,进行角点检测,计算图像和棋盘格
    之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系,棋盘格
    上所有角点的空间坐标是满足共面约束的,假设其Z坐标为0,对单应性进行计算:


    其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标。分解H如下:

    H=sK[r1 r2 t] (4)

    其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机内参矩阵,利用r1和r2的
    正交性求解K。

    2、基于ORB-SLAM的关键帧姿态估计。

    采用ORB-SLAM,在已知相机内参的情况下,针对输入的视频序列,ORB-SLAM算法在
    经过初始化操作完成后,跟踪(Tracking)、地图构建(Mapping)以及闭环检测(Loop
    Closing)三个线程并行操作,完成相机实时的姿态估计同时构建增量式地图,其中得到的
    关键帧(Key Frames)记录了整个场景的关键信息。均匀选取5个关键帧{frel1,frel2,frel3,
    frel4,frel5}并记录姿态信息,作为单目尺度解算基础。

    3、场景中基于标定板的单目尺度解算。

    单目视觉自身存在物理尺度不确定的特点,经过上述步骤2,ORB-SLAM算法估计得
    到的关键帧姿态是相对的,为了获得关键帧的真实姿态,必须恢复场景的尺度。上述步骤2
    中选取的5个关键帧{frel1,frel2,frel3,frel4,frel5}画面中都含有放置的标定板,通过OPENCV
    开发的标定程序完成相机外参的标定,同时结合之前的相机内参,计算关键帧实际的投影
    矩阵得{P1,P2,P3,P4,P5}并进一步解算关键帧之间的真实姿态{Pose1,Pose2,Pose3,Pose4,
    Pose5}:


    其中P1是第一基准关键帧的投影矩阵,Pi是第i个关键帧的投影矩阵,其中i=2,3,
    4,5。通过比较真实姿态和ORB-SLAM估计得到的相对姿态,解算场景的尺度Scale。

    4、TLD目标跟踪。

    该??椴捎肨LD目标跟踪算法。首先对待测定位的目标进行圈选,并针对视频序列
    实时的得到目标图像坐标,然后保存关键帧中目标图像坐标{x1,x2......xn}。

    5、多关键帧协同的目标三维坐标解算。

    我们采用多关键帧协同的目标定位方法,首先依据对极几何的原理采用双关键帧
    实现目标世界三维坐标初值的解算。三维坐标X,其在两关键帧中的观测点是x,x',现假设
    分别是观测点x,x'满足极限约束的附近点。依据最小化投影误差,求解如下:


    其中F是两个关键帧之间的基本矩阵,和是观测点的投影
    误差。

    求解分为两步,首先通过DLT得到初始值,然后LM非线性迭代优化设
    满足x×PX=0,x'×P'X=0,故有:


    其中PiT是P矩阵的第i行,P'jT是P'矩阵的第j列,其次坐标x=(x1,y1,1),x'=(x2,
    y2,1)。转化X的线性方程组为AX=0。每一组对应点可以确定三个方程,但是只有两个线性
    无关,故转化A为下式:


    由于齐次坐标X有3个自由度,而AX=0含4个方程,故(6)式为一个超定方程组,通
    过得到AX=0的最优解,其中||AX||=1。

    采用多关键帧协同,使用捆束调整最小化多视图重投影误差,进一步优化X,如下
    式:


    其中Ii代表的式第i个关键帧,vi由下式确定:


    Q(X,Ii)代表目标点X在第i个关键帧上的投影点,d(Q(X,Ii),xi)2表示目标点在第
    i个关键帧上的重投影误差。

    关 键 词:
    无人机 平台 基于 SLAM 关键 协同 地面 目标 定位 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:无人机平台基于单目SLAM的多关键帧协同地面目标定位方法.pdf
    链接地址://www.4mum.com.cn/p-6000825.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03