• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:30 金币  

    重庆时时彩定位胆玩法是真假: 一种基于四旋翼无人机的单目视觉三维特征提取方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201610901957.2

    申请日:

    2016.10.18

    公开号:

    CN106570820A

    公开日:

    2017.04.19

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 3/00申请日:20161018|||公开
    IPC分类号: G06T3/00; G06T7/00(2017.01)I; G06T7/223(2017.01)I; G06T7/40(2017.01)I; G06T7/269(2017.01)I; G06T7/45(2017.01)I 主分类号: G06T3/00
    申请人: 浙江工业大学
    发明人: 陈朋; 陈志祥; 党源杰; 朱威; 梁荣华
    地址: 310014 浙江省杭州市下城区潮王路18号浙江工业大学
    优先权:
    专利代理机构: 杭州斯可睿专利事务所有限公司 33241 代理人: 王利强
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610901957.2

    授权公告号:

    |||

    法律状态公告日:

    2017.05.17|||2017.04.19

    法律状态类型:

    实质审查的生效|||公开

    摘要

    一种基于四旋翼无人机的单目视觉三维特征提取方法,包括以下步骤:1)获取图像并且对图像进行预处理;2)提取二维图像特征点并且建立特征描述符;3)获取机载GPS坐标、高度数据和IMU传感器参数;4)根据机体参数对二维特征描述符进行坐标系建立,获得三维坐标信息。本发明提出一种针对四旋翼飞行器的运动跟踪问题的简单且运算量低的单目摄像机三维特征提取方法,大大简化了四旋翼飞行器运动跟踪的实现过程。

    权利要求书

    1.一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述方法包括
    以下步骤:
    1)获取图像并且对图像进行预处理;
    2)提取二维图像特征点并且建立特征描述符;
    3)获取机载GPS坐标、高度数据和IMU传感器参数;
    4)根据机体参数对二维特征描述符进行坐标系建立,获得三维坐标信息,过程如下:
    首先,根据相机参数建立内参数矩阵,根据该矩阵将步骤3)中获取到的二维特征坐标
    信息转换到像平面坐标系I,根据已知的焦距信息转换到相机坐标系C;其次,根据相机和机
    体的安装误差角与相对位置进一步转换坐标系到机体坐标系B;最终,根据IMU姿态角度并
    且融合飞行器GPS坐标信息和高度信息得到世界坐标系E中的带有景深信息的二维特征描
    述符。
    2.如权利要求1所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征
    在于:所述步骤4)中,根据机体参数获得二维特征的三维坐标信息,包括以下步骤:
    4.1)图像坐标系与像平面坐标系的转换
    图像坐标系是以左上角为原点的图像像素坐标系[u,v]T,该坐标系没有物理单位,因此
    引入原点OI在光轴上的像平面坐标系I=[xI,yI]T,像平面是相机根据小孔成像模型构建出
    来的具有物理意义的平面,假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy,其含
    义是感光芯片上像素的实际大小,是连接图像坐标系和真实尺寸坐标系的桥梁,dx和dy与
    摄像机焦距f有关,则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如
    下:
    <mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>u</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>v</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mfrac> <mn>1</mn> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mn>1</mn> <mrow> <mi>d</mi> <mi>y</mi> </mrow> </mfrac> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>K</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
    其中,(u0,v0)为图像坐标系中的中心点,即像平面坐标系的原点所对应的像素点,令
    包含四个与相机内部结构有关的参数,称为相机的内参矩阵;
    4.2)像平面坐标系与相机坐标系的转换
    假设相机坐标系中一点PC1=(xC,yC,zC),连接光心在图像坐标系中的投影点为PI1=
    (xI,yI),则这两点之间的坐标转换关系如下:
    <mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>I</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <mi>f</mi> </mrow> <msub> <mi>z</mi> <mi>c</mi> </msub> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>I</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <mi>f</mi> </mrow> <msub> <mi>z</mi> <mi>c</mi> </msub> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
    转换成矩阵形式如下:
    <mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <mi>f</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <mi>f</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>c</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>f</mi> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mi>f</mi> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>c</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
    其中f为相机焦距;
    4.3)相机坐标系与世界坐标系的转换
    首先,由于飞行器与相机存在安装误差,这里用[α,β,γ]T表示安装固定的三维误差角,
    用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离,则相机坐标系和机体坐标系的关系
    用来表示,即
    C=TB (4)
    其中C表示相机坐标系,B表示机体坐标系;
    其次,对于空间中一点PE=(xE,yE,zE),其对应的摄像机坐标系和摄像机的姿态角和所
    在位置有关,而无人机在飞行过程中,姿态角和位置信息实时获取,四旋翼无人机是一种具
    有6自由度的系统,其姿态角分为俯仰角横滚角θ和偏航角其旋转轴分别定义为X、Y、Z
    轴,坐标系原点为飞行器的重心,分别得到三轴的旋转矩阵后相乘即得到机体的旋转矩阵:

    可由四旋翼机身上的IMU传感器测得的x,y,z轴三个加速度分量与陀螺
    仪分量经四元数解算得到;令其中(x,y,z)为无人机在空间中的位置信
    息,z即为无人机飞行高度,无人机位置(x,y,z)可以由GPS和气压计获得,那么PE对应的相
    机坐标系下的点(xC,yC,zC)可由以下关系式计算出:

    其中T为相机坐标系和机体坐标系变换矩阵,R为机体旋转矩阵,M为飞行器的世界坐标
    点,[xE,yE,zE]T即为所求的特征点的三维坐标。
    3.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特
    征在于:所述步骤1)中,获取图像并且预处理的步骤如下:
    1.1)采集图像
    基于四旋翼飞行器平台的Linux开发环境,使用机器人操作系统ROS订阅图像主题的方
    式获取图像的,相机驱动由ROS和openCV实现;
    1.2)图像预处理
    采集到的彩色图像首先要进行灰度化,去除无用的图像彩色信息,这里使用的方法是
    求出每个像素点的R、G、B三个分量的加权平均值即为这个像素点的灰度值,这里不同通道
    的权值根据运行效率进行优化,避免浮点运算计算公式为:
    Gray=(R×30+G×59+B×11+50)/100 (7)
    其中Gray为像素点的灰度值,R、G、B分别为红、绿、蓝色通道的数值。
    4.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特
    征在于:所述步骤2)中,提取二维图像特征点并且建立特征描述符的过程为:
    2.1)ORB提取特征点
    ORB首先利用Harris角点检测方法检测角点,之后利用亮度中心来测量旋转方向;假设
    一个角点的亮度从其中心偏移而来,则合成周围点的方向强度,计算角点的方向,定义如下
    强度矩阵:
    mpq=∑x,yxpyqI(x,y) (8)
    其中x,y为图像块的中心坐标,I(x,y)表示中心的灰度,xp,yq代表点到中心的偏移,则
    角点的方向表示为:
    <mrow> <mi>C</mi> <mo>=</mo> <mo>(</mo> <mrow> <mfrac> <msub> <mi>m</mi> <mn>10</mn> </msub> <msub> <mi>m</mi> <mn>00</mn> </msub> </mfrac> <mo>,</mo> <mfrac> <msub> <mi>m</mi> <mn>01</mn> </msub> <msub> <mi>m</mi> <mn>00</mn> </msub> </mfrac> </mrow> <mo>)</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
    从角点中心构建这个向量,则这个图像块的方向角θ可以表示为:
    θ=tan-1(m01,m10) (10)
    由于ORB提取的关键点具有方向,因此利用ORB提取的特征点具有旋转不变性;
    2.2)LDB特征描述符建立
    在得到图像的关键点后,利用LDB来建立图像的特征描述符;LDB的处理过程依次是构
    建高斯金字塔、构建积分图、二进制测试,位选择和串联;
    为了让LDB拥有尺度不变性,构建高斯金字塔,并计算特征点在相应金字塔层级上对应
    的LDB描述符:
    <mrow> <msub> <mi>Pyr</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msub> <mi>&pi;&sigma;</mi> <mi>i</mi> </msub> </mrow> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&sigma;</mi> <mi>i</mi> <mn>2</mn> </msubsup> </mrow> </mfrac> </mrow> </msup> <mo>,</mo> <mn>1</mn> <mo>&le;</mo> <mi>i</mi> <mo>&le;</mo> <mi>L</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
    其中,I(x,y)为给定图像,G(x,y,σi)为高斯滤波器,σi逐渐增大,用于构建1到L层高斯
    金字塔Pyri;对于像ORB这样没有显著尺度估计的特征提取,需要对每个特征点都计算金字
    塔各层的LDB描述;
    LDB计算旋转坐标,并使用最邻近插值法,即时生成一个有向图块;
    建立好垂直积分图或旋转积分图并提取出光强和梯度信息后,就在成对网格间进行τ
    二进制检测,检测方法如下式:
    <mrow> <mi>&tau;</mi> <mrow> <mo>(</mo> <mi>F</mi> <mi>u</mi> <mi>n</mi> <mi>c</mi> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>,</mo> <mi>F</mi> <mi>u</mi> <mi>n</mi> <mi>c</mi> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>(</mo> <mi>F</mi> <mi>u</mi> <mi>n</mi> <mi>c</mi> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>,</mo> <mi>F</mi> <mi>u</mi> <mi>n</mi> <mi>c</mi> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>)</mo> <mo>&gt;</mo> <mn>0</mn> <mo>,</mo> <mi>i</mi> <mo>&NotEqual;</mo> <mi>j</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
    其中Func(·)={Iavg,dx,dy},用于提取出每个网格的描述信息;
    给定一个图像块,LDB先将这个图像块平均分成n×n个等大小的网格单元,提取出每个
    网格单元的平均光强度和梯度信息,在成对网格单元间分别比较光强度和梯度信息,将结
    果大于0的相应位置1;在不同的网格单元中平均光强和沿x或y方向的梯度能够有效地区分
    图像,因此,定义Func(i)如下:
    Func(i)∈{IIntensity(i),dx(i),dy(i)} (13)
    其中为网格单元i的平均光强,dx(i)=
    Gradientx(i),dy(i)=Gradienty(i),m是网格单元i中的总像素数,由于LDB使用的是等大
    小的而网格,m在同一层高斯金字塔上保持一致;Gradientx(i)和Gradienty(i)分别是网格
    单元i沿x或y方向的梯度;
    2.3)特征描述符的匹配
    当得到两幅图像的LDB描述符后,对两幅图像的描述符进行匹配;采用K最临近法来对
    两个描述符进行匹配;对于目标模板图像中的每个特征点,在输入图像中查找该点的最近
    邻的两个匹配,比较这两个匹配之间的距离,如果模板图像中一点的匹配距离小于0.8倍输
    入图像的匹配距离,认为模板中的点和输入图像对应的点为有效匹配,记录下相应的坐标
    值,当两幅图像间的匹配点多于4个,认为在输入图像中找到了目标物体,对应的坐标信息
    即为二维特征信息。
    5.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特
    征在于:所述步骤3)中,获取机载GPS坐标、高度数据和IMU传感器参数的方法为:
    MAVROS为第三方团队针对MAVLink开发的ROS包,当启动MAVROS并且和飞行器飞控连接
    后,该节点就会开始发布飞行器的传感器参数和飞行数据,这里订阅飞行器的GPS坐标主
    题、GPS高度主题、IMU姿态角主题的消息,获取到对应的数据。

    关 键 词:
    一种 基于 四旋翼 无人机 目视 三维 特征 提取 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种基于四旋翼无人机的单目视觉三维特征提取方法.pdf
    链接地址://www.4mum.com.cn/p-6092937.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03