• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 21
    • 下载费用:30 金币  

    广东重庆时时彩改单: 基于GPS和机器视觉的组合导航定位系统及方法.pdf

    关 键 词:
    基于 GPS 机器 视觉 组合 导航 定位 系统 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110096896.4

    申请日:

    2011.04.18

    公开号:

    CN102252681A

    公开日:

    2011.11.23

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G01C 21/26申请公布日:20111123|||实质审查的生效IPC(主分类):G01C 21/26申请日:20110418|||公开
    IPC分类号: G01C21/26; G01S19/39(2010.01)I 主分类号: G01C21/26
    申请人: 中国农业大学
    发明人: 张漫; 陈艳; 刘兆祥; 籍颖; 马文强; 吴琼; 刘刚
    地址: 100193 北京市海淀区圆明园西路2号
    优先权:
    专利代理机构: 北京路浩知识产权代理有限公司 11002 代理人: 王莹
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110096896.4

    授权公告号:

    ||||||

    法律状态公告日:

    2013.10.30|||2012.01.04|||2011.11.23

    法律状态类型:

    发明专利申请公布后的视为撤回|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于GPS和机器视觉的组合导航定位系统及方法,涉及导航定位技术领域。该系统包括:GPS定位装置,用于对导航车进行GPS定位,获得导航车的位置坐标、航向角度、以及行驶速度,并发送至融合定位装置;机器视觉定位装置,用于采集导航路径上的农田图像,对采集到的图像进行图像处理,提取导航路径,得到导航路径中已知点的位置坐标,并发送至融合定位装置;融合定位装置,用于对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准,并进行滤波处理,得到最终定位信息。本发明的方法及系统定位精度高、计算简单、且适合田间实时作业。

    权利要求书

    1.一种基于GPS和机器视觉的组合导航定位系统,其特征在于,
    该系统包括:
    GPS定位装置,用于对导航车进行GPS定位,获得导航车的位
    置坐标、航向角度、以及行驶速度,并发送至融合定位装置;
    机器视觉定位装置,用于采集导航路径上的农田图像,对采集到
    的图像进行图像处理,提取导航路径,得到导航路径中已知点的位置
    坐标,并发送至融合定位装置;
    融合定位装置,用于对来自所述GPS定位装置以及机器视觉定
    位装置的信息进行空间配准和时间配准,并进行滤波处理,得到最终
    定位信息。
    2.如权利要求1所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述GPS定位装置进一步包括:
    数据采集???,用于对导航车进行GPS定位,获得导航车的位置
    坐标、航向角度、以及行驶速度;
    数据处理???,将数据采集??椴杉降男畔⒕咚雇队氨浠?br />转换到平面坐标系下,将其保存、显示并发送至所述融合定位装置。
    3.如权利要求2所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述数据处理??榻徊桨ǎ?br />
    微控制器,用于将数据采集??椴杉降木扯刃畔⒕咚雇?br />影变换转换到平面坐标系下;
    通信单元,用于将所述微控制器处理后的定位信息传送至融合定
    位装置。
    4.如权利要求1所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述机器视觉定位装置进一步包括:
    图像采集???,用于采集导航路径上的农田图像;
    图像处理???,对图像采集??椴杉降耐枷窠写?,提取导
    航路径,得到导航路径中已知点的位置坐标,并发送至所述融合定位
    装置。
    5.如权利要求1所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述融合定位装置进一步包括:
    数据解析???,对来自所述GPS定位装置以及机器视觉定位装置
    传送的信息进行空间配准及时间配准;
    融合定位???,对数据解析??榇砗蟮氖萁新瞬ù?,得
    到最终定位信息。
    6.如权利要求2所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述GPS定位装置为可进行虚拟参考站VRS差分
    的RTK?GPS接收机,采用异步串行方式进行数据传送。
    7.如权利要求4所述的基于GPS和机器视觉的组合导航定位系
    统,其特征在于,所述图像采集??槲狢CD摄像机。
    8.一种基于权利要求1-7所述的系统的基于GPS和机器视觉的
    组合导航定位方法,其特征在于,该方法包括步骤:
    S1.GPS定位装置对导航车进行GPS定位,并将导航车的位置坐
    标、航向角度、以及行驶速度,发送至融合定位装置;
    S2.机器视觉定位装置采集导航路径上的农田图像,对采集到的
    图像进行图像处理,提取导航路径,并将导航路径中的特征点的位置
    坐标发送至融合定位装置;
    S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位装
    置的信息进行空间配准和时间配准,并进行滤波处理,得到最终的定
    位信息。
    9.如权利要求8所述的基于GPS和机器视觉的组合导航定位方
    法,其特征在于,步骤S3中,所述图像处理包括:图像灰度变换、
    图像分割、图像去噪、提取导航路径候选点、霍夫换提取导航路径、
    以及计算特征点。
    10.如权利要求8-9任一项所述的基于GPS和机器视觉的组合导
    航定位方法,其特征在于,步骤S3中,所述滤波处理基于无??ǘ?br />曼滤波UKF算法。

    说明书

    基于GPS和机器视觉的组合导航定位系统及方法

    技术领域

    本发明涉及导航定位技术领域,尤其涉及一种基于GPS和机器视
    觉的组合导航定位系统及方法。

    背景技术

    精细农业包括定位处方农作和农情信息自动采集,其中定位处
    方农作要求农业机械可以按照预先规划好的路径在田间行走,准确到
    达目的地并完成既定作业任务。精确导航是实现农业机械自主行走的
    关键技术之一,其定位精度直接影响农业机械进行路径自动跟踪的质
    量。因此,提高导航定位的精度,是改善农业机械路径跟踪质量的首
    要问题。

    全球定位系统(Global?Positioning?System,GPS)导航是使用最
    普遍的导航技术,可以利用环绕地球的24颗卫星向地面发射的无线电
    信号计算位置信息。GPS具有精度高、全天候工作、无限用户等特点,
    可以提供精确的三维位置、三维速度等信息。利用实时动态差分法
    (Real-time?Kinematic,RTK)GPS定位精度可以达到厘米级,完全
    满足农田作业的要求,但是其精度会受到视野中卫星的几何分布状况
    (GDOP)、星历误差、时钟误差、传播误差、多路径误差以及接收
    机噪声等因素的影响,当遇到树木、房屋、高大建筑物时,可能接收
    不到足够的卫星信号,这时定位精度将会受到一定的影响。其次,
    GPS只能为农业机械提供绝对位置,对于农机周围的相对信息一无所
    知。

    机器视觉导航技术能根据摄像机对周围环境实时探测的信号,规
    划出所需路径,并能够沿着该路径在没有人工干预的情况下,移动到
    预定目标处进行作业。使用视觉导航技术,摄像机可以不知疲劳、始
    终如一的观测农田环境,驾驶员可以不用长时间注意路面信息,可有
    效的减轻驾驶员的操作强度。

    南京农业大学的沈明霞在农田景物的区域和边缘的图像信息提
    取方面做了大量深入的研究,提出了几种新型算法。在农田景物区域
    检测方面,首先从农作物的纹理频谱角度出发,定义了几何对称性和
    方向度两种纹理特征,通过判断特征值来区分农作物区域和非农作物
    区域。该算法角度比较新颖,从纹理频谱的角度去识别,有效地避免
    了空间域上噪声的干扰。但是,由于纹理特征值的维数比较高,需要
    比较大的计算量,算法的实时处理性能比较差,不适合田间实时作业。

    发明内容

    (一)要解决的技术问题

    本发明要解决的技术问题是:如何提供一种定位精度高、计算简
    单、且适合田间实时作业的基于GPS和机器视觉的组合导航定位系统
    及方法。

    (二)技术方案

    为解决上述问题,本发明提供了一种基于GPS和机器视觉的组
    合导航定位系统,该系统包括:GPS定位装置,用于对导航车进行
    GPS定位,获得导航车的位置坐标、航向角度、以及行驶速度,并发
    送至融合定位装置;机器视觉定位装置,用于采集导航路径上的农田
    图像,对采集到的图像进行图像处理,提取导航路径,得到导航路径
    中已知点的位置坐标,并发送至融合定位装置;融合定位装置,用于
    对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配
    准和时间配准,并进行滤波处理,得到最终定位信息。

    其中,所述GPS定位装置进一步包括:数据采集???,用于对
    导航车进行GPS定位,获得导航车的位置坐标、航向角度、以及行
    驶速度;数据处理???,将数据采集??椴杉降男畔⒕咚雇队?br />变换转换到平面坐标系下,将其保存、显示并发送至所述融合定位装
    置。

    其中,所述数据处理??榻徊桨ǎ何⒖刂破?,用于将数据采
    集??椴杉降木扯刃畔⒕咚雇队氨浠蛔坏狡矫孀晗迪?;
    通信单元,用于将所述微控制器处理后的定位信息传送至融合定位装
    置。

    其中,所述机器视觉定位装置进一步包括:图像采集???,用于
    采集导航路径上的农田图像;图像处理???,对图像采集??椴杉?br />的图像进行处理,提取导航路径,得到导航路径中已知点的位置坐标,
    并发送至所述融合定位装置。

    其中,所述融合定位装置进一步包括:数据解析???,对来自所
    述GPS定位装置以及机器视觉定位装置传送的信息进行空间配准及
    时间配准;融合定位???,对数据解析??榇砗蟮氖萁新瞬ù?br />理,得到最终定位信息。

    其中,所述GPS定位装置为可进行虚拟参考站VRS差分的RTK
    GPS接收机,采用异步串行方式进行数据传送。

    其中,所述图像采集??槲狢CD摄像机。

    本发明还提供了一种基于上述系统的基于GPS和机器视觉的组
    合导航定位方法,该方法包括步骤:

    S1.GPS定位装置对导航车进行GPS定位,并将导航车的位置坐
    标、航向角度、以及行驶速度,发送至融合定位装置;

    S2.机器视觉定位装置采集导航路径上的农田图像,对采集到的
    图像进行图像处理,提取导航路路径,并将导航路径中的特征点的位
    置坐标发送至融合定位装置;

    S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位
    装置的信息进行空间配准和时间配准,并进行滤波处理,得到最终的
    定位信息。

    其中,步骤S3中,所述图像处理包括:图像灰度变换、图像分
    割、图像去噪、提取导航路径候选点、霍夫换提取导航路径、以及计
    算特征点。

    其中,步骤S3中,所述滤波处理基于无??ǘ瞬║KF算法。

    (三)有益效果

    本发明的具有以下优点:

    1、对作物行区域进行细化,再提取特征点,减轻了特征点检测
    的难度。

    2、传统的导航线提取不能良好的适应环境变化,本发明综合考
    虑光线等因素的影响,选择合适的图像处理方法,从农田作物的实际
    图像出发,改进现有的导航基准线提取算法,提高了实时性和鲁棒性。

    3、常用的摄像机标定方法是基于2D平面模板的标定方法,本发
    明简化了标定程序,实现了导航基准线相对实验车的位置坐标从图像
    坐标系到大地坐标系的转换。

    4、将GPS获得的绝对位置和机器视觉获得的相对位置进行融合,
    提高了系统的定位精度和可靠性,对定位数据中的跳变有一定的改善
    作用。满足精细农业的农机作业要求。

    5、采用数据本地存储,便于信息的分析处理。

    6、在VC++6.0环境下,开发了组合导航定位软件。用户不仅能
    通过窗口界面对导航定位情况及时了解,而且可以十分方便的进行数
    据转存和数据查询等操作。窗口程序友好,方便对系统控制,可满足
    广大用户的需求。

    附图说明

    图1为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位系统的结构框图;

    图2为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位系统的GPS定位装置的工作流程图;

    图3-1~3-2为依照本发明一种实施方式的基于GPS和机器视觉的
    组合导航定位系统的OEMV-3?GPS接收机和VRS数传设备的硬件结
    构图;

    图4为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位系统的机器视觉定位装置的工作流程图;

    图5为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位方法的流程图;

    图6为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位方法中的二值图像灰度投影图;

    图7为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位方法中的灰度投影图像;

    图8为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位方法中的阈值处理后的图像;

    图9为依照本发明一种实施方式的基于GPS和机器视觉的组合导
    航定位系统的融合定位装置的工作流程图;

    图10为GPS坐标系示意图;

    图11为融合模型示意图;

    图12为航位推算原理示意图。

    具体实施方式

    本发明提出的基于GPS和机器视觉的组合导航定位系统及方法,
    结合附图及实施例详细说明如下。

    农田中作物收割与未收割的边界有时并非直线,单独使用GPS进
    行导航,在确定导航基准线方面存在一定的误差;机器视觉进行此类
    作业,可以实时提取出当前作物行的特征信息,提高了定位的精度,
    但是单独使用机器视觉时,图像处理过程中有时会出现漏检的情况,
    因此本发明将GPS和摄像机两种传感器结合起来进行导航。

    如图1所示,依照本发明一种实施方式的基于GPS和机器视觉
    的组合导航定位系统包括:

    GPS定位装置,对导航车进行GPS定位,获得导航车的绝对位
    置坐标、航向角度、以及行驶速度,并发送至融合定位装置;

    机器视觉定位装置,采集导航路径上的农田图像,对采集到的图
    像进行图像处理,提取导航路径,得到导航路径中已知点在导航车坐
    标系中的相对位置坐标,并发送至融合定位装置;

    融合定位装置,对来自所述GPS定位装置以及机器视觉定位装
    置的定位信息进行空间配准和时间配准,并进行滤波处理,得到最终
    定位信息。

    农用RTK-GPS接收机在车辆导航系统中应用时,应具备以下条
    件:硬件资源可满足农业应用需求;系统工作稳定、可靠,功耗低;
    可与其它产品交叉使用,灵活性好。根据以上对农用RTK-GPS接收机
    功能的分析,本发明的GPS定位装置优选为可进行虚拟参考站(Virtual?
    Reference?Station,VRS)差分的RTK?GPS接收机,其采用异步串行方
    式进行数据传送,该装置进一步包括:

    数据采集???,配置串口,通过串口采集遵循NMEA-0183协议
    的GPS数据,包括WGS-84坐标系中的经纬度信息;

    数据处理???,将数据采集??椴杉降木扯刃畔⒕咚雇?br />影变换转换到大地坐标系下,将其保存并显示在界面中。由于要用到
    GGA和VTG两种语句格式中的信息,因此要对两种语句分别进行解
    析。GPS定位装置的数据采集及解析的工作流程如图2所示。

    该数据处理??榻徊桨ǎ?br />

    微控制器,用于将数据采集??椴杉降木扯刃畔⒕咚雇?br />影变换转换到平面坐标坐标系下;

    通信单元,用于将所述微控制器处理后的定位信息保存、显示并
    传送至融合定位装置。

    图3为数据采集???OEMV-3?GPS接收机)和数据处理???br />(VRS数传设备)的结构图。其中,OEM板优选为加拿大Novatel公
    司OEMV-3型。它是一款双频双星板,允许宽电压输入;定位信息最
    高输出频率可根据需要进行开通;支持RTCM(Radio?Technical?
    Commission?for?Maritime?services)及CMR格式差分数据的输入与输
    出,既可做基准站又可做移动站;支持多串口输出及CAN总线功能。
    VRS数传设备中的CDMA通信单元采用Anydata公司生产的
    DTGS-800,其价格较低,应用广泛。微控制器选择32位ARM7
    LPC2366作为主控制芯片,运行频率为72MHz。其片内Flash程序存储
    器为512KB,具有在系统编程和在应用编程功能,256字节编程时间
    为1ms,支持多达32个向量中断,还提供多个串口功能、以太网功能、
    USB功能。该数传设备可以根据用户不同需要,选择RTK、RTD差分
    信息,RTK差分信息可选择RTCM或CMR格式。内置电池同样保证设
    备长时间工作而不断电。

    该GPS定位系统精度为1~2cm,可输出的定位信息是标准的
    NMEA-0183语句格式,采用GGA和VTG两种格式输出数据,GGA语
    句可以获得导航车的位置,包括经度和纬度;VTG语句可以获得导航
    车的行驶速度和航向角度。

    机器视觉定位装置进一步包括:

    图像采集???,用于采集导航路径上的农田图像;

    图像处理???,对图像采集??椴杉降耐枷窠写?,包括图
    像灰度变换、图像分割(二值化)、图像去噪(噪声处理)、提取导航
    路径候选点、霍夫(Hough)变换提取导航路径、以及计算特征点。

    机器视觉定位装置的图像采集??槲泳醮衅?,优选为CCD
    摄像机,其输出图像为.bmp格式的彩色图像,通过USB2.0将采集的
    图片存入缓冲区,在图像处理时利用回调函数进行采集和处理的协
    调,对采集的图像进行处理,得到导航基准线中的特征点,将其转换
    到大地坐标系下,并保存数据,其工作流程如图4所示。

    融合定位装置进一步包括:

    数据解析???,对GPS定位装置以及机器视觉定位装置传送的定
    位信息进行空间配准及时间配准;

    融合定位???,对数据解析??榇砗蟮氖萁新瞬ù?,并
    输出最终定位信息。

    如图5所示,依照本发明一种实施方式的上述基于GPS和机器视
    觉的组合导航定位系统的组合导航定位方法包括步骤:

    S1.GPS定位装置对导航车进行GPS定位,并将导航车的绝对位
    置坐标、航向角度、以及行驶速度,发送至融合定位装置;

    S2.机器视觉定位装置采集导航路径上的农田图像,对采集到的
    图像进行图像处理,提取导航路径,并将导航路径中的特征点在导航
    车坐标系中的相对位置坐标,并发送至融合定位装置;

    S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位装
    置的信息进行空间配准和时间配准,并进行滤波处理,得到最终的定
    位信息。

    步骤S2中的农田图像的采集是由安装在导航车(农业机械)上的
    CCD摄像机采集得到的,CCD尺寸优选为60mm×60mm×50mm;
    像元大小为4.65μm×4.65μm;有效像素为1300×1024;帧频在全图
    模式下帧频从8~24Hz可调;电子快门最短曝光时间可为20μs;该摄
    像机通过USB2.0接口与计算机进行数据传输。

    步骤S2中的图像处理包括:(一)图像灰度变换、(二)图像分割
    (二值化)、(三)图像去噪(噪声处理)、(四)提取导航路径候选点、
    (五)霍夫(Hough)变换提取导航路径、以及(六)计算特征点。

    (一)图像灰度变换:彩色图像在存储时一般为三维,为了给图
    像分割提供方便,将其转换为一维,即进行灰度变换,本发明中的图
    像灰度变换的方法及过程如下:

    根据农田中绿色作物与田垄在颜色上的区别,选择2G-R-B对图
    像进行灰度变换。自然界的各种颜色光都可分解成红、绿、蓝三种颜
    色光,所以将红、绿、蓝三种颜色称为三基色,而以RGB三基色为坐
    标形成的空间就称为RGB彩色空间。在RGB模型中,根据三种颜色的
    不同比例,任意色光可表示为L=r[R]+g[G]+b[B],其中r[R]、g[G]、
    b[B]为彩色光L的三基色分量。根据模式识别的基本理论,方差大的
    特征区分能力强,三种正交的彩色特征:


    其中I1、I2、I3为彩色特征,分析利用彩色特征处理后的三类图
    像,选取可使农田环境中绿色作物与非绿色背景明显区分,有利于从
    背景中提取出绿色植物的彩色特征分量。变换方法如下:


    其中f(i,j)为灰度图像中某一点的灰度值,取值范围在0~255之
    间。

    (二)图像分割(二值化):图像进行分割的主要目的是将作物
    行区域和田垄区域区分开,分割后的图像中只有黑白两种灰度值,即
    0(全黑)、255(全亮)。本发明选择基于阈值的方法进行图像的分割,
    为了适应不同的环境,选用OTSU(最大类间方差)法处理图像。此
    方法是在判别与最小二乘原理的基础上推导出来的,是一种自适应的
    阈值确定方法。其基本原理是把图像的直方图在某一阈值处分割成两
    组,当这两组间的方差最大时,确定阈值。这种方法综合考虑了目标
    和背景两类之间的方差差异,类间方差最大意味着错分的概率最小,
    其可以有效的抑制噪声。

    设一幅图像的灰度值为0~m-1级,灰度值为i的像素数为mi,则
    像素总数为:

    N = Σ i = 0 m - 1 n i - - - ( 3 ) ]]>

    每个灰度值的概率为:

    p i = n i N - - - ( 4 ) ]]>

    然后用T将其分成两组C0={0~T-1}和C1={T~m-1},各组产生的
    概率为:

    C0产生的概率为: w 0 = Σ i = 0 T - 1 p i = w ( T ) - - - ( 5 ) ]]>

    C1产生的概率为: w 1 = Σ i = T m - 1 p i = 1 - w 0 - - - ( 6 ) ]]>

    C0的平均值为: μ 0 = Σ i = 0 T - 1 ip i w 0 = μ ( T ) w ( T ) - - - ( 7 ) ]]>

    C1的平均值为: μ 1 = Σ i = T m - 1 ip i w 1 = μ - μ ( T ) 1 - w ( T ) - - - ( 8 ) ]]>

    图像的平均灰度值为:

    μ = Σ i = 0 m - 1 i p i - - - ( 9 ) ]]>

    阈值为T时的灰度平均值为:

    μ ( T ) = Σ i = 0 T - 1 ip i - - - ( 10 ) ]]>

    因此,全部采样的平均灰度值为:μ=w0μ0+w1μ1????(11)

    两组间的方差为:

    δ 2 ( T ) = w 0 ( μ 0 - μ ) 2 + w 1 ( μ 1 - μ ) 2 = w 0 w 1 ( μ 1 - μ 0 ) 2 = [ μ · w ( T ) - μ ( T ) ] 2 w ( T ) [ 1 - w ( T ) ] - - - ( 12 ) ]]>

    (三)图像去噪(噪声处理):由于农田环境自身的特点,一些
    杂草、乱石、阴影的影响是不可避免的,因此分割后的图像中存在大
    量的噪声点,为了得到理想的效果,要对图像进行噪声处理。形态学
    的膨胀和腐蚀算法是去除噪声的有效方法,本发明采用先膨胀后腐蚀
    的方法进行噪声处理。

    膨胀:假设I为一幅待处理的二值图像,S为结构元素,则I被S
    膨胀定义为:


    式中,表示S的反射,表示将S的反射平移z个单位。图
    像I被结构元素S膨胀,即将平移z个单位后,判断结构元素与二
    值图像的交集,若交集不为空,则记录这个z点,所有满足上述要求
    的z点的集合就是I被S膨胀的输出结果。

    结合农田二值图像,待处理的图像I中作物行为目标区域,也就
    是白色像素集,对图像I膨胀的具体方法是:

    a.选定结构元素S,并确定其原点。根据农田作物图像的特点,
    作物行一般沿垄的方向上需要进行膨胀处理以便填充目标区域中的
    孔洞,因此,选择n×1像素的结构元素对图像进行处理。在结构元素
    原点的选择上,原则上任意像素都可作为其原点,但是一般选择结构
    元素的中心像素作为原点。

    b.求取结构元素S的反射,并在图像上进行平移,判断输出结
    果。设目标像素为白像素,由于选择的结构元素为n×1像素,关于原
    点对称,因此将此结构元素在二值图像I上沿像素点平移z个
    单位,如果在S范围内图像I中有一个像素点为白像素,则此时S的
    原点对应的图像I上的像素点为白色像素,反之,若S范围内图像I
    中没有白色像素,则此时S的原点对应的图像I上的像素点为黑色像
    素。

    c.统计图像I中所有白色像素的集合,即得到输出结果。

    腐蚀:假设I为一幅待处理的二值图像,S为结构元素,则I被S
    腐蚀定义为:

    IΘS = { z | ( S ) z I } - - - ( 14 ) ]]>

    图像I被结构元素S腐蚀,即将S平移z个单位后,判断结构元
    素是否包含在二值图像中,若包含则记录这个z点,所有满足上述要
    求的z点的集合就是I被S腐蚀的输出结果。

    结合农田二值图像,待处理的图像I为作物行目标区域,也就是
    白色像素集,对图像I进行腐蚀的具体方法是:

    d.选定结构元素S,并确定其原点。根据农田作物图像的特点,
    作物行一般沿与垄垂直的方向上需要进行腐蚀处理,以便去除一些噪
    声点的干扰,因此,选择1×n像素的结构元素对图像进行处理,结构
    元素的原点依然选择其中心像素。

    e.将结构元素在二值图像上进行平移,判断输出结果。目标像
    素为白像素,将此结构元素在二值图像I上沿像素点平移z个单位,
    如果在平移后结构元素S完全包含在I中,也就是S对应的图像I中
    的像素都为白像素,则此时S的原点对应的图像I上的像素点为白色
    像素,反之,若不包含在图像I中,则此时S的原点对应的图像I上
    的像素点为黑色像素。

    f.统计图像I中所有白色像素的集合,即得到输出结果。

    (四)提取导航路径候选点:

    目标区域是由很多白色像素团块组成的,为了减少直线提取的计
    算量,要从图像中确定出一系列候选点,这些候选点代表作物行的特
    征,减少了无用信息,为直线提取做好准备。本发明选择基于移动窗
    口的垂直投影法进行候选点的提取。

    图6为一幅二值图像的灰度投影图,该图中存在几个波峰,而这
    些波峰的位置就是近似的农作物中心位置。由于扫描是在整幅图像中
    进行的,而农田图像中作物并不是与像素坐标轴平行的,所以结果存
    在误差??悸巧鲜鲆蛩?,采用基于移动窗口的垂直投影法进行特征点
    的提取工作。该算法的基本原理是,首先设定一个h×1的移动窗口,
    将此窗口在图像中按列移动,计算窗口内的灰度投影值,扫描一行结
    束后,设定一个阈值,根据此阈值判断作物行的大致区域,然后确定
    作物行的中心点,接下来将窗口移动一行继续扫描,直到距离图像底
    部为h个像素时结束。

    假设图像的大小为M×N像素,f(i,j)为图像上(i,j)点的灰度值,
    S(j)为窗口内第j列所有像素点的灰度投影值,A和D分别为图像中
    一行所有S(j)的平均值和标准差。S(j)与A、D的计算公式如式(15)
    ~(17)所示。

    S ( j ) = Σ i = 1 h f ( i , j ) , j = 1,2 . . . M - - - ( 15 ) ]]>

    A = 1 M Σ j = 1 M S ( j ) - - - ( 16 ) ]]>

    D = 1 M Σ j = 1 M ( A - S ( j ) ) 2 - - - ( 17 ) ]]>

    提取导航路径候选点的主要步骤是:

    h.选定一个h×1的窗口,从图像的顶部开始移动窗口。为了减少
    作物行信息的丢失同时不增加图像处理时间,本实施方式中选择的窗
    口大小为20×1。

    i.计算窗口内的灰度投影值S(j)。由于处理的是农田二值图像,
    以白像素为目标像素,因此计算灰度投影值实际上就是计算目标像素
    的个数。图7为图像顶部提取的20个像素的投影图像

    j.将窗口沿列向右移动一个像素,重新计算S(j),在完成一行的
    移动后,得到S(1),S(2)...S(M),计算S(j)的平均值A和标准差D。

    k.设定一条阈值线S=A+D,该线以上的部分即为目标区域。方
    法是判断S与S(j)的大小,若S(j)≥S,则将S(j)设定为20;若S(j)<S,
    则将S(j)设定为0。图8为经过阈值处理后的图像,图中虚线直线即
    为阈值线,最后一行作物由于存在的目标像素较少,因此容易被忽视,
    但是这只代表一行的信息,在后面的扫描中,仍然可以将这部分作物
    行信息补上

    l.判断作物行的左右边缘点。由于此时图像每一列的像素分布只
    有“0”和“20”两个值,因此可以通过计算前后两列的像素差值,
    判断作物行的边缘点。判断的方法是:计算S(j+1)-S(j)的值,若
    S(j+1)-S(j)>0,则设定j+1为上升沿,也就是作物行的左边缘,若
    S(j+1)-S(j)<0,则设定j为下降沿,也就是作物行的右边缘。

    m.计算作物行的中心位置。设定作物行距离阈值,当扫描出的
    左右边缘的差值大于给定的阈值时,判断此区域为作物行区域,通过
    计算左右边缘的中点,得到作物行的中心位置像素。

    n.将窗口沿行向下移动一个像素,重复步骤i,直到距离录像底
    部为20个像素为止。

    (五)霍夫(Hough)变换提取导航路径:

    将得到的候选点利用直线拟合的方法处理即可得到导航路径。综
    合考虑处理时间和计算量,本发明选择基于已知点的Hough变换法
    进行直线的提取。其基本原理是首先确定候选点中的一个已知点,其
    坐标定义为(x0,y0),在农田的图像中,这个已知点也就是可以代表一
    行作物的特征的点,一般情况下选择所有候选点的几何中心点作为已
    知点,计算公式为式(18)。

    x 0 = Σ i = 1 n x i n ]]> y 0 = Σ i = 1 n y i n - - - ( 18 ) ]]>

    参数空间中必相交于一点(ρ0,θ0),因此得到式(19)。

    ρ 0 = x 0 cos θ 0 + y 0 sin θ 0 ρ 0 = x i cos θ 0 + y i sin θ 0 - - - ( 19 ) ]]>

    求解式(19)就可以得到对应的参数ρ0,θ0,并按照传统Hough
    变换的方法将相应的累加器加“1”,然后在候选点中重新寻找一个点
    进行上述运算得到相应的ρ,θ参数,直到所有候选点计算完毕,寻
    找出累加器的最大值也就找到了相应的ρ,θ,即可确定出直线。

    根据以上原理,使用基于已知点的Hough变换法进行直线检测
    的主要步骤为:

    o.当图像中存在多条直线时,首先要对候选点进行分类,分类
    的方法是首先根据农田图像的特点,初始化n个矩阵分别存放各直线
    类中的候选点,并根据农作物的行距确定距离阈值;然后从图像顶端
    开始扫描图像,遇到第一个候选点时就将其存放在第一个矩阵中,然
    后继续扫描,遇到下一个候选点时计算该点与上一点之间的距离,判
    断其与距离阈值的倍数关系,并存入相应的矩阵中。扫描一行结束后,
    向下移动一个像素重复上述工作,直到整幅图像扫描完毕。

    p.根据式(18)确定出图像空间中每一个候选点类的已知点,
    并将参数空间细分为M×N个单元,为每个单元分配一个累加器
    A(i,j),并将其初始化为“0”。

    q.取出图像空间中相应直线类的一个候选点,通过式(19)计
    算相应的ρ,θ参数,首先令θ等于参数空间中θ轴允许细分的范围,
    然后对ρ进行四舍五入找到最接近的ρ轴上的允许单元,并将该累加
    器的值加“1”。

    r.重新取出图像空间中相应直线类的一个候选点,重复步骤q,
    直到图像空间中所有相应类的目标点都计算完毕。检测每个累加器的
    值,取出累加器值最大的单元对应的ρ,θ参数,即得到直线方程。
    若存在多条直线,则重复步骤p-r,直到所有直线类检测完毕为止。

    (六)计算特征点:本发明在导航路径中的固定位置处选择一个
    像素点作为特征点,为信息融合做准备。

    在图像处理过程中,如果存在无法提取导航线的情况,则默认设
    置一条导航基准线,其极坐标参数θ设定为90°且位于图像的中部,由
    于采集图像的大小为640×480像素,此时导航线参数x=320。由于正
    确提取的导航基准线中可能存在θ为90°的直线,因此提取特征点之前
    需要进行判断,如果同时满足θ=90和x=320两个条件,则此时作物
    行提取出现了错误,应提取一幅新的图像重新提取导航基准线,若不
    同时满足以上两个条件,则认为导航线提取正确,继续提取出导航特
    征点并转换坐标。

    在步骤S3中,滤波核心的算法是无??ǘ瞬?Unscented?
    Kalman?Filter,UKF)算法,具体流程图如图9所示。首先判断各传
    感器数据的可靠性,初始化滤波器,将数据送入进行滤波,得到输出
    结果。由于机器视觉定位装置处理图像的时间大概为165ms左右,频
    率接近6Hz,为了保证数据在时域的同步,将GPS定位装置的输出频
    率设置为10Hz,当机器视觉定位装置处理完一幅图像后,随即提取此
    时的GPS位置信息,并将两组信息同时送入滤波器。

    为了保证系统的有效性,在GPS定位装置以及机器视觉定位装置
    的传感器数据送入滤波器之前,首先测试数据的有效性,当一种传感
    器失灵时,选择仍然正常工作的传感器进行定位,仅当两种传感器同
    时失灵时停止定位。

    在空间配准方面:

    由于CCD摄像机的位置可以由GPS通过平移实时获取,因此设
    定GPS坐标系为主坐标系(即图中的大地坐标系),将导航车坐标系
    (视觉坐标系)转换到GPS坐标系下。利用导航车的航向,即可得
    到相应坐标轴之间的旋转角度,再通过导航车坐标系原点在GPS坐
    标系中的位置,就可以统一这两个坐标系。

    根据图10中的关系,导航车坐标系中的一点P(x,y)在大地坐标
    系中的位置P′(Xw,Yw)可通过式(20)计算得到:


    其中,为导航车的航向角度。在时间配准方面,设定GPS的输
    出频率为10Hz,而视觉处理一幅图像的时间小于200ms,即小于
    10Hz,因此以视觉输出的频率为准,一幅图像处理完成之后,立即提
    取此时的GPS位置信息,从而保证二者在时间上的一致性。

    另外,UKF在处理状态方程时,首先,进行无迹(UT)变换,
    即计算σ点集;然后使用UT变换后的状态变量进行滤波估计,以减
    小估计误差?;驹硎抢糜邢薜牟问唇扑婊康母怕释臣铺?br />性,基本步骤可以概括为:

    s.产生关于x的一组σ点集(Sigma-point),通常取σ点的数目
    2n+1,其中n为状态向量的维数。

    t.将计算得到的σ点集代入,进行状态的预测。

    u.更新σ点集,并将观测结果代入对状态进行更新。

    考虑如下非线性模型:

    xk=Ak-1xk-1+wk-1????(21)

    zk=Hkxk+vk??????????(22)

    式中:xk为系统的状态向量;

    zk为量测向量;

    wk为过程噪声;

    vk为量测噪声;

    wk和vk为互不相关的零均值白噪声,且分别具有协方差矩阵Qk和
    Rk。

    设x的统计特性满足则可通过(23),(24)计算σ点及其
    权系数,

    ξ 0 = x ]]>


    ω i m = ω i c = 0.5 / ( n + λ ) , i = 1,2 , . . . , 2 n - - - ( 24 ) ]]>

    其中,λ=a2(n+κ)-n;

    n为状态向量的个数;

    a决定σ点的散布程度,通常取一个较小的正值;

    κ通常为一常数;

    β描述x的分布信息;

    表示矩阵平方根第i列;

    为求一阶统计特性时的权系数;

    为求二阶统计特性时的权系数。

    用UKF滤波算法计算一个循环的具体步骤如下:

    v.通过式(23)计算σ点其中的Px取Pk-1,取xk-1。

    w.通过式(25)计算σ点通过状态方程的传播,并对系统的
    状态和滤波误差协方差进行预测。

    ξ k ( i ) = A k - 1 ξ k - 1 ( i ) , i = 1,2 , . . . , 2 n x ^ k = Σ i = 0 2 n ω i m ξ k ( i ) , P ^ k = Σ i = 0 2 n ω i c ( ξ k ( i ) - x ^ k ) ( ξ k ( i ) - x ^ k ) T + Q k - 1 , - - - ( 25 ) ]]>

    x.通过式(23)更新σ点其中的Px取取

    y.通过式(26)计算输出预测。

    ζ k ( i ) = H k ξ k ( i ) , i = 1,2 , . . . , n z ^ k = Σ i = 0 2 n ω i m ζ k ( i ) , P z = Σ i = 0 2 n ω i c ( ζ k ( i ) - z ^ k ) ( ζ k ( i ) - z ^ k ) T + R , P x , z = Σ i = 0 2 n ω i c ( ξ k ( i ) - x ^ k ) ( ζ k ( i ) - z ^ k ) T , - - - ( 26 ) ]]>

    z.在得到量测zk之后,按照式(27)对预测的系统状态和预测的
    滤波误差方差阵进行更新。

    x k = x ^ k + K k ( z k - z ^ k ) , K k = P x , z P z - 1 , P k = P ^ k - K k P z - 1 K k T , - - - ( 27 ) ]]>

    其中Kk是滤波增益阵。

    综上,步骤S3的融合定位方法为:根据导航车作业环境的特点
    和机器视觉定位与GPS定位的特点,建立如图11所示的融合模型(即
    空间配准模型)。

    图中共有两个坐标系,一个是大地坐标系,另外一个是视觉坐标
    系(导航车坐标系),这两个坐标系可以通过旋转和平移转换到统一
    坐标系下,图中的目标点即为使用上述的图像处理算法后得到的目标
    路径中的代表作物行信息的特征点,其在视觉坐标系中的坐标为
    CCD摄像机在大地坐标系中的位置是由GPS实时获得
    的,其坐标为(xv,yv),通过此坐标和导航车的航向可以将视觉坐标
    系转换到大地坐标系下,从而根据公式(20)求出目标点在大地坐标
    系下的坐标(xp,yp)。该算法的输出为导航路径中的点在大地坐标中的
    位置坐标,另外GPS不仅提供CC摄像机在大地坐标中的位置,同时
    还提供导航车的航向和速度V。

    根据上述融合模型和UKF滤波的基本原理,确定k时刻系统的
    状态向量xk为:


    其中:

    (xv,k,yv,k)为k时刻导航车在大地坐标系中的位置坐标,大地坐标系
    为北-东平面坐标系;

    (uv,k,vv,k)为k时刻导航车分别在x,y方向的速度;

    为k时刻导航车的航向角度;

    (xp,k,yp,k)为k时刻目标点在大地坐标系中的坐标。

    航位推算原理,在自动导航中得到了普遍的应用,其基本原理如
    图12所示。

    在导航车恒速行驶的条件下,前一时刻的位置和当前时刻的位置
    关系如式29所示:

    x k = x k - 1 + u v , k - 1 Δt y k = y k - 1 + v v , k - 1 Δt - - - ( 29 ) ]]>

    根据上述航位推算原理,建立k时刻到k+1时刻的状态转移矩阵A,
    如式(30)所示:

    A = 1 0 Δt 0 0 0 0 0 1 0 Δt 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 Δt 0 0 1 0 0 0 0 Δt 0 0 1 - - - ( 30 ) ]]>

    将GPS定位装置和机器视觉定位装置输出的信息作为观测值,得
    到k时刻的量测向量zk为:


    根据传感器输出数据和状态向量之间的关系,得到视觉坐标系中
    目标点位置坐标和大地坐标系中目标点位置坐标(xp,k,yp,k)
    的关系,如式(32)所示,并通过式(33)建立状态向量与量测向量
    之间的转移矩阵H,以预测下一时刻:




    组合导航定位系统及方法将GPS获得的绝对位置信息和机器视
    觉获得的相对位置信息进行融合,防止由于GPS信号弱造成的定位精
    度不高问题和视觉信息丢失造成的缺少定位信息等问题,另外,通过
    信息的融合可以对两种传感器的信息进行偏差校正,在提高系统可靠
    性的基础上,同时提高系统的定位精度。

    以上实施方式仅用于说明本发明,而并非对本发明的限制,有关
    技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,
    还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明
    的范畴,本发明的专利?;し段вτ扇ɡ笙薅?。

    关于本文
    本文标题:基于GPS和机器视觉的组合导航定位系统及方法.pdf
    链接地址://www.4mum.com.cn/p-5878565.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 重庆时时历史开奖记录app 购彩票大厅 11选五复式投注表 pk10五码技巧规律 重庆山东时时吗 北京pk10官方开奖直播现场 浙江大乐透走势图 最好用的计划软件 彩票聊天话术 二中二六个号码复式多少注 赛车pk10计划 pk10计划人工在线计划网页版 澳洲pk10计划软件 河内五分彩稳赚技巧 36码网站多少 高频彩快三计划软件