• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩软件排行榜: 一种环视合成图重叠区域划分方法和环视合成图表示方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210119219.4

    申请日:

    2012.04.23

    公开号:

    CN103377372A

    公开日:

    2013.10.30

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 专利权人的姓名或者名称、地址的变更IPC(主分类):G06K 9/34变更事项:专利权人变更前:无锡维森智能传感技术有限公司变更后:无锡为森智能传感技术有限公司变更事项:地址变更前:214135 江苏省无锡市新区清源路中国传感网大学科技园兴业楼A510变更后:214135 江苏省无锡市新区清源路中国传感网大学科技园兴业楼A510|||授权|||实质审查的生效IPC(主分类):G06K 9/34申请日:20120423|||公开
    IPC分类号: G06K9/34 主分类号: G06K9/34
    申请人: 无锡维森智能传感技术有限公司
    发明人: 董延超; 马薇
    地址: 214135 江苏省无锡市新区清源路中国传感网大学科技园兴业楼A510
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210119219.4

    授权公告号:

    |||||||||

    法律状态公告日:

    2018.11.06|||2017.12.22|||2015.03.25|||2013.10.30

    法律状态类型:

    专利权人的姓名或者名称、地址的变更|||授权|||实质审查的生效|||公开

    摘要

    本发明是为了解决车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题,提供一种车载多目摄像机环视系统的合成图中各个相机视域中的重叠部分区域的划分方法。按照本发明提供的技术方案,所有环视合成图中的相邻摄像头重叠区域的像素由该像素反投影到每台摄像头的原始图像坐标进行比较来决定,具体实施方式可以采用原始图像坐标距离光轴中心的远近,或者通过像素空间密度来进行比较。距离光轴近的或者像素空间密度小的那台摄像头取得重叠区域的那个像素点的支配权。通过对所有相邻摄像头重叠区域的像素进行上述处理就可以得到合成图中各个相机视域中的重叠部分最优划分方法。

    权利要求书

    权利要求书
    1.    一种环视系统的合成图中重叠区域最优划分的计算和生成方法,其特征在于,所述方法包括:
         在车载环视系统的合成图中重叠区域的像素点,通过投影和坐标变换分别求出对应的相邻前摄像头原始图像的坐标,距离各个摄像头光轴中心近的那台摄像头取得该重叠区域像素点的支配权,从而得到合成图中重叠区域最优划分的计算和生成方法。

    2.  根据权利要求1所述的方法,其特征在于,所述方法包括:
    若各台相机内部参数不相同的情况下, 在车载环视系统的合成图中重叠区域的像素点, 通过投影和坐标变换分别求出对应的相邻摄像头原始图像的坐标以及坐标点像素空间密度,密度较小的那台摄像头取得该重叠区域像素点的支配权,从而得到合成图中重叠区域最优划分的计算和生成方法。

    3.  根据权利要求1所述的方法,其特征在于,在车载环视系统的画面显示中,根据合成图中重叠区域最优划分进行完全分割,用不同的摄像头的原始图像数据来填充不同划分区域的表示方式。

    4.  根据权利要求1所述的方法,其特征在于,在车载环视系统的画面显示中,根据合成图中重叠区域各个像素距离最优分界线的位置关系来确定权重的数据揉合法的显示方式。

    5.  摄像头原始图像坐标点像素空间密度的计算方法, 其特征在于,所述方法包括:
    原始图像中任意像素以及它的相邻像素通过投影和坐标变换得到环视合成图像的两个坐标点,这两个点的距离的倒数可以作为摄像头原始图像坐标点像素空间密度,在合成图重叠区域划分时, 像素空间密度小的摄像头取得该重叠区域像素点的支配权。

    说明书

    说明书一种环视合成图重叠区域划分方法和环视合成图表示方法
    技术领域
    本发明涉及车载多目摄像机环视系统,尤其是一种车载多目摄像机环视系统的合成图像重叠区域的最优划分方法以及图像合成方法。 
    背景技术
    当今社会,汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时,汽车交通事故,汽车尾气排放带来的环境污染以及交通阻塞带来的问题,已成为日益严峻的全球性社会问题。因此,利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。 
    上一世纪90年代以后,随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用,汽车安全技术得到了更加迅猛的发展。现如今,汽车安全技术的研究已由单一安全技术的研发,向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心,具有特定的识别判断能力,能在各种复杂情况下自动协助驾驶员或自行控制汽车,确保行车安全。 
    车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测,通过与预先设定的标准进行比较,判别车辆是否处于危险状态及危险程度,必要时能够通过声、光等方式向驾驶员进行预警。 
    目前车载环境感知系统使用的传感器主要有:1)单目或多目摄像机系统,通过对实时采集来的环境图像进行处理得到相关距离,位置等信息;2)激光雷达或毫米波雷达,通过发出并接收红外激光或者电波,根据多普勒效应,计算周边障碍物的距离和位置等信息;3)声纳,通过定向发出并接收超声波,计算周边障碍物的距离和位置等信息。 
    比较起来,激光或毫米波雷达可测范围广,抗外界恶劣环境的能力强,但通常只有一层或数层扫描面,无法获得整个场景的三维立体信息,而且价格昂贵。声纳只适用于近距测量(比如倒车用),而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息,是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部,方向朝侧下方。在驾驶员倒车时,系统自动接通车载显示屏,为驾驶员提供后方广域景象。 
    为了让驾驶员更准确的了解车辆周边的障碍物等危险信息,系统通过视角的变换处理将原有的具有一定俯角的图像变换为垂直朝下的虚拟摄像机图像。 
    倒车摄像机多用于比较复杂的倒车环境,但一台摄像机的视野有限,在车辆前方侧方障碍物较多的情况下,通常采用多台摄像机构成车辆环视系统,为驾驶员提供车辆360度完整的环境感知信息。 
    车辆环视系统主要是通过安装在车辆前后左右的多台摄像机拍摄的图像,经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图,并通过合成算法拼接为一张完整俯视图。 
    本专利所述车载多目摄像机环视系统是指车载环境感知的多目立体摄像机系统。 
    (1)与本发明相关的现有技术一:视点变换 
    现有技术一可以利用装配在车体前后左右的4台相机的内部参数与外部参数对各台相机的所摄取的图像做单一视点变换使其变换成为以车体为参照中心的俯视图,然后再对这4幅由各个相机所得到的俯视图做拼接生成一幅由4台相机图像无缝拼接的俯视图。
    现有技术一的前提是相机的内部参数与外部参数即知,车体按照既定位置停放或者车体的姿态即知。 
    专利文献1:日本专利JP3625059; 
    专利文献2:日本专利JPT2002-067158。
    (2)与本发明相关的现有技术二:俯视的环视图像合成 
    同上所述,安装在车辆前后左右的摄像机经过视点变换之后,分别形成多张虚拟垂直拍摄的俯视图像。在初始标定处理过程中,各台摄像机相对于车辆坐标系的位置可以求出。根据摄像机的相对位置数据,可以将这些俯视图像进行合成处理,拼接成一幅车辆环视的全景图。在各台虚拟摄像机的高度及焦距相同的情况下,这些俯视图像的尺寸比例相同,可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图,即可得到最后的结果图。
    专利文献3:日本专利JPA2002-067158; 
    专利文献4:日本专利JPA2008-34966。
    (3)与本发明相关的现有技术三:虚拟视点合成图像的解决办法 
    现有技术二中虽然可以生成多视点的车辆环绕俯视图,但比如在慢速倒车状态或者正常行驶状态时,除了要确认自车在场景中的实际位置以外,还需要确认周边车辆和其他障碍物。如果只通过垂直拍摄的虚拟视点的环视图,无法达到所需效果。
    现有技术三(日本专利JP_P3300334)提出通过采用不同视点,高度,焦距的虚拟视点以及包括平面模型,圆筒模型或模拟圆筒模型等场景模型,根据车辆状态,车速,方向转角来生成不同虚拟环视图像。这样可以达到同时满足确认自车状态以及周边环境的需求。同时现有技术三中还提出了对应不同虚拟视点图像所对应的查表方法。 
    专利文献5:日本专利JP_P3300334。 
    (4)现有技术的缺点 
    通过现有技术一以及现有技术二可以对多视点的视点变换图像进行拼接,得到环绕平面俯视图;现有技术三可以通过圆筒模型或模拟圆筒模型等场景模型来模拟除了平面以外的立体场景。不论是平面俯视图还是立体场景图都是将多幅由设置在车辆不同位置的摄像机拍摄的图像进行拼接合成的。一般情况下, 车载环视处理系统是由多台广角摄像机构成,每台摄像机覆盖一定区间,图像经过视点变换生成俯视图,并进行拼接得到车辆环视图。由于各台相机之间可能存在视域重叠部分,在环视图的拼接生成过程中就需要选择一条分界线来将重叠部分分割。如图3所示,分割线将合成图分割成几个互不联通的部分,每一部分对应一个相机的有效视域。由于现有技术没有涉及如何选择一条最优的分界线可以使得最终的合成图达到最清晰化,最终的合成图在视域重叠部分会有模糊的情况发生。
    发明内容
    所述技术方案如下: 
    本发明是为了解决车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题,提供一种车载多目摄像机环视系统的合成图中各个相机视域中的重叠部分分界线的计算方法。本发明能为驾驶员提供最清晰的环视合成图。
    按照本发明提供的技术方案,所有环视合成图中的相邻摄像头重叠区域的像素由该像素反投影到每台摄像头的原始图像坐标进行比较来决定,具体实施方式可以采用原始图像坐标距离光轴中心的远近,或者通过像素空间密度来进行比较。距离光轴近的或者像素控件密度小的那台摄像头取得重叠区域的那个像素点的支配权。 
    通过对所有相邻摄像头重叠区域的像素进行上述处理就可以得到合成图中各个相机视域中的重叠部分最优划分方法。 
    本发明的优点是:本发明解决了车载环视系统中存在的合成图中各个相机视域中的重叠部分不能达到最清晰程度的问题。 
    附图说明
    图1:车载环视摄像头位置与视域范围 
    图2:合成图分区
    图3:合成图分区与分割线
    图4:复合区域分割线确定方法
    图5:像素空间密度算法。
    具体实施方式
    下面结合附图和实施例对本发明作进一步说明。车载环视处理系统是由多台广角摄像机构成,每台摄像机覆盖一定区间,图像经过视点变换生成俯视图,并进行拼接得到车辆环视图。由于各台相机之间可能存在视域重叠部分,在环视图的拼接生成过程中就需要选择一条分界线来将重叠部分分割。分割线将合成图分割成几个互不联通的部分,每一部分对应一个相机的有效视域。由于现有技术没有涉及如何选择一条最优的分界线可以使得最终的合成图达到最清晰化,最终的合成图在视域重叠部分会有模糊的情况发生。 
    本发明提出车载环视合成图中视域重叠部分分界线的计算方法。 
    如图1所示,车载环视系统在车的前后左右各设置一个摄像头CamF, CamR, CamB, CamL,每个摄像头有自己的视域范围VFF, VFR, VFB, VFL。前摄像头的视域范围VFF和右摄像头的视域范围VFR有部分重叠区域VFRF,前摄像头的视域范围VFF和左摄像头的视域范围VFL有部分重叠区域VFLF,后摄像头的视域范围VFB和右摄像头的视域范围VFR有部分重叠区域VFRB,后摄像头的视域范围VFB和左摄像头的视域范围VFL有部分重叠区域VFLB?;肥酉低郴谏阆窕哪诓问胪獠问镁返氖拥惚浠患际踅?个摄像头所得到的图像融合成一幅无缝衔接的全视野图,如图2所示。 
    合成图图2可分成8个不同的区域:IMGF, IMGR, IMGB, IMGL, IMGRF, IMGRB, IMGLF, IMGLB。其中IMGF, IMGR, IMGB, IMGL是独立区域:IMGF的数据完全来自前摄像头CamF,  IMGR 的数据完全来自右摄像头CamR, IMGB 的数据完全来自后摄像头CamB, IMGL 的数据完全来自左摄像头CamL。IMGRF, IMGRB, IMGLF, IMGLB是复合区域,其数据可以从两个摄像头所得图像中取得:IMGRF 的数据可以从前摄像头CamF或者右摄像头 CamR取得, IMGRB的数据可以从后摄像头CamB或者右摄像头 CamR取得, IMGLF的数据可以从前摄像头CamF或者左摄像头 CamL取得, IMGLB的数据可以从后摄像头CamB或者左摄像头 CamL取得。 
    在复合区域IMGRF, IMGRB, IMGLF, IMGLB内需要确定一条分割线BRF, BRB, BLF, BLB(如图3所示)以便根据这条分界线选择不同的摄像头图像数据来填充复合区域。例如在硬分割情形下,复合区域IMGRF中分割线BRF以上区域用前摄像头CamF的相应数据填充,分割线BRF以下区域用右摄像头CamR相应数据填充;或者在数据揉合情形下,复合区域IMGRF中某像素的数值由前摄像头CamF的相应数据于与右摄像头CamR相应数据加权合成,其权重比例由距离分割线BRF的远近确定。 
    因此如何确定分界线会对复合区域的成像效果产生巨大影响。如果分界线选取不当造成合成图模糊难辨将给驾驶员造成重大干扰。 
    本发明提出一种新的分界线计算方法,以保证合成图复合区域部分最清晰。如图4所示,以复合区域IMGRF为例,其内一像素点pRF通过投影和坐标变换分别对应前摄像头图像IMGCamF的pF像素点以及右摄像头图像IMGCamR的pR像素点。pF和pR进行竞争,胜出者作为的pRF值。在各台相机内部参数相等的情况下其竞争过程为:比较pF距离IMGCamF光轴原点的距离dF与pR距离IMGCamR光轴原点的距离dR,距离较短者胜出。若各台相机内部参数不相等的情况下其竞争过程为:比较IMGCamF中pF处的像素空间密度与IMGCamR中pR处的像素空间密度,密度较小者胜出。 
    通过上述竞争过程就可以在复合区域IMGRF, IMGRB, IMGLF, IMGLB内需要确定一条分割线BRF, BRB, BLF, BLB(如图4所示),从而保证复合区域IMGRF, IMGRB, IMGLF, IMGLB的图像最清晰,即所包涵的信息最多。 
    如上所述,若各台相机内部参数不相等的情况下其竞争过程为:比较IMGCamF中pF处的像素空间密度与IMGCamR中pR处的像素空间密度,密度较小者胜出。现在介绍一种计算像素空间密度的方法: 
    如图5所示, 复合区域IMGRF为例,其内一像素点pRF通过投影和坐标变换分别对应前摄像头图像IMGCamF的pF像素点以及右摄像头图像IMGCamR的pR像素点。选取pF的邻接像素pF’(图5中选择pF的下邻像素作为示意),通过投影变换可以在IMGCamF中得到其相对应的像素位置pRF’, pRF与pRF’的距离即可作为pF处的像素空间密度值??占涿芏戎翟叫≡接攀?。

    关 键 词:
    一种 环视 合成 重叠 区域 划分 方法 图表
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种环视合成图重叠区域划分方法和环视合成图表示方法.pdf
    链接地址://www.4mum.com.cn/p-5779388.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03