• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    重庆时时彩技巧后一: 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法.pdf

    关 键 词:
    基于 遗传 算法 相机 标定 系统 及其 图像 畸变 矫正 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201710089832.9

    申请日:

    2017.02.20

    公开号:

    CN106683139A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/80申请日:20170220|||公开
    IPC分类号: G06T7/80(2017.01)I; G06N3/12; G06T5/00 主分类号: G06T7/80
    申请人: 南京航空航天大学
    发明人: 吴庆宪; 孙诚; 李轶锟; 郑文超
    地址: 210017 江苏省南京市秦淮区御道街29号
    优先权:
    专利代理机构: 南京经纬专利商标代理有限公司 32200 代理人: 许方
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201710089832.9

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明涉及一种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法,属于计算机图形学、数字图像处理以及人工智能算法技术领域。鱼眼相机标定系统包括顺序连接的畸变校正???、特征检测??楹陀阊巯嗷问甓??。图像畸变矫正方法包括图像预处理、哈里斯角点检测和遗传算法逼近内参、外参三个步骤。本发明能减少标定参数,且提高标定内参、外参的精度。

    权利要求书

    1.一种基于遗传算法的鱼眼相机标定系统,其特征在于,包括顺序连接的畸变校正模
    块、特征检测??楹陀阊巯嗷问甓??;
    所述畸变校正??椋憾酝枷窠性ご?,用于消除原鱼眼图像的畸变;
    所述特征检测??椋航兴谋咝文夂?,哈里斯角点检测;用于提供稳定的特征点;
    所述鱼眼相机参数标定??椋航砺勰诓巫魑跏贾?,由畸变校正??槭涑龅囊言ご?br />理图像作为输入,并且以特征检测??榧扑愠龅奶卣鞯阕魑问?,最后利用遗传算法逼近
    得出准确的摄像机内参、外参。
    2.根据权利要求1所述的基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法,其
    特征在于,包括以下步骤:
    (1)图像预处理
    在汽车的前后左右分别安装一个鱼眼摄像机,摄像机光轴与地面呈45度,标定场中标
    定板分别安置在距离汽车的前后左右,标定板中的方块面积为60cm*60cm,之后4个相机分
    别拍摄一副图像;
    利用小孔成像对比法分别对4幅图像进行畸变矫正;
    (2)哈里斯角点检测
    在图像预处理之后,对图像中标定板先进行四边形拟合,四边形拟合运用了矢量数据
    压缩算法;然后利用哈里斯角点检测,分别检测4幅矫正图中的角点;
    (3)遗传算法逼近内参、外参
    [1]寻优参数设定;
    [2]适应度函数定义;
    定义F为每组摄像机参数的适应度函数,其为空间中的点通过内外参数映射到二维平
    面与图像中角点的曼哈顿距离之和与阈值D的差值:,其
    中D是常数,根据经验设定,n是一副图像中检测角点总数, 为空间中的第i
    点通过当前内参映射到二维平面的坐标, 为图像中对应的第i个哈里斯角点;
    [3]遗传算法求解过程;
    遗传算法求解过程包含:选择、交叉、变异三个部分,
    通过不断地进行选择-交叉-变异的操作,直到达到预先设定的最大迭代数M代或高于
    预先设定阈值后,停止迭代,输出最终代的最优摄像机内参,之后通过该最优内参、空间点
    坐标和图像中的角点计算得到外参即为最优外参。
    3.根据权利要求2所述的基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法,其
    特征在于,步骤(2)中对图像中标定板进行四边形拟合,具体步骤如下:
    图像转化为灰度图,并进行二值化处理,二值化阈值设定为210;
    多边形轮廓提??;
    利用矢量数据压缩算法逼近多边形,若多边形有4个顶点,判断为标定板;
    4)运用哈里斯角点检测提取角点。
    4.根据权利要求2所述的基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法,其
    特征在于,步骤(3)设定适应度函数具体过称如下:利用空间中的点、图像中的角点和第i组
    内参计算出第i组外参,再利用空间中的点和第i组内、外参映射到二维平面,将此二维平面
    中的每个点与原图像中的对应的角点求曼哈顿距离,用参数D减去曼哈顿距离之和。
    5.根据权利要求2所述的基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法,其
    特征在于,步骤(3)中所述遗传算法求解过程选择部分,具体过程如下:首先根据定义的适
    应度函数F计算种群中每组摄像机内参的适应度: ,保存适应度最高的一组参
    数,用于替代下一代种群中适应度最低的一组参数,同时用前代种群中的最优参数替代当
    前组适应度最低的参数。

    说明书

    基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法

    技术领域

    本发明涉及一种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法,属于
    计算机图形学、数字图像处理以及人工智能算法技术领域。

    背景技术

    鱼眼图像畸变矫正有许多方法,其中文献(基于双经度模型的鱼眼图像畸变矫正
    方法[J].仪器仪表学报,2015,02:377-385)提出了运用双经度球面模型转化为平面模型的
    方法,利用鱼眼图像的桶形畸变特点,实现快速畸变矫正。然而,矫正后的图像虽然在中间
    部位还原为正常图像,但是在两极拉伸严重。文献(应用经纬映射的鱼眼图像校正设计方法
    [J].工程图学学报,2010,06:19-22)提出的经纬度模型矫正,是双经度矫正的一种改进,该
    方法同样具有快速矫正的特点,但是面对大于180度的鱼眼相机,矫正图片的拱形畸变较为
    严重,在双极处未得到很好的还原。

    摄像机标定有许多经典的方法,文献(A flexible new technique for camera
    calibration[J].IEEE Transactions on pattern analysis and machine
    intelligence,2000,22(11):1330-1334.)【一种灵活的新型摄像机标定技术】中提出的张
    正友标定法是被运用最为广泛的一种方法,其运用单幅标定板拍摄多幅图像,建立空间点
    到图像的数学关系式,可以达到普通相机的精确标定。然而对于畸变严重的鱼眼图像,张正
    友标定法利用极大似然法逼近内参、外参及畸变系数等多个参数,精度大幅下降。并且,在
    目前商业化生产线的条件下,通过相机拍摄多幅图像的方法效率较低。

    发明内容

    为了克服鱼眼图像畸变、标定方法复杂和标定参数不精确这几个缺点,提出了一
    种基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法。本发明仅需对单幅图像进行
    标定,并且,运用基于小孔成像对比矫正法对图像进行预处理,能减少标定参数,并且利用
    鲁棒性高、收敛性好的遗传算法进行参数寻优,从而达到提高标定内参、外参精度的要求。
    这对于鱼眼图像矫正、鱼眼相机标定的研究与实际应用的开发都具有重要的理论与实际意
    义。

    本发明为解决其技术问题采用如下技术方案:

    一种基于遗传算法的鱼眼相机标定系统,包括顺序连接的畸变校正???、特征检
    测??楹陀阊巯嗷问甓??;

    所述畸变校正??椋憾酝枷窠性ご?,用于消除原鱼眼图像的畸变;

    所述特征检测??椋航兴谋咝文夂?,哈里斯角点检测;用于提供稳定的特征点;

    所述鱼眼相机参数标定??椋航砺勰诓巫魑跏贾?,由畸变校正??槭涑龅囊?br />预处理图像作为输入,并且以特征检测??榧扑愠龅奶卣鞯阕魑问?,最后利用遗传算法
    逼近得出准确的摄像机内参、外参。

    一种基于遗传算法的鱼眼相机标定系统的图像畸变矫正方法,包括以下步骤:

    (1)图像预处理

    在汽车的前后左右分别安装一个鱼眼摄像机,摄像机光轴与地面呈45度,标定场
    中标定板分别安置在距离汽车的前后左右,标定板中的方块面积为60cm*60cm,之后4个相
    机分别拍摄一副图像;

    利用小孔成像对比法分别对4幅图像进行畸变矫正;

    (2)哈里斯角点检测

    在图像预处理之后,对图像中标定板先进行四边形拟合,四边形拟合运用了矢量
    数据压缩算法;然后利用哈里斯角点检测,分别检测4幅矫正图中的角点;

    (3)遗传算法逼近内参、外参

    [1]寻优参数设定;

    [2]适应度函数定义;

    定义F为每组摄像机参数的适应度函数,其为空间中的点通过内外参数映射到二
    维平面与图像中角点的曼哈顿距离之和与阈值D的差值:其
    中D是常数,根据经验设定,n是一副图像中检测角点总数,Gi(f′x,f′y,u′0,v′0)为空间中的
    第i点通过当前内参映射到二维平面的坐标,Hi为图像中对应的第i个哈里斯角点;

    [3]遗传算法求解过程;

    遗传算法求解过程包含:选择、交叉、变异三个部分,

    通过不断地进行选择-交叉-变异的操作,直到达到预先设定的最大迭代数M代或
    高于预先设定阈值后,停止迭代,输出最终代的最优摄像机内参,之后通过该最优内参、空
    间点坐标和图像中的角点计算得到外参即为最优外参。

    步骤(2)中对图像中标定板进行四边形拟合,具体步骤如下:

    1)图像转化为灰度图,并进行二值化处理,二值化阈值设定为210;

    2)多边形轮廓提??;

    3)利用矢量数据压缩算法逼近多边形,若多边形有4个顶点,判断为标定板;

    4)运用哈里斯角点检测提取角点。

    步骤(3)设定适应度函数具体过称如下:利用空间中的点、图像中的角点和第i组
    内参计算出第i组外参,再利用空间中的点和第i组内、外参映射到二维平面,将此二维平面
    中的每个点与原图像中的对应的角点求曼哈顿距离,用参数D减去曼哈顿距离之和。

    步骤(3)中所述遗传算法求解过程选择部分,具体过程如下:首先根据定义的适应
    度函数F计算种群中每组摄像机内参的适应度:F1,F2,F3...FN,保存适应度最高的一组参
    数,用于替代下一代种群中适应度最低的一组参数,同时用前代种群中的最优参数替代当
    前组适应度最低的参数。

    本发明的有益效果如下:

    由于本发明中的图像矫正法不依赖于球体模型,也不局限于鱼眼相机的最大入射
    角度,在双极点还原度较高,并且利用反向映射法,无需进行双线性插值。与此同时,本发明
    对图像进行预处理,减少了畸变参数的测定,为之后的摄像机标定提高了效率以及精度。

    与经典的张正友标定法相比,针对单幅标定图像,利用遗传算法逼近摄像机内参、
    外参,可以得到较高的精度,并且在标定流程上也更为简便,为生产提供了很大的便利。同
    时,利用寻优高效的遗传算法,仅需利用标定图像中极少的特征点,简化了标定物。

    附图说明

    图1为鱼眼相机标定系统结构图。

    图2为鱼眼相机标定方法流程图。

    具体实施方式

    下面结合附图对本发明创造做进一步详细说明。

    整个鱼眼相机标定系统如图1所示,其中包含三个处理???,分别为畸变校正模
    块、特征检测??楹陀阊巯嗷问甓??。

    (1)畸变校正??椋憾酝枷窠性ご?,主要包括利用小孔成像对比矫正法进行畸
    变矫正;用于消除原鱼眼图像的畸变,减少在鱼眼相机参数标定??橹械幕湎凳募扑?;

    (2)特征检测??椋核谋咝文夂?,哈里斯角点检测;用于提供稳定的特征点,作为鱼
    眼相机参数标定??橹械钠谕慰嫉?;

    (3)鱼眼相机参数标定??椋焊媚?榻砺勰诓巫魑跏贾?,由畸变校正??槭涑?br />的已预处理图像作为输入,并且以特征检测??榧扑愠龅奶卣鞯阕魑问?,最后利用遗传
    算法逼近得出准确的摄像机内参、外参,达到精确标定鱼眼相机的目的。

    本发明涉及到单幅鱼眼图像的鱼眼图像矫正技术和遗传算法的寻优方法如图2所
    示,包括以下步骤:

    1.图像预处理

    在汽车360度全景环视系统的标定流程中,汽车的前后左右分别安装一个鱼眼摄
    像机,摄像机光轴与地面呈45度,标定场中标定板分别安置在距离汽车的前后左右,标定板
    中的方块面积为60cm*60cm,之后4个相机分别拍摄一副图像。

    利用小孔成像对比法分别对4幅图像进行畸变矫正,其主要原理如下:

    小孔成像的物理模型为Rp=f*tan(θ),其中,Rp是成像点离图像中心的距离,f是焦
    距,θ是入射角。鱼眼成像的物理模型为Rf=f*sin(θ/2),其中,Rf是鱼眼图像中成像点离图
    像中心的距离,f是焦距,θ是入射角。由两式比较得出以下等式,
    其中,xp和yp分别代表小孔成像图中成像点到
    中心的横向及纵向距离,xf和yf分别代表鱼眼图像中成像点到中心的横向及纵向距离,λ为
    小孔成像图中成像点距中心的欧式距离与焦距的比值;f为焦距,可以通过式子
    求得,其中image_width鱼眼图像宽度,单位是像素,FOV是横向最大入射
    角。以上等式是采用的反向映射的方式列写,因此不必对图像进行双线性插值。我们将小孔
    成像图像中的点依次与鱼眼图像中的点对应,将鱼眼图像中的点填充到小孔成像图中,达
    到畸变矫正的目的。

    2.哈里斯角点检测

    在图像预处理之后,利用哈里斯角点检测,分别检测4幅矫正图中的角点。由于光
    照及畸变矫正的原因,安置在汽车四周边缘的标定板可能会显示模糊,最终检测边缘角点
    失败,因此要对图像中标定板进行四边形拟合,四边形拟合主要运用了矢量数据压缩算法,
    具体操作如下:

    1)图像转化为灰度图,并进行二值化处理,二值化阈值设定为210;

    2)多边形轮廓提??;

    3)利用矢量数据压缩算法逼近多边形,若多边形有4个顶点,判断为标定板;

    4)而后运用哈里斯角点检测提取角点。

    运用此方法可以避免其他物体和光照的干扰,提高角点检测在各个环境中的适应
    度。

    3.遗传算法逼近内参、外参

    [1]寻优参数设定

    由于摄像机的外参是通过世界坐标点、图像坐标点和内参计算得到,因此,严格意
    义上来讲,需要逼近的参数只有4个内参,即fx、fy、u0和v0,其中,fx为横向焦距像素距离、fy
    为纵向焦距像素距离、u0为光心在图像中的横坐标、v0为光心在图像中的纵坐标。利用摄像
    机厂家提供的理论内参作为遗传算法逼近的初始值:f/dx、f/dy、cx和cy,其中f是理论焦距,
    dx,dy分别是像素的理论长和宽,cx,cy分别是图像中心的横坐标和纵坐标。

    由于焦距偏移及光心偏移都不会过大,故对其变化范围进行约束:fx∈(f/dx-5,f/
    dx+5),fy∈(f/dy-5,f/dy+5),u0∈(cx-3,cx+3),v0∈(cy-3,cy+3)

    [2]适应度函数定义

    为利用遗传算法求解摄像机参数,需要定义适应度函数。定义F为每组摄像机参数
    的适应度函数,其为空间中的点通过内外参数映射到二维平面与图像中角点的曼哈顿距离
    之和:其中D是常数,根据经验设定,在360度全景环视系
    统中设为100,n是一副图像中检测角点总数,在此设为8,Gi(f′x,f′y,u′0,v′0)为空间中的第
    i点通过当前内参映射到二维平面的坐标,Hi为图像中对应的第i个哈里斯角点。

    具体过称为:利用空间中的点、图像中的角点和第i组内参计算出第i组外参,再利
    用空间中的点和第i组内、外参映射到二维平面,将此二维平面中的每个点与原图像中的对
    应的角点求曼哈顿距离,用参数D减去曼哈顿距离之和设定为我们的适应度函数。

    [3]遗传算法求解过程

    遗传算法求解过程主要包含:选择、交叉、变异三个部分。

    遗传算法将一组摄像机内参称为一个基因,而每次寻优过程中的多组摄像机内参
    称为一代种群,根据适应度函数每次迭代通过种群不断的选择-交叉-变异,产生下一代更
    适应(更优)的种群以达到寻优的目的。

    (1)初始种群产生,根据[1]中定义的摄像机初始参数及其约束范围,根据以下方
    法产生初始种群:设定每代种群规模为N(即每代种群中包含N组摄像机内参,在此设定为
    30),在每组摄像机内参约束范围内,随机选取参数,作为初代种群。

    (2)选择,首先根据[2]中定义的适应度函数F计算种群中每组摄像机内参的适应
    度:F1,F2,F3...FN,保存适应度最高的一组参数,用于替代下一代种群中适应度最低的一组
    参数,同时用前代种群中的最优参数替代当前组适应度最低的参数。

    (3)交叉,针对(2)中产生的一代种群,按照一定的概率选择2组摄像机内参进行单
    点交叉,交叉概率设定为0.9。

    (4)变异,为了增加种群的多样性以及防止寻优过早收敛,从第二代之后引入变异
    计算。设变异概率λ为0.05,那么有N*λ个变异基因。从第二代开始,将(2)中得到的新一代种
    群中适应度排名靠后的N*λ组参数,对每组参数随机选择一个参数进行变异,变异设定在参
    数约束范围之内。

    通过不断地进行选择-交叉-变异的操作,直到达到预先设定的最大迭代数M代(M
    设定为80)或高于预先设定阈值(阈值设定为95,即适应度函数值)后,停止迭代,输出最终
    代的最优摄像机内参,之后通过该最优内参、空间点坐标和图像中的角点计算得到外参即
    为最优外参。

    关于本文
    本文标题:基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法.pdf
    链接地址://www.4mum.com.cn/p-6079538.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • pk10大小单双免费计划 ssc时时彩计划软件 七星彩开奖结果走势图 pk10稳赢三码技巧 必中双色球6十1 北京pk10走势图分析 北京pk10赛车怎样稳赢 广东时时是真的吗 pk10赛车9码计划倍投 四川时时直播 快速时时开奖记录 快乐时时计划软件 金福票极速时时 新疆时时玩法介绍 广东时时11选五技巧稳赚 北京时时开奖官网