• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:30 金币  

    重庆时时彩冷号分析: 一种基于双目像机的全景图像拼接方法.pdf

    关 键 词:
    一种 基于 双目 全景 图像 拼接 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610856568.2

    申请日:

    2016.09.28

    公开号:

    CN106683045A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 3/40申请日:20160928|||公开
    IPC分类号: G06T3/40; G06T5/00; G06T5/50; G06T7/33(2017.01)I; G06K9/46; G06K9/62 主分类号: G06T3/40
    申请人: 深圳市优象计算技术有限公司
    发明人: 罗文峰
    地址: 518052 广东省深圳市前海深港合作区前湾一路1号A栋201室
    优先权:
    专利代理机构: 北京中济纬天专利代理有限公司 11429 代理人: 陈立新
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610856568.2

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明提出了一种基于双目像机的全景图像拼接方法,首先将双目像机置于空间某一视点处,完成一次拍摄同时采集到两张鱼眼图像;其次针对经纬校正法在水平方向上畸变矫正不足的缺点,对传统算法进行了改进,并利用球面正投影的方法将校正后的图像投影到同一坐标系下,实现鱼眼图像快速校正;然后基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K??D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误匹配点,完成图像拼接;最后采用线性融合的方法,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象。

    权利要求书

    1.一种基于双目像机的全景图像拼接方法,其特征在于,包括以下步骤:
    S1、将双目像机置于空间内某一视点处,两镜头视角均为180°~220°的超广角镜头,分
    别负责空间内全景图像的前后视角拍摄,完成一次拍摄同时获取两张鱼眼图像;
    S2、对采集的两幅鱼眼图像进行畸变校正;
    S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球面正
    投影的方法,使鱼眼图像能够覆盖整个视点空间;
    S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜集策
    略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误
    匹配点,完成图像拼接。
    2.根据权利要求1所述的基于双目像机的全景图像拼接方法,其特征在于,还包括S5,
    采用线性融合的方法,通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图
    像的位置关系作为权重信息,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场
    景变化生硬的现象,从而达到自然过渡的效果。
    3.根据权利要求1或2所述的基于双目像机的全景图像拼接方法,其特征在于,S2中将
    经纬度校正方法中球面上经纬度看作水平经度和垂直经度,采用逆向映射的方法,由平面
    二维目标图像出发,反向计算鱼眼图像上对应点,利用等距成像模型和球面投影建立鱼眼
    图像与校正图像之间的对应关系,然后通过双线性插值算法计算相应像素值,从而实现畸
    变校正。
    4.根据权利要求1或2所述的基于双目像机的全景图像拼接方法,其特征在于,S2包括
    以下步骤:
    S21根据鱼眼镜头球面模型成像几何性质,对真实空间内的直线在鱼眼图像上对应的
    畸变弧线进行采样,然后根据采样点拟合椭圆方程,并求得拟合椭圆 的中心位置(x0,y0)及
    长轴半径R,从而确定光学中心与球面半径;
    S22以2R作为校正后图像的行和列数目,通过逆向映射方法,设校正后图像为目标图
    像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的
    逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点,Pd为目标图像中点Pa在鱼眼图像
    中对应的点,Pd在鱼眼图像坐标系中所对应的坐标为(u,v),其中点Pb在xoz平面和yoz平面
    上的投影点分别为p1、p2,op1与x轴正向夹角和op2与y轴正向夹角分别为θ,Pb在球面上
    的双经度坐标为(α,β),则存在关系式:


    联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化
    关系如(5)式所示:

    再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:

    通过式(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点 之间的
    像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相
    应点的灰度值,最终完成双经度图像畸变校正。
    5.根据权利要求4所述的基于双目像机的全景图像拼接方法,其特征在于,S21的方法
    为:
    a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样点对
    应的行列坐标;
    b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径值;
    C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并利用b
    步骤中的方法获得相应的椭圆中心和长轴半径值;
    d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心和长
    轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。
    6.根据权利要求5所述的基于双目像机的全景图像拼接方法,其特征在于,S21的步骤b
    中椭圆中心和长轴半径值的计算方法是:
    假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参数,
    A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数,
    再代入下列公式求得椭圆中心和长轴半径:


    7.根据权利要求2所述的基于双目像机的全景图像拼接方法,其特征在于,S5的方法
    为:
    如果经S4拼接之后的两图I1和I2之间存在重叠区域,则以重叠区域的中线为准,在重叠
    区域内任取一点A,若点A处在重叠区域的中线上,则图像I1和I2在点A的像素灰度权重值中
    取值均为0.5;当A点位于重叠区域最左侧边界线上时,图像I1在A点的权重值取1,图像I2在A
    点的权重值取0;同理,当A点位于重叠区域最右侧边界线上时,图像I1在A点的权重值取0,
    图像I2在A点的权重值取1;由此可知,线性融合方法按照线性等分原则对重叠区域求取像
    素灰度值,即越靠近左边的图像,则左图权重越大,同时右图权重下降,具体表达式如下:

    其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域的像
    素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,y)位
    置处的灰度值。

    说明书

    一种基于双目像机的全景图像拼接方法

    技术领域

    本发明属于数字图像处理领域,涉及全景图像拼接方法,特指一种基于双目像机
    的全景图像拼接方法。

    背景技术

    随着科技的发展,全景视觉的应用越来越广泛,其中包括气象、医疗、安全监控、检
    测技术等方面的应用。将多张图像拼接成一张全景图像的过程,不仅操作复杂、效率低下,
    而且在实际工程应用中的适用性不高。

    鱼眼镜头具有比普通摄像头更广阔的视角,为了简化多方位拍摄覆盖全景的摄像
    头摆放装置模型,双目像机通过在相反方向上同时拍摄获取覆盖全景的两张鱼眼图像,经
    过一系列图像处理过程,实现全景图像的拼接,这种方法简单、快速、可行性高。

    基于鱼眼镜头的全景图像拼接方法主要包括图像采集、鱼眼图像畸变校正、图像
    特征点提取和匹配、图像融合,最后将拼接好的全景图像输出。其中图像畸变校正的精确度
    直接影响着特征点能否成功地提取和准确地匹配,从而影响全景图像拼接的效果。

    目前鱼眼图像畸变校正的方式主要分为基于投影变换模型的校正方法和基于标
    定的鱼眼镜头畸变校正方法。其中基于球面透视投影主要是通过拟合多项式以优化目标函
    数,从而估计校正模型参数,推导出校正后的图像,该方法研究较早,但计算复杂,实时性
    差?;诒甓ǖ男U椒?,主要是借助外部设备对鱼眼图像的内外参数进行标定,通过真实
    坐标与语言成像平面坐标之间坐标转换,实现鱼眼图像畸变校正,该方法校正精度高,对实
    验设备要求较高。

    为了简化传统校正方法复杂度,提高视觉效果,在这两类方法的基础上结合图像
    的具体应用领域提出了许多校正方法。如刘红军等人(参考文献《鱼眼图像校正软件的关键
    技术研究》发表在仪表技术与传感器,2011年7期)采用球面透视投影和柱面展开两种算法
    对鱼眼图像进行校正,廖士中等人(参考文献《一种光学镜头摄像机图像几何畸变的修正方
    法》发表在中国图像图形学报,2000年5期)则提出利用多项式表示校正前后像素点坐标之
    间的关系,并通过最小二乘法求得多项式参数,实现鱼眼图像校正,但多项式次数越高,校
    正效果越好,计算量越大。

    经纬度校正算法是二维校正的典型代表,计算量小,校正过程简单,针对传统经纬
    校正算法以球面上的经度和纬度映射对应平面图像横向和纵向坐标,校正后图像在竖直方
    向上校正效果较好,但水平方向上的拱形畸变校正失败,而且出现中心校正过度而边缘校
    正不足的问题,为了解决传统经纬校正法这一缺陷,提出了双经度畸变校正的方法,将传统
    算法中的经线和纬线看作横向经线和纵向经线对畸变图像进行映射校正,提高了校正精
    度。本发明所指的传统经纬校正法是由英向华等人在计算机学报发表文献《一种基于球面
    投影约束的鱼眼镜头校正方法》中提出经纬映射图像校正原理。

    特征点的提取和匹配是图像处理中能否成功拼接的另一个重要???,对同一目标
    进行拍摄的两幅图像,进行特征点提取之后,得到大量的特征点,这些特征点有些非常相
    似,但并不能形成一一对应的关系,即存在伪匹配点。同时有部分特征点会出现在一副图像
    中存在,而相匹配的另一幅图像中却不存在的现象。因此,特征点匹配过程中需要选定合适
    的搜索策略和相似性度量准则,确保图像特征点匹配的搜索效率和准确性。图像配准完成
    后,图像重叠部分在强度或颜色上的不连续会造成拼接的图像存在明显的拼接痕迹,因此
    必须采用适当的方法对配准后的图像进行融合处理,消除两幅图像在拼接过程中所产生的
    拼接痕迹,使两幅图像的亮度变化均匀,形成一幅分辨率较高的无缝拼接图像。

    发明内容

    针对现有技术存在的不足,本发明提出一种基于双目像机的全景图像拼接方法。
    其创新性在于同时快速、稳定地获取两张覆盖全景的鱼眼图像,利用改进的经纬度校正法,
    提高图像校正精度,并将校正图像投影到同一坐标系,提取重叠区域特征点进行匹配,最后
    使用线性融合消除重影和变化生硬问题。

    为了实现上述技术目的,本发明采用的技术方案是:

    一种基于双目像机的全景图像拼接方法,包括以下步骤:

    S1、将双目像机置于空间内某一视点处,两镜头视角均为180°~220°的超广角镜
    头,分别负责空间内全景图像的前后视角拍摄,完成一次拍摄同时获取两张鱼眼图像;

    S2、对采集的两幅鱼眼图像进行畸变校正;

    S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球
    面正投影的方法,使鱼眼图像能够覆盖整个视点空间;

    S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜
    集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消
    除误匹配点,完成图像拼接。

    本发明中,S2的方法是将经纬度校正方法中球面上经纬度看作水平经度和垂直经
    度,采用逆向映射的方法,由平面二维目标图像出发,反向计算鱼眼图像上对应点,利用等
    距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系,然后通过双线性插值算
    法计算相应像素值,从而实现畸变校正。

    本发明的S2对采集的两幅鱼眼图像进行畸变校正,通过以下步骤实现:

    S21根据鱼眼镜头球面模型成像几何性质,对真实空间内的直线在鱼眼图像上对
    应的畸变弧线进行采样,然后根据采样点拟合椭圆方程,并求得拟合椭圆的中心位置(x0,
    y0)及长轴半径R,从而确定光学中心与球面半径,方法如下:

    a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样
    点对应的行列坐标;

    b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径
    值;

    假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参
    数,A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参
    数,再代入下列公式求得椭圆中心和长轴半径:



    C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并
    利用b步骤中的方法获得相应的椭圆中心和长轴半径值;

    d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心
    和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。

    S22以2R作为校正后图像的行和列数目,通过逆向映射方法,设校正后图像为目标
    图像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应
    的逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点,Pd为目标图像中点Pa在鱼眼图
    像中对应的点,Pd在鱼眼图像坐标系中所对应的坐标为(u,v),其中点Pb在xoz平面和yoz平
    面上的投影点分别为p1、p2,op1与x轴正向夹角和op2与y轴正向夹角分别为θ,Pb在球面
    上的双经度坐标为(α,β),则存在关系式:



    联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的
    转化关系如(5)式所示:


    再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:


    通过式(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点之间
    的像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上
    相应点的灰度值,最终完成双经度图像畸变校正。

    进一步地,本发明还包括S5,采用线性融合的方法,通过对图像重叠区域进行加权
    处理,将重叠区域中的像素与两幅图像的位置关系作为权重信息,对拼接后的图像进行融
    合,避免图像过渡区域出现颜色和场景变化生硬的现象,从而达到自然过渡的效果。

    如果经S4拼接之后的两图I1和I2之间存在重叠区域,则以重叠区域的中线为准,在
    重叠区域内任取一点A,若点A处在重叠区域的中线上,则图像I1和I2在点A的像素灰度权重
    值中取值均为0.5;当A点位于重叠区域最左侧边界线上时,图像I1在A点的权重值取1,图像
    I2在A点的权重值取0;同理,当A点位于重叠区域最右侧边界线上时,图像I1在A点的权重值
    取0,图像I2在A点的权重值取1;由此可知,线性融合方法按照线性等分原则对重叠区域求
    取像素灰度值,即越靠近左边的图像,则左图权重越大,同时右图权重下降,具体表达式如
    下:


    其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域
    的像素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,
    y)位置处的灰度值。

    本发明首先将双目像机置于空间某一视点处,完成一次拍摄同时采集到两张鱼眼
    图像;其次针对经纬校正法在水平方向上畸变矫正不足的缺点,对传统经纬校正法进行了
    改进,并利用球面正投影的方法将校正后的图像投影到同一坐标系下,实现鱼眼图像快速
    校正;然后基于SIFT(尺度不变特征转换)特征点检测法提取两投影图像重叠区域内的特征
    点,利用K-D树(K-DimensionTree)的搜集策略查找特征点的最邻近欧氏距离进行特征点匹
    配,并用RANSAC算法(随机采样一致性算法)对特征点去噪和消除误匹配点,完成图像拼接;
    最后采用线性融合的方法,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景
    变化生硬的现象。

    综上所述,本发明能够实现一次成像,通过对传统经纬度校正法的改进实现准确、
    快速校正,并利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,提高了
    算法的运行效率,采用线性融合方法对图像重叠区域加权处理,达到拼接图像自然过渡的
    效果。

    附图说明

    图1全景拼接方法实现框图

    图2双目像机采集图像实现拼接示意图

    图3畸变矫正方法实现框图

    图4校正坐标系和投影模型示意图

    图4-a校正后图像坐标图;图4-b半球面水平和垂直经度俯视图;图4-c球面模型侧
    视图;图4-d鱼眼图像坐标图。

    图5图像融合示意图。

    图6为传统经纬校正方法中经纬度分割球面的示意图。

    图7位本发明改进的双经线分割球面的示意图。

    具体实施方式

    下面结合附图和具体实施方式对本发明作进一步说明。

    参照图1,本发明一种基于双目像机的全景图像拼接方法,包括以下步骤:

    (1)首先将双目像机置于空间内某一视点处,分别负责空间内全景图像的前后视
    角拍摄,如图2所示,图2为双目像机采集图像实现拼接示意图。双目像机完成一次拍摄同时
    能够获取两张鱼眼图像,双目像机的两镜头视角均为180°~220°的超广角镜头,在本实施
    例中选用视角为190°的鱼眼镜头。

    (2)鱼眼镜头所采集到的图像视场范围大,存在着严重的畸变,需要对两幅鱼眼图
    像进行校正,针对传统的经纬校正法(参见:杨玲等在文献《应用经纬映射的鱼眼图像校正
    设计方法》中提出校正方法,2010年,工程图学学报,第6期)按同一比例校正过程中出现中
    心校正过度而边缘校正不足的问题。

    参照图6,传统的经纬校正法是通过经线和纬线对球面进行分割,校正后映射到平
    面上的图像应该为同一经线上的点具有相同的列坐标,同一纬线上的点具有相同的行坐
    标。而事实上,鱼眼镜头拍摄时采用等距投影或正交投影所建立的鱼眼图像点与球面坐标
    点之间的映射关系,导致校正后的图像在经线方向的拱形畸变得到了校正,而纬线方向上
    的拱形畸变校正失败。为了解决这一问题,本发明利用双经度畸变校正模型,参照图7,本发
    明采用横向经度线和纵向经度线对球面进行分割,弥补纬线方向上校正不足的缺点。本发
    明对传统的经纬校正法进行改进,将球面上经纬度看作横向经度和纵向经度,即将原本的
    经度和纬度用双经度的方法表示,原经度线表示为纵向经度,原纬度线表示为横向经度。采
    用逆向映射的方法,由平面二维目标图像(即无畸变的平面图像)出发,反向计算鱼眼图像
    上对应点,利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系,然后
    通过双线性插值算法计算相应像素值,从而实现畸变校正。

    对采集的两幅鱼眼图像进行畸变校正后需要将校正图投影到球面上。鱼眼图像是
    以非线性方式存储的,从成像模型可以看出,越靠近球心的数据密度越大,形变越小,离球
    心越远,失真越严重。透视变换中,垂直于球面赤道的直线仍然保持垂直,因此经纬度校正
    法具有垂直不变性,但水平方向存在着拱形畸变,针对这一缺陷,对传统的经纬校正法进行
    改进。

    在真实世界三维空间内的直线,经鱼眼镜头成像的几何模型所得到的图像中,原
    本的直线就成了一条发生畸变的曲线或者弧线。根据鱼眼镜头球面模型成像几何性质,对
    真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样,然后根据采样点拟合椭圆方
    程,并求得拟合椭圆的中心位置及长轴半径,从而确定光学中心与球面半径;具体过程为:

    a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样
    点对应的行列坐标;

    b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径
    值;

    C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并
    利用b步骤中的方法获得相应的椭圆中心和长轴半径值;

    d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心
    和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。

    其中步骤b中,计算椭圆中心和长轴半径的方法为:

    假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参
    数,A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参
    数,再代入下列公式求得椭圆中心和长轴半径。



    畸变校正具体过程将采用逆向映射的方法如图3所示,由平面二维目标图像出发,
    反向计算鱼眼图像上对应点的方法,然后通过双线性插值算法计算相应像素值。当投影模
    型为半球面时,横向经度与纵向经度取值范围均为0-π,直接映射时校正后图像太小,为保
    证校正后图像与原畸变图像大小相当,以2R作为校正后图像的行和列数目。如图4所示,通
    过逆向映射方法,设校正后图像为目标图像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为
    Pa(i,j)在半球面双经度俯视图中对应的逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的
    投影点,Pd为目标图像中点Pa在鱼眼图像中对应的点,Pd在鱼眼图像坐标系中所对应的坐标
    为(u,v),其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2,op1与x轴正向夹角和op2
    与y轴正向夹角分别为θ,Pb在球面上的双经度坐标为(α,β),则存在关系式:



    联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的
    转化关系如(5)式所示。


    再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:


    通过式子(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点之
    间的像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像
    上相应点的灰度值,最终完成双经度图像畸变校正。

    (3)将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球
    面正投影的方法,使鱼眼图像能够覆盖整个视点空间。其中球面正投影方法可以参照张茂
    军的《虚拟现实》一书。

    (4)基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜
    集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消
    除误匹配点,完成图像拼接。

    经过畸变校正之后投影到同一坐标系下的两幅鱼眼图像仍然存在着一定程度的
    形变,不能简单地通过位移变换实现拼接,因此需要寻找两幅鱼眼图像中同一目标的精确
    位置来确定两幅鱼眼图像的相对位置关系,即在重叠区域内提取特征点,并对特征点进行
    搜索和匹配。

    目前常用的特征点检测方法有SUSAN算法、SIFT算法、Moravec算法、Harris算法、
    直方图特征点描述等,基于SIFT特征点检测法具有多尺度空间检测稳定性,特征描述符信
    息量丰富。由于直接采用SIFT特征点检测法,计算特征描述符之间的欧氏距离维数高,耗时
    长。K-d树是对数据点在K维空间中划分的一种数据结构,是二叉树在维数上扩展之后的一
    种搜索方法。特征空间被K-d树的每一层分为两部分,树的节点按每一维进行划分,通过二
    叉搜索,生成搜索路径,沿路径找最邻近相似点,更新邻近点和查询点的距离,进行回溯搜
    索,直到全部节点回溯完成。

    本发明通过对两幅待拼接的图像重叠区域分别进行K-d数搜索,然后查找每个特
    征点的最邻近欧氏距离,设若有N个数据节点,则k维的搜索时间复杂度为O(kN1-1/k),比SIFT
    直接搜索所有特征点n个元素集合的时间复杂度O(n2)低很多,显然,在SIFT特征点检测算
    法中采用K-d树搜索方式,可以有效地降低算法的时间复杂度。特征点匹配完毕之后利用
    RANSAC算法对匹配好的特征点进行去噪处理,排除匹配异常点,保证正确匹配点不被去除,
    增强结果的稳定性。

    (5)最后采用线性融合的方法,通过对图像重叠区域进行加权处理,将重叠区域中
    的像素与两幅图像的位置关系作为权重信息,对拼接后的图像进行融合,避免图像过渡区
    域出现颜色和场景变化生硬的现象,从而达到自然过渡的效果。

    图像融合就是利用重叠区域的数据内容和位置关系,尽可能的降低噪声的影响,
    提高拼接图像的显示效果。图像融合的常用算法包括线性过渡、最佳缝合线、多通道融合等
    算法。线性融合通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图像的位
    置关系作为权重信息,从而达到自然过渡的效果,使人眼观察图像时,不会由于剧烈的灰度
    或者亮度变化而产生不适应,不真实的感觉。

    设待拼接的两幅图像I1和I2展开图的一部分如图5所示,两图之间存在着视角为
    10°左右的重叠区域,以重叠区域的中线为准,在该区域内任取一点A,若该点处在中线上,
    则图像I1和I2在点A的像素灰度权重值中取值均为0.5;当A点位于重叠区域最左侧边界线上
    时,图像I1在A点的权重值取1,图像I2在A点的权重值取0;同理,当A点位于重叠区域最右侧
    边界线上时,图像I1在A点的权重值取0,图像I2在A点的权重值取1。由此可知,线性融合方法
    按照线性等分原则对重叠区域求取像素灰度值,即越靠近左边的图像,则左图权重越大,同
    时右图权重下降。具体表达式如下:


    其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域
    的像素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,
    y)位置处的灰度值。

    关于本文
    本文标题:一种基于双目像机的全景图像拼接方法.pdf
    链接地址://www.4mum.com.cn/p-6079439.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 北京pk10在线开奖直播 免费计划大全彩计划官网 3分赛车计划彩票稳赚技巧 重庆时时官网开奖同步 幸运28全包稳赚模式 万能黄金计划软件下载 哪个倍投稳赚 老时时彩历史数据 上海时时直播 玩时时彩怎么稳赚方法 大乐透走势图带连线图 pk10双面盘 31选7体彩技巧稳赚软件 十一选五走势图山东 大乐透中奖规则 海南七星彩网站app