• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩定位单双: 用于警用无人机侦察取证的图像实时拼接方法.pdf

    关 键 词:
    用于 无人机 侦察 取证 图像 实时 拼接 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610954653.2

    申请日:

    2016.10.27

    公开号:

    CN106683046A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 3/40申请日:20161027|||公开
    IPC分类号: G06T3/40; G06T5/00; G06K9/46; G06T7/30(2017.01)I 主分类号: G06T3/40
    申请人: 山东省科学院情报研究所
    发明人: 王帅; 张莹莹; 刘向阳; 张江州; 姜树明; 阎淮海; 张元元; 魏志强; 王文爽
    地址: 250014 山东省济南市科院路19号
    优先权:
    专利代理机构: 北京一格知识产权代理事务所(普通合伙) 11316 代理人: 滑春生;赵永伟
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610954653.2

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种用于警用无人机侦察取证的图像实时拼接方法,包含改进的ORB算法、图像配准以及图像融合三个步骤;首先构建多尺度空间,利用显著性分析模型得到最佳角点检测阈值,提取特征点,然后利用ORB描述子对特征点描述,最后利用Hamming距离结合RANSAC方法实现快速匹配,结果表明,改进的ORB算法保持了速度的优越性,对存在尺度、旋转、视角及光照等变化的图像,其匹配率均有提高。

    权利要求书

    1.用于警用无人机侦察取证的图像实时拼接方法,其特征在于,包含改进的ORB算法、
    图像配准以及图像融合三个步骤;
    所述改进的ORB算法包括:对ORB进行了改进,将一种基于空频域分析的显著性模型结
    合KSW熵方法应用于特征提取阶段最优阈值的选取,利用高斯金字塔构建多尺度空间;
    输入图像I,首先将其从RGB颜色空间转变到CIE Lab颜色空间,图像在Lab颜色空间包
    含三个通道:一个亮度通道(L通道)和两个颜色通道(a通道和b通道),对于颜色通道,在时
    域采用高斯模糊消除细小的纹理细节,得到相应通道的特征图;对于亮度通道,采用一个高
    频增强巴特沃斯高通滤波器计算得到L通道的特征图,最后将各个通道的特征图组合在一
    起形成原始图像的显著图;
    任意输入图像都可以用幅度谱和相位谱来表示,其中相位谱包含的是图像的纹理细节
    信息,幅度谱包含明暗对比信息,如果只保留相位谱,得到的图像显著特征将会包含部分背
    景信息,干扰图像特征点的检测,导致误匹配现象,高通滤波器可以通过衰减和抑制低频分
    量,实现锐化目标边缘的同时最大程度的保留边缘信息,为了增强图像细节信息、锐化目标
    边缘、减少噪声干扰,采用了一个高频增强巴特沃斯高通滤波器;
    截止频率为D0的n阶巴特沃斯高通滤波器定义为:
    <mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>/</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mn>2</mn> <mi>n</mi> </mrow> </msup> </mrow> </mfrac> </mrow>
    其中,表示频率中点(u,v)与频率矩形中心的距离;
    输入图像I,将L,a和b三个通道的特征图组合在一起,得到最终显著特征SM为:
    SM(x,y)=||IL-IL(x,y)||+||Ia-Ia(x,y)||+||Ib-Ib(x,y)||
    其中,IL(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相应特征
    图像素值,Ia(x,y),Ib(x,y)分别为颜色通道相应的特征图像素值,IL,Ia,Ib分别为相应通道
    图像平均特征向量,为二范数欧式距离;
    阈值的选取应该随着图像灰度特征的变化而合理的变化,根据图像显著特征,结合KSW
    熵方法,来确定最佳阈值的选取,具体步骤如下:
    设图像灰度范围为[0,L-1],阈值t将其分为A、B两类,对应的概率分布分别为{p0,p1,
    p2,...,pt},{pt+1,pt+2,p2,...,pL-1},其中pi为相应灰度级出现的频率,令则A、B类
    对应的熵分别为:
    <mrow> <msub> <mi>H</mi> <mi>A</mi> </msub> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>t</mi> </munderover> <mfrac> <msub> <mi>p</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <mi>i</mi> </msub> </mfrac> <mi>l</mi> <mi>n</mi> <mfrac> <msub> <mi>p</mi> <mi>i</mi> </msub> <msub> <mi>P</mi> <mi>i</mi> </msub> </mfrac> </mrow>
    <mrow> <msub> <mi>H</mi> <mi>B</mi> </msub> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mfrac> <msub> <mi>p</mi> <mi>i</mi> </msub> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mi>l</mi> <mi>n</mi> <mfrac> <msub> <mi>p</mi> <mi>i</mi> </msub> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> </mfrac> </mrow>
    图像的总熵为H=HA+HB。则最佳阈值T为
    <mrow> <mi>T</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>k</mi> </mfrac> <mo>*</mo> <mo>|</mo> <mi>A</mi> <mi>r</mi> <mi>g</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mn>0</mn> <mo>&le;</mo> <mi>t</mi> <mo>&le;</mo> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munder> <mi>H</mi> <mo>-</mo> <mi>A</mi> <mi>r</mi> <mi>g</mi> <munder> <mi>min</mi> <mrow> <mn>0</mn> <mo>&le;</mo> <mi>t</mi> <mo>&le;</mo> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munder> <mi>H</mi> <mo>|</mo> </mrow>
    其中,k为比例系数,由于特征点阈值与图像的像素对比度相关,因此通过图像显著特
    征以及熵方法确定图像灰度级差,即最佳阈值;
    利用Fast角点检测算法结合得到的最佳阈值,提取特征点,并利用rBRIEF描述子对特
    征点进行描述,用于后续的图像配准;
    所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点;
    所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近的两
    个特征点,对于两个二进制描述子的距离可以使用汉明距离来表示,汉明距离是指两个长
    度相同的字符串之间对应位置不同字符的个数。汉明距离越小,表明两个二进制描述子越
    相似;
    对每个特征点计算其最短和次最短汉明距离,得到一组特征点匹配对,当最短与次最
    短距离的比例小于一个阈值时,认为两个特征点是匹配的;
    所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数进行
    估计,再根据估计的参数对其余数据进行分类,一部分数据在允许的误差范围之内,则为内
    点,否则为外点,经过多次假设验证,去除错误的匹配点对;
    RANSAC算法需要用到单应性矩阵H,它描述了两幅图像点坐标之间的变换关系,包括平
    移、旋转和缩放等关系,通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置,假设
    图像1和图像2中的一对匹配点p1(x,y),p2(x′,y′)之间的变换关系为:
    <mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>H</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>0</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>1</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>3</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>4</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>5</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>6</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>7</mn> </msub> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
    由4对匹配点即可计算出矩阵H的8个参数,RANSAC算法步骤如下:
    (1)设置迭代次数初值为0,最大迭代次数N,内点数目阈值T1,误差阈值T2;
    (2)从n对待匹配点对中随机选取4对,计算两图像间的变换矩阵H的参数;
    (3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离,若小于误差阈值
    T2,则认为该匹配点对为内点,否则为外点,计算内点的数量;
    (4)如果内点数量大于内点数目阈值T1,则将当前的模型保存为最优模型。否则,迭代
    次数加一,转到步骤(2)继续下一轮迭代;
    (5)如果达到最大迭代次数N,则返回对应内点数量最多的一组内点,并得到变换矩阵
    H;
    所述图像拼接是指:图像经过配准之后,再通过图像融合,完成图像的拼接,图像融合
    是图像拼接的最后一步,主要分为两部分:图像的合并和消除图像拼接线,图像的合并即根
    据图像配准结果,将重合区域内冗余像素信息剔除并将待拼接图像对准;消除图像拼接线
    需要在拼接线附近进行加权平均融合处理;加权平均的权重函数可以使用渐入渐出法,复
    杂度低,速度快,在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合像素到
    重合区域边界的距离计算权值,权值呈线性变化,融合公式为:
    <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msub> <mi>f</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msub> <mi>f</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <mo>(</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> <mo>&cap;</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>f</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
    式中,d1、d2表示像素点(x,y)在重合部分所对应的图像上的权重,且要求满足条件:d1+
    d2=1,0<d1,d2<1;
    d1、d2的计算公式为:
    其中xi为待融合像素点的横坐标,xi、xr分别为图像重合区域左右边界的横坐标。

    说明书

    用于警用无人机侦察取证的图像实时拼接方法

    技术领域

    本发明属于警用无人机拍摄取证技术领域,尤其涉及一种用于警用无人机侦察取
    证的图像实时拼接方法。

    背景技术

    近年来,国内外计算机犯罪率的不断提高,对国家安全和社会治安造成了严重威
    胁,对合法公私财产造成了严重损失,也对计算机取证技术提出了新的挑战和要求。计算机
    取证作为一个较新的研究领域,对打击犯罪、维护社会稳定具有重大的意义。将旋翼式无人
    机应用于侦察取证,具有响应快、实时性高和图像真实可靠等优点,也可有效缓解侦察取证
    手段不足、效率低下的问题。但是由于无人机的航拍图像信息量大、视角多,对后续的信息
    分析带来了一定的挑战。

    利用无人机侦察取证,为了及时、准确的反映现场情况,需要将获得的图像进行实
    时拼接。图像特征点匹配的准确率和效率影响着图像拼接的质量。目前,应用于图像特征点
    匹配的算法很多。SIFT算法作为经典的特征点匹配算法,虽然匹配准确率较高,但是计算复
    杂度较高,无法达到实时的要求。之后Bay等人对其改进,提出了SURF特征点提取的算法。近
    年来,也涌现出了很多新的特征点匹配算法,如BRIEF、ORB、BRISK、FREAK等算法。

    ORB是基于FAST特征提取和BRIEF特征描述的算法,具有速度快的优点,但并不具
    备尺度不变性,而且特征提取阶段,算法阈值选取固定, 没有考虑到图像之间显著特征的
    不同。因此对ORB算法的改进具有极强的应用价值。

    发明内容

    本发明就是针对上述问题,提出一种用于警用无人机侦察取证的图像实时拼接方
    法,该方法将一种基于空频域分析的显著性模型应用于特征提取阶段最优阈值的选取,利
    用高斯金字塔结构构建多尺度空间,在保持速度快的基础上,提高了匹配准确率。

    为达到上述技术目的,本发明采用了一种用于警用无人机侦察取证的图像实时拼
    接方法,包含改进的ORB算法、图像配准以及图像拼接三个步骤;

    所述改进的ORB算法包括:对ORB进行了改进,将一种基于空频域分析的显著性模
    型结合KSW熵方法应用于特征提取阶段最优阈值的选取,利用高斯金字塔构建多尺度空间;

    输入图像I,首先将其从RGB颜色空间转变到CIE Lab颜色空间,图像在Lab颜色空
    间包含三个通道:一个亮度通道(L通道)和两个颜色通道(a通道和b通道),对于颜色通道,
    在时域采用高斯模糊消除细小的纹理细节,得到相应通道的特征图;对于亮度通道,采用一
    个高频增强巴特沃斯高通滤波器计算得到L通道的特征图,最后将各个通道的特征图组合
    在一起形成原始图像的显著图;

    任意输入图像都可以用幅度谱和相位谱来表示,其中相位谱包含的是图像的纹理
    细节信息,幅度谱包含明暗对比信息,如果只保留相位谱,得到的图像显著特征将会包含部
    分背景信息,干扰图像特征点的检测,导致误匹配现象,高通滤波器可以通过衰减和抑制低
    频分量,实现锐化目标边 缘的同时最大程度的保留边缘信息,为了增强图像细节信息、锐
    化目标边缘、减少噪声干扰,采用了一个高频增强巴特沃斯高通滤波器;

    截止频率为D0的n阶巴特沃斯高通滤波器定义为:


    其中,表示频率中点(u,v)与频率矩形中心的距
    离;

    输入图像I,将L,a和b三个通道的特征图组合在一起,得到最终显著特征SM为:

    SM(x,y)=||IL-IL(x,y)||+||Ia-Ia(x,y)||+||Ib-Ib(x,y)||

    其中,IL(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相
    应特征图像素值,Ia(x,y),Ib(x,y)分别为颜色通道相应的特征图像素值,IL,Ia,Ib分别为相
    应通道图像平均特征向量,为二范数欧式距离;

    阈值的选取应该随着图像灰度特征的变化而合理的变化,根据图像显著特征,结
    合KSW熵方法,来确定最佳阈值的选取,具体步骤如下:

    设图像灰度范围为[0,L-1],阈值t将其分为A、B两类,对应的概率分布分别为{p0,
    p1,p2,...,pt},{pt+1,pt+2,p2,...,pL-1},其中pi为相应灰度级出现的频率,令则A、B
    类对应的熵分别为:



    图像的总熵为H=HA+HB。则最佳阈值T为


    其中,k为比例系数,由于特征点阈值与图像的像素对比度相关,因此

    通过图像显著特征以及熵方法确定图像灰度级差,即最佳阈值;

    利用Fast角点检测算法结合得到的最佳阈值,提取特征点,并利用rBRIEF描述子
    对特征点进行描述,用于后续的图像配准;

    所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点;

    所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近
    的两个特征点,对于两个二进制描述子的距离可以使用汉明距离来表示,汉明距离是指两
    个长度相同的字符串之间对应位置不同字符的个数。汉明距离越小,表明两个二进制描述
    子越相似;

    对每个特征点计算其最短和次最短汉明距离,得到一组特征点匹配对,当最短与
    次最短距离的比例小于一个阈值时,认为两个特征点是匹配的;

    所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数
    进行估计,再根据估计的参数对其余数据进行分类,一部分数据在允许的误差范围之内,则
    为内点,否则为外点,经过多次假设验证,去除错误的匹配点对;

    RANSAC算法需要用到单应性矩阵H,它描述了两幅图像点坐标之间的变换关系,包
    括平移、旋转和缩放等关系,通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置,
    假设图像1和图像2中的一对匹配点p1(x,y),p2(x′,y′)之间的变换关系为:


    由4对匹配点即可计算出矩阵H的8个参数,RANSAC算法步骤如下:

    (1)设置迭代次数初值为0,最大迭代次数N,内点数目阈值T1,误差阈值T2;

    (2)从n对待匹配点对中随机选取4对,计算两图像间的变换矩阵H 的参数;

    (3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离,若小于误差
    阈值T2,则认为该匹配点对为内点,否则为外点,计算内点的数量;

    (4)如果内点数量大于内点数目阈值T1,则将当前的模型保存为最优模型。否则,
    迭代次数加一,转到步骤(2)继续下一轮迭代;

    (5)如果达到最大迭代次数N,则返回对应内点数量最多的一组内点,并得到变换
    矩阵H;

    所述图像拼接是指:图像经过配准之后,再通过图像融合,完成图像的拼接,图像
    融合是图像拼接的最后一步,主要分为两部分:图像的合并和消除图像拼接线,图像的合并
    即根据图像配准结果,将重合区域内冗余像素信息剔除并将待拼接图像对准;消除图像拼
    接线需要在拼接线附近进行加权平均融合处理;加权平均的权重函数可以使用渐入渐出
    法,复杂度低,速度快,在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合
    像素到重合区域边界的距离计算权值,权值呈线性变化,融合公式为:


    式中,d1、d2表示像素点(x,y)在重合部分所对应的图像上的权重,且要求满足条
    件:d1+d2=1,0<d1,d2<1;

    d1、d2的计算公式为:

    其中xi为待融合像素点的横坐标,xi、xr分别为图像重合区域左右边 界的横坐标;

    本发明首先构建多尺度空间,利用显著性分析模型得到最佳角点检测阈值,提取
    特征点,然后利用ORB描述子对特征点描述,最后利用Hamming距离结合RANSAC方法实现快
    速匹配,改进的ORB算法保持了速度的优越性,对存在尺度、旋转、视角及光照等变化的图
    像,其匹配率均有提高。

    附图说明

    图1所示的是本发明的算法流程图;

    图2所示的是渐入渐出权值变化图;

    具体实施方式

    下面结合附图和具体实施方式,对本发明作进一步的阐述。

    结合图1,首先来了解一下什么是ORB算法,ORB算法是将FAST特征点的检测方法与
    BRIEF特征描述子结合起来,并做了改进与优化,本发明主要介绍该算法的特征点检测和特
    征点描述两部分。

    1)特征点检测

    ORB算法使用了高斯金字塔结构,并为每个特征点计算其主方向,使得检测的特征
    点具有尺度不变性和旋转不变性。

    (1)首先建立尺度空间,构造图像金字塔,与SIFT不同,每层只有一副图像。

    (2)根据公式计算每一层需要提取的特征点数n,在不同尺度图像上使用FAST算法
    检测特征点,并根据FAST角点响应值排序,保留前2n个点,然后计算特征点的Harris角点响
    应值并排序,保留前n个点,作为该层的特征点。

    (3)计算特征点的主方向。ORB提出了一种灰度质心法,即角点的灰度与其邻域内
    的质心之间存在一个偏移量,把这个向量作为特征点的方向。

    定义任意一个特征点p的邻域S的矩为:


    其中I(x,y)为点(x,y)处的灰度值。

    邻域S的质心为:


    特征点与质心的夹角定义为该特征点的主方向:θ=arctan(M0,1/M1,0)

    2)特征点描述

    ORB算法对BRIEF描述子做了改进,即rBRIEF描述方法,使描述子具有旋转不变性。
    BRIEF描述子实质是一个长度为m的二值码串,在特征点周围选择m个点对,比较每个点对的
    灰度值,编码成二进制形式的描述子。

    一个二进制比较准则函数τ定义为:


    式中p(x)为邻域内x处的灰度值。ORB算法为了去除噪声干扰,在特征点处选择一
    个5×5的图像块,经过平滑处理后,用图像块的平均灰度值代替该特征点的灰度值。

    在特征点附近选取m个点对,进行比较,即可得到长度为m的二进制串,作为特征描
    述子:

    ORB算法为了使描述子具有旋转不变性,使用上述计算得到的特征点主方向来确
    定特征描述子的方向。将特征点周围的m个点对组成一个矩阵S:

    定义特征点方向θ对应的旋转矩阵为Rθ,与方向θ对应的特征点对矩阵Sθ=RθS。其
    中,θ为特征点的主方向。

    确定方向后的特征描述子为:gm(p,θ)=fm(p)|(xi,yi)∈Sθ

    为了提高描述子的判别性能,ORB采用贪婪搜索,从全部可能的二进制测试中选出
    256个方差最大,相关性最低的测试点对,构成所需的特征描述子。

    在上述基础上,本发明公开了一种用于警用无人机侦察取证的图像实时拼接方
    法,包含改进的ORB算法、图像配准以及图像融合三个步骤;

    所述改进的ORB算法包括:对ORB进行了改进,将一种基于空频域分析的显著性模
    型结合KSW熵方法应用于特征提取阶段最优阈值的选取,利用高斯金字塔构建多尺度空间;

    输入图像I,首先将其从RGB颜色空间转变到CIE Lab颜色空间,图像在Lab颜色空
    间包含三个通道:一个亮度通道(L通道)和两个颜色通道(a通道和b通道),对于颜色通道,
    在时域采用高斯模糊消除细小的纹理细节,得到相应通道的特征图;对于亮度通道,采用一
    个高频增强巴特沃斯高通滤波器计算得到L通道的特征图,最后将各个通道的特征图组合
    在一起形成原始图像的显著图;

    任意输入图像都可以用幅度谱和相位谱来表示,其中相位谱包含的是图像的纹理
    细节信息,幅度谱包含明暗对比信息,如果只保留相位谱,得到的图像显著特征将会包含部
    分背景信息,干扰图像特征点的检测,导致误匹配现象,高通滤波器可以通过衰减和抑制低
    频分量,实现锐化目标边 缘的同时最大程度的保留边缘信息,为了增强图像细节信息、锐
    化目标边缘、减少噪声干扰,采用了一个高频增强巴特沃斯高通滤波器;

    截止频率为D0的n阶巴特沃斯高通滤波器定义为:


    其中,表示频率中点(u,v)与频率矩形中心的距
    离;

    输入图像I,将L,a和b三个通道的特征图组合在一起,得到最终显著特征SM为:

    SM(x,y)=||IL-IL(x,y)||+||Ia-Ia(x,y)||+||Ib-Ib(x,y)||

    其中,IL(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相
    应特征图像素值,Ia(x,y),Ib(x,y)分别为颜色通道相应的特征图像素值,IL,Ia,Ib分别为相
    应通道图像平均特征向量,为二范数欧式距离;

    阈值的选取应该随着图像灰度特征的变化而合理的变化,根据图像显著特征,结
    合KSW熵方法,来确定最佳阈值的选取,具体步骤如下:

    设图像灰度范围为[0,L-1],阈值t将其分为A、B两类,对应的概率分布分别为{p0,
    p1,p2,...,pt},{pt+1,pt+2,p2,...,pL-1},其中pi为相应灰度级出现的频率,令则A、B
    类对应的熵分别为:



    图像的总熵为H=HA+HB。则最佳阈值T为


    其中,k为比例系数,由于特征点阈值与图像的像素对比度相关,因此通过图像显
    著特征以及熵方法确定图像灰度级差,即最佳阈值;

    利用Fast角点检测算法结合得到的最佳阈值,提取特征点,并利用rBRIEF描述子
    对特征点进行描述,用于后续的图像配准;

    所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点;

    所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近
    的两个特征点,对于两个二进制描述子的距离可以使用汉明距离来表示,汉明距离是指两
    个长度相同的字符串之间对应位置不同字符的个数。汉明距离越小,表明两个二进制描述
    子越相似;

    对每个特征点计算其最短和次最短汉明距离,得到一组特征点匹配对,当最短与
    次最短距离的比例小于一个阈值时,认为两个特征点是匹配的;

    所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数
    进行估计,再根据估计的参数对其余数据进行分类,一部分数据在允许的误差范围之内,则
    为内点,否则为外点,经过多次假设验证,去除错误的匹配点对;

    RANSAC算法需要用到单应性矩阵H,它描述了两幅图像点坐标之间的变换关系,包
    括平移、旋转和缩放等关系,通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置,
    假设图像1和图像2中的一对匹配点p1(x,y),p2(x′,y′)之间的变换关系为:


    由4对匹配点即可计算出矩阵H的8个参数,RANSAC算法步骤如下:

    (1)设置迭代次数初值为0,最大迭代次数N,内点数目阈值T1,误差阈值T2;

    (2)从n对待匹配点对中随机选取4对,计算两图像间的变换矩阵H 的参数;

    (3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离,若小于误差
    阈值T2,则认为该匹配点对为内点,否则为外点,计算内点的数量;

    (4)如果内点数量大于内点数目阈值T1,则将当前的模型保存为最优模型。否则,
    迭代次数加一,转到步骤(2)继续下一轮迭代;

    (5)如果达到最大迭代次数N,则返回对应内点数量最多的一组内点,并得到变换
    矩阵H;

    所述图像拼接是指:图像经过配准之后,再通过图像融合,完成图像的拼接,图像
    融合是图像拼接的最后一步,主要分为两部分:图像的合并和消除图像拼接线,图像的合并
    即根据图像配准结果,将重合区域内冗余像素信息剔除并将待拼接图像对准;消除图像拼
    接线需要在拼接线附近进行加权平均融合处理;加权平均的权重函数可以使用渐入渐出
    法,复杂度低,速度快,在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合
    像素到重合区域边界的距离计算权值,权值呈线性变化,融合公式为:


    式中,d1、d2表示像素点(x,y)在重合部分所对应的图像上的权重,且要求满足条
    件:d1+d2=1,0<d1,d2<1;

    d1、d2的计算公式为:

    其中xi为待融合像素点的横坐标,xi、xr分别为图像重合区域左右边 界的横坐标。

    如图2所示,d1由1逐渐变为0,相应的d2由0变为1,从而在图像的重合区域内实现
    平滑过渡。

    本发明首先构建多尺度空间,利用显著性分析模型得到最佳角点检测阈值,提取
    特征点,然后利用ORB描述子对特征点描述,最后利用Hamming距离结合RANSAC方法实现快
    速匹配,改进的ORB算法保持了速度的优越性,对存在尺度、旋转、视角及光照等变化的图
    像,其匹配率均有提高。

    表1和表2分别给出了本文改进ORB算法与BRISK算法、FAST-ORB算法的配准率和配
    准时间的对比结果。其中,FAST-ORB算法指由FAST算法进行特征提取和由ORB描述子进行描
    述的图像特征点匹配算法。本文改进ORB算法相比于其他算法具有高配准率的优点。展示了
    各个算法所用时间的比较结果,可以看出来由于本文算法加入了显著性分析的步骤,配准
    时间稍高于其他两种算法,但是相差不多,保持了高速度的优点。实验结果表明本文改进的
    ORB算法保持了速度的优越性,对存在尺度、旋转、视角及光照等变化的图像,其匹配率均有
    提高。

    表1图像配准率比较结果


    表2图像配准时间比较结果


    关于本文
    本文标题:用于警用无人机侦察取证的图像实时拼接方法.pdf
    链接地址://www.4mum.com.cn/p-6079426.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 时时彩技术交流论坛 pc28预测组合预测软件 飞艇计划人工在线计划免费版 七星彩从没错过的规律 pk10 富民3肖6码·默认论坛 246好彩天天免费资枓大概全 龙虎计划预测软件 白小姐网站六肖中特 双色球开奖结果顺序 北京时时开奖规律 重庆时时开彩结果记录 黑龙江时时20 时时后二稳赚 重庆时时彩预测技巧 老虎机水果机技巧