• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:30 金币  

    重庆时时彩不给提现: 特征点跟踪方法和装置.pdf

    关 键 词:
    特征 跟踪 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611001873.X

    申请日:

    2016.11.14

    公开号:

    CN106683113A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/246申请日:20161114|||公开
    IPC分类号: G06T7/246(2017.01)I 主分类号: G06T7/246
    申请人: 纳恩博(北京)科技有限公司
    发明人: 庞富民; 孟令航; 陈子冲
    地址: 100192 北京市海淀区西小口路66号中关村东升科技园北领地B-2楼C206室
    优先权: 2016.10.27 CN 2016109588249
    专利代理机构: 北京康信知识产权代理有限责任公司 11240 代理人: 韩建伟;李志刚
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611001873.X

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种特征点跟踪方法和装置。该方法应用于具有图像跟踪单元的电子设备,电子设备用于基于图像跟踪单元执行对目标对象的跟踪,该方法包括:确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,其中,n为大于1的整数,第二帧图像为第一帧图像在时间维度上的前一帧图像;对第一帧图像执行第一处理直至找到n个新的特征点,其中,第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点,新的特征点不同于第一帧图像中未丢失的特征点;将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。通过本发明,解决了相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题。

    权利要求书

    1.一种特征点跟踪方法,其特征在于,所述方法应用于具有图像跟踪单元的电子设备,
    所述电子设备用于基于所述图像跟踪单元执行对目标对象的跟踪,所述方法包括:
    确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,其中,n为大于1的整
    数,所述第二帧图像为所述第一帧图像在时间维度上的前一帧图像;
    对所述第一帧图像执行第一处理直至找到n个新的特征点,其中,所述第一处理为在图
    像中随机选取像素点并检测选取的像素点是否为特征点,所述新的特征点不同于所述第一
    帧图像中未丢失的特征点;
    将所述第一帧图像中未丢失的特征点和所述n个新的特征点组合得到所述第一帧图像
    的全部特征点。
    2.根据权利要求1所述的方法,其特征在于,在确定第一帧图像的特征点相较于第二帧
    图像的特征点丢失数量n之后,所述方法还包括:
    判断所述数量n是否超过预设阈值,
    其中,在判断所述数量n是否超过预设阈值之后,所述方法还包括:
    如果判断出所述数量n超过所述预设阈值,对所述第一帧图像执行第二处理以获取所
    述第一帧图像的所有的特征点,其中,所述第二处理为检测图像中所有的像素点是否为特
    征点;在获取到的所述第一帧图像的所有的特征点中确定符合预设条件的特征点;
    如果判断出所述数量n未超过所述预设阈值,对所述第一帧图像执行所述第一处理。
    3.根据权利要求2所述的方法,其特征在于,在确定第一帧图像的特征点相较于第二帧
    图像的特征点丢失数量n之前,所述方法还包括:
    对初始帧图像执行所述第二处理以获取所述初始帧图像的所有的特征点;
    在获取到的所述初始帧图像的所有的特征点中确定符合所述预设条件的特征点。
    4.根据权利要求1所述的方法,其特征在于,确定第一帧图像的特征点相较于第二帧图
    像的特征点丢失数量n包括:
    通过预设跟踪算法在所述第一帧图像中跟踪所述第二帧图像的特征点,其中,所述第
    二帧图像的特征点在所述第一帧图像中未跟踪成功的特征点的数量为n,所述未跟踪成功
    的特征点为在所述第二帧图像中存在但在所述第一帧图像中丢失的特征点。
    5.根据权利要求4所述的方法,其特征在于,所述第一帧图像和所述第二帧图像为通过
    所述图像跟踪单元获取的图像,在对所述第一帧图像执行第一处理直至找到n个新的特征
    点之前,所述方法还包括:
    获取所述图像跟踪单元的运动信息;根据所述图像跟踪单元的运动信息估算所述第一
    帧图像相较于所述第二帧图像丢失的n个特征点在所述第一帧图像中所在的区域X;
    相应的,对所述第一帧图像执行第一处理直至找到n个新的特征点,包括:对所述第一
    帧图像中的区域X执行所述第一处理直至找到n个新的特征点。
    6.一种特征点跟踪装置,其特征在于,所述装置应用于具有图像跟踪单元的电子设备,
    所述电子设备用于基于所述图像跟踪单元执行对目标对象的跟踪,所述装置包括:
    第一确定单元,用于确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,
    其中,n为大于1的整数,所述第二帧图像为所述第一帧图像在时间维度上的前一帧图像;
    第一执行单元,用于对所述第一帧图像执行第一处理直至找到n个新的特征点,其中,
    所述第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点,所述新的特
    征点不同于所述第一帧图像中未丢失的特征点;
    组合单元,用于将所述第一帧图像中未丢失的特征点和所述n个新的特征点组合得到
    所述第一帧图像的全部特征点。
    7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
    判断单元,用于在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之
    后,判断所述数量n是否超过预设阈值,
    第二执行单元,用于在判断所述数量n是否超过预设阈值之后,如果判断出所述数量n
    超过所述预设阈值,对所述第一帧图像执行第二处理以获取所述第一帧图像的所有的特征
    点,其中,所述第二处理为检测图像中所有的像素点是否为特征点;在获取到的所述第一帧
    图像的所有的特征点中确定符合预设条件的特征点,
    其中,所述第一执行单元还用于如果判断出所述数量n未超过所述预设阈值,对所述第
    一帧图像执行所述第一处理。
    8.根据权利要求7所述的装置,其特征在于,
    所述第二执行单元还用于在确定第一帧图像的特征点相较于第二帧图像的特征点丢
    失数量n之前,对初始帧图像执行所述第二处理以获取所述初始帧图像的所有的特征点,
    所述装置还包括:第二确定单元,用于在获取到的所述初始帧图像的所有的特征点中
    确定符合所述预设条件的特征点。
    9.根据权利要求6所述的装置,其特征在于,所述第一确定单元包括:
    跟踪???,用于通过预设跟踪算法在所述第一帧图像中跟踪所述第二帧图像的特征
    点,其中,所述第二帧图像的特征点在所述第一帧图像中未跟踪成功的特征点的数量为n,
    所述未跟踪成功的特征点为在所述第二帧图像中存在但在所述第一帧图像中丢失的特征
    点。
    10.根据权利要求9所述的装置,其特征在于,所述第一帧图像和所述第二帧图像为通
    过所述图像跟踪单元获取的图像,所述装置还包括:
    获取单元,用于在对所述第一帧图像执行第一处理直至找到n个新的特征点之前,获取
    所述图像跟踪单元的运动信息;
    估算单元,用于根据所述图像跟踪单元的运动信息估算所述第一帧图像相较于所述第
    二帧图像丢失的n个特征点在所述第一帧图像中所在的区域X;
    其中,所述第一执行单元还用于对所述第一帧图像中的区域X执行所述第一处理直至
    找到n个新的特征点。

    说明书

    特征点跟踪方法和装置

    技术领域

    本发明涉及图像处理领域,具体而言,涉及一种特征点跟踪方法和装置。

    背景技术

    特征点(角点)提取是一种常用的图像特征提取方法,通过对图像中的特征点进行
    提取可以检测、提取、识别和跟踪图像序列中的目标。FAST(Features from Accelerated
    Segment Test)是一种角点检测方法,它可以用于特征点的提取,并完成跟踪和映射物体。
    FAST角点检测算法最初是由Edward Rosten和Tom Drummond提出,该算法最突出的优点是
    它的计算效率。

    现有技术中,特征点跟踪方法的工作原理如下:

    在初始化时提取当前视野中的所有特征点,选取其中一定数量的质量较高的特征
    点进行跟踪。由于摄像头位置的改变或摄像头视野中物体的移动可能导致图像中的景象发
    生改变,在图像发生改变时,图像中的部分特征点可能会在图像中移动或丢失。在之后的每
    一帧中,视觉系统会利用稀疏光流的方法对特征点进行跟踪,根据之前帧的图像和特征点
    找到之前的特征点在当前帧中匹配的位置。在跟踪特征点的过程中部分特征点可能会跟踪
    失败,导致图像中总的特征点数降低。由于算法通常要求保证特征点维持在一定的数量,为
    保证当前帧中跟踪到的FAST特征点维持在一定数量,当特征点因机器人的运动而消失时,
    需要补充特征点。现有技术中,视觉系统会再次调用初始化时的方法遍历当前图像,找出当
    前视野中所有的特征点,并选取其中较好的特征点以补充特征点的数量。

    上述提取当前视野中所有特征点的算法会遍历整个图像,导致了较大的时间耗
    费,在实时系统中,例如,机器人的视觉系统,遍历图像的时间开销过大,会影响机器人整体
    的性能。

    针对相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题,目前尚未
    提出有效的解决方案。

    发明内容

    本发明的主要目的在于提供一种特征点跟踪方法和装置,以解决相关技术中的特
    征点跟踪方法容易导致系统时间开销过大的问题。

    为了实现上述目的,根据本发明的一个方面,提供了一种特征点跟踪方法。该方法
    应用于具有图像跟踪单元的电子设备,电子设备用于基于图像跟踪单元执行对目标对象的
    跟踪,该方法包括:确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,其中,
    n为大于1的整数,第二帧图像为第一帧图像在时间维度上的前一帧图像;对第一帧图像执
    行第一处理直至找到n个新的特征点,其中,第一处理为在图像中随机选取像素点并检测选
    取的像素点是否为特征点,新的特征点不同于第一帧图像中未丢失的特征点;将第一帧图
    像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。

    进一步地,在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之
    后,该方法还包括:判断数量n是否超过预设阈值,其中,在判断数量n是否超过预设阈值之
    后,该方法还包括:如果判断出数量n超过预设阈值,对第一帧图像执行第二处理以获取第
    一帧图像的所有的特征点,其中,第二处理为检测图像中所有的像素点是否为特征点;在获
    取到的第一帧图像的所有的特征点中确定符合预设条件的特征点;如果判断出数量n未超
    过预设阈值,对第一帧图像执行第一处理。

    进一步地,在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之
    前,该方法还包括:对初始帧图像执行第二处理以获取初始帧图像的所有的特征点;在获取
    到的初始帧图像的所有的特征点中确定符合预设条件的特征点。

    进一步地,确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n包括:
    通过预设跟踪算法在第一帧图像中跟踪第二帧图像的特征点,其中,第二帧图像的特征点
    在第一帧图像中未跟踪成功的特征点的数量为n,未跟踪成功的特征点为在第二帧图像中
    存在但在第一帧图像中丢失的特征点。

    进一步地,第一帧图像和第二帧图像为通过图像跟踪单元获取的图像,在对第一
    帧图像执行第一处理直至找到n个新的特征点之前,该方法还包括:获取图像跟踪单元的运
    动信息;根据图像跟踪单元的运动信息估算第一帧图像相较于第二帧图像丢失的n个特征
    点在第一帧图像中所在的区域X;相应的,对第一帧图像执行第一处理直至找到n个新的特
    征点,包括:对第一帧图像中的区域X执行第一处理直至找到n个新的特征点。

    为了实现上述目的,根据本发明的一个方面,提供了一种特征点跟踪装置。该装置
    应用于具有图像跟踪单元的电子设备,电子设备用于基于图像跟踪单元执行对目标对象的
    跟踪,该装置包括:第一确定单元,用于确定第一帧图像的特征点相较于第二帧图像的特征
    点丢失数量n,其中,n为大于1的整数,第二帧图像为第一帧图像在时间维度上的前一帧图
    像;第一执行单元,用于对第一帧图像执行第一处理直至找到n个新的特征点,其中,第一处
    理为在图像中随机选取像素点并检测选取的像素点是否为特征点,新的特征点不同于第一
    帧图像中未丢失的特征点;组合单元,用于将第一帧图像中未丢失的特征点和n个新的特征
    点组合得到第一帧图像的全部特征点。

    进一步地,该装置还包括:判断单元,用于在确定第一帧图像的特征点相较于第二
    帧图像的特征点丢失数量n之后,判断数量n是否超过预设阈值,第二执行单元,用于在判断
    数量n是否超过预设阈值之后,如果判断出数量n超过预设阈值,对第一帧图像执行第二处
    理以获取第一帧图像的所有的特征点,其中,第二处理为检测图像中所有的像素点是否为
    特征点;在获取到的第一帧图像的所有的特征点中确定符合预设条件的特征点,其中,第一
    执行单元还用于如果判断出数量n未超过预设阈值,对第一帧图像执行第一处理。

    进一步地,第二执行单元还用于在确定第一帧图像的特征点相较于第二帧图像的
    特征点丢失数量n之前,对初始帧图像执行第二处理以获取初始帧图像的所有的特征点,该
    装置还包括:第二确定单元,用于在获取到的初始帧图像的所有的特征点中确定符合预设
    条件的特征点。

    进一步地,第一确定单元包括:跟踪???,用于通过预设跟踪算法在第一帧图像中
    跟踪第二帧图像的特征点,其中,第二帧图像的特征点在第一帧图像中未跟踪成功的特征
    点的数量为n,未跟踪成功的特征点为在第二帧图像中存在但在第一帧图像中丢失的特征
    点。

    进一步地,第一帧图像和第二帧图像为通过图像跟踪单元获取的图像,该装置还
    包括:获取单元,用于在对第一帧图像执行第一处理直至找到n个新的特征点之前,获取图
    像跟踪单元的运动信息;估算单元,用于根据图像跟踪单元的运动信息估算第一帧图像相
    较于第二帧图像丢失的n个特征点在第一帧图像中所在的区域X;其中,第一执行单元还用
    于对第一帧图像中的区域X执行第一处理直至找到n个新的特征点。

    本发明通过确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,其
    中,n为大于1的整数,第二帧图像为第一帧图像在时间维度上的前一帧图像;对第一帧图像
    执行第一处理直至找到n个新的特征点,其中,第一处理为在图像中随机选取像素点并检测
    选取的像素点是否为特征点,新的特征点不同于第一帧图像中未丢失的特征点;将第一帧
    图像中未丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点,解决了相关
    技术中的特征点跟踪方法容易导致系统时间开销过大的问题,进而达到了减小特征点跟踪
    方法占用的系统时间开销的效果。

    附图说明

    构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实
    施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

    图1是根据本发明第一实施例的特征点跟踪方法的流程图;

    图2是根据本发明第二实施例的特征点跟踪方法的流程图;

    图3是根据本发明第三实施例的特征点跟踪方法的流程图;以及

    图4是根据本发明实施例的特征点跟踪装置的示意图。

    具体实施方式

    需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相
    互组合。下面将参考附图并结合实施例来详细说明本发明。

    为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的
    附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是
    本申请一部分的实施例,而不是全部的实施例?;诒旧昵胫械氖凳├?,本领域普通技术人
    员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请?;さ姆?br />围。

    需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第
    二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用
    的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具
    有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的
    过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清
    楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

    本发明的实施例提供了一种特征点跟踪方法。

    该方法可以应用于具有图像跟踪单元的电子设备,电子设备可以基于图像跟踪单
    元执行对目标对象的跟踪。例如,电子设备可以是机器人(如地面移动机器人、无人机等),
    机器人可以通过摄像头拍摄目标对象,根据拍摄的图像确定与目标对象之间的距离和方向
    等信息并根据这些信息跟踪目标对象。

    图1是根据本发明实施例的特征点跟踪方法的流程图。如图1所示,该方法包括以
    下步骤:

    步骤S101,确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n。

    其中,n为大于1的整数。

    第一帧图像和第二帧图像可以是通过电子设备配置的图像跟踪单元拍摄到的图
    像,也可以是通过其它图像采样装置采集到的图像并发送至电子设备。

    第二帧图像为第一帧图像在时间维度上的前一帧图像。第一帧图像和第二帧图像
    在时间上可以是相邻的,第一帧图像与第二帧图像之间的时间间隔可以是根据该实施例提
    供的跟踪方法确定的时间间隔,第一帧图像与第二帧图像之间的时间间隔可以与图像采样
    的时间间隔不同。

    例如,图像采样的时间间隔为1ms,而该实施例提供的跟踪方法的时间间隔为5ms,
    则第二帧图像为第一帧图像5ms之后采集得到的图像。

    电子设备在跟踪目标对象时,可以通过采集到的图像执行跟踪,具体地,可以提取
    每帧图像中的特征点,将每帧图像的特征点与上一帧图像的特征点进行比较,确定第一帧
    图像的特征点相较于第二帧图像的特征点丢失数量n。

    步骤S102,对第一帧图像执行第一处理直至找到n个新的特征点。

    在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n之后,对第一
    帧图像执行第一处理直至找到n个新的特征点。

    第一处理为在图像中随机选取像素点,并检测选取的像素点是否为特征点。其中,
    新的特征点不同于第一帧图像中未丢失的特征点。

    需要指出的是,在第一帧图像中未丢失的特征点在第一帧图像中所处的像素位置
    可能与第二帧图像中相应的特征点所处的像素位置不同,图像跟踪单元可以根据未丢失的
    特征点所处的像素位置的变化确定目标对象移动的方向和距离,并计算和控制电子设备的
    运动方向和速度以跟踪目标对象。

    步骤S103,将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图
    像的全部特征点。

    在对第一帧图像执行第一处理直至找到n个新的特征点之后,将第一帧图像中未
    丢失的特征点和n个新的特征点组合得到第一帧图像的全部特征点。

    该实施例提供的特征点跟踪方法,通过确定第一帧图像的特征点相较于第二帧图
    像的特征点丢失数量n,其中,n为大于1的整数,第二帧图像为第一帧图像在时间维度上的
    前一帧图像;对第一帧图像执行第一处理直至找到n个新的特征点,其中,第一处理为在图
    像中随机选取像素点并检测选取的像素点是否为特征点,新的特征点不同于第一帧图像中
    未丢失的特征点;将第一帧图像中未丢失的特征点和n个新的特征点组合得到第一帧图像
    的全部特征点,解决了相关技术中的特征点跟踪方法容易导致系统时间开销过大的问题,
    进而达到了减小特征点跟踪方法占用的系统时间开销的效果。

    作为上述实施例的一个优选实施例,在确定第一帧图像的特征点相较于第二帧图
    像的特征点丢失数量n之后,该方法还可以包括:判断数量n是否超过预设阈值,其中,在判
    断数量n是否超过预设阈值之后,该方法还包括:如果判断出数量n超过预设阈值,对第一帧
    图像执行第二处理以获取第一帧图像的所有的特征点,其中,第二处理为检测图像中所有
    的像素点是否为特征点;在获取到的第一帧图像的所有的特征点中确定符合预设条件的特
    征点;如果判断出数量n未超过预设阈值,对第一帧图像执行第一处理。

    也即,在确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n,如果丢
    失的数量n较小,例如,丢失少于5个特征点时,可以采用第一处理寻找新的特征点。如果丢
    失的数量n较大,则可以采用遍历图像中所有的像素是否为特征点的方式更新所有的特征
    点。

    作为上述实施例的一个优选实施例,在确定第一帧图像的特征点相较于第二帧图
    像的特征点丢失数量n之前,该方法还可以包括:对初始帧图像执行第二处理以获取初始帧
    图像的所有的特征点;在获取到的初始帧图像的所有的特征点中确定符合预设条件的特征
    点。

    也即,在获取初始帧图像的特征点时,可以通过对初始帧图像第二处理的方法获
    取所有的特征点,并在获取到的所有特征点中确定符合预设条件的特征点。

    预设条件可以是设置了预设数量,在所有特征点中随机选择预设数量的特征点。

    预设条件也可以是根据预设算法在得到的所有特征点中选取预设数量的质量较
    高的特征点作为初始帧图像的特征点。

    具体地,预设算法可以是用于计算特征点的质量的算法,特征点的质量可以与特
    征点在图像中所在区域相关,例如,如果特征点出现在中心区域,则认为其质量较高,特征
    点的质量也可以与未消失的特征点的位置相关,例如,如果特征点与未消失的特征点距离
    较远,则认为其质量较高,为了量化特征点的质量,可以通过具体的算法计算质量的“得
    分”,如可以确定一个质量评价目标函数,根据相关的因素作为因变量得到函数的值作为质
    量评价的结果以作为判断质量高低的标准。

    可选地,预设条件还可以包括在所有特征点中选取预设数量,例如,在通过预设算
    法计算特征点的质量评价结果之后,按照质量由高到低进行排序,选取前10个特征点作为
    新的一批特征点。

    确定第一帧图像的特征点相较于第二帧图像的特征点丢失数量n可以是通过预设
    跟踪算法在第一帧图像中跟踪第二帧图像的特征点,跟踪丢失的特征点的数量即为特征点
    丢失数量n。

    其中,第二帧图像的特征点在第一帧图像中未跟踪成功的特征点的数量为n,未跟
    踪成功的特征点为在第二帧图像中存在但在第一帧图像中丢失的特征点。预设跟踪算法可
    以是稀疏光流跟踪方法等。通过预设跟踪算法未跟踪成功的特征点的数量为当前帧图像丢
    失的特征点数量。

    作为上述实施例的一个优选实施例,第一帧图像和第二帧图像为通过图像跟踪单
    元获取的图像,在对第一帧图像执行第一处理直至找到n个新的特征点之前,该方法还包
    括:获取图像跟踪单元的运动信息。

    获取图像跟踪单元的运动信息可以是根据第一帧图像和第二帧图像中均存在的
    特征点在图像中所处像素位置的变化确定图像跟踪单元的运动信息,如果图像跟踪单元固
    定在电子设备上,图像跟踪单元的运动信息也即电子设备的运动信息,运动信息包括方向
    和距离。

    在获取图像跟踪单元的运动信息之后,根据图像跟踪单元的运动信息估算第一帧
    图像相较于第二帧图像丢失的n个特征点在第一帧图像中所在的区域X,对第一帧图像执行
    第一处理直至找到n个新的特征点为在第一帧图像中的区域X中执行第一处理直至找到n个
    新的特征点。

    通过上述方法可以缩小随机选取区域的范围,在随机选取像素点以判断是否为新
    的特征点时可以更快更高效地寻找到n个新的特征点。

    图2是根据本发明第二实施例的特征点跟踪方法的流程图。该实施例可以作为上
    述第一实施例的优选实施方式,如图2所示,该方法包括以下步骤:

    步骤S201,初始化,检测一定数量FAST特征点。在初始帧图像中采用FAST算法提取
    所有特征点,保存一定数量质量较好的特征点用于之后的跟踪。

    在得到新的一帧图像之后,执行步骤S202,对新的一帧图像执行稀疏光流跟踪,得
    到新的一帧图像的特征点,新的一帧图像的特征点较上一帧图像丢失的特征点数量为n个。
    稀疏光流跟踪是一种跟踪算法,用于在新的一帧图像中找到上一帧图像中的特征点在新的
    一帧图像中相对应的特征点。在跟踪得到新的一帧图像的特征点之后,统计得到跟踪失败
    的特征点的个数确定为n。

    步骤S203,判断n是否小于阈值。如果是,执行步骤S204,如果否,执行步骤S205。

    对得到的新的一帧图像执行步骤S204,步骤S204为随机取点检测。如果丢失的特
    征点少于阈值,则使用随机取点检验的方法在当前帧图像中提取到足够数量且质量合格的
    特征点,其中,随机取点并检验可以是随机选取一个点并对该点检测,然后再随机选取一个
    点并对该点进行检测的逐点检测方法,也可以是先随机选取多个点,再逐一对选取出的多
    个点检测是否为特征点,且该特征点的质量是否合格,将确定合格的特征点加入到特征点
    序列,以保持每帧图像中所有特征点的数量保持稳定。在执行步骤S204之后,执行步骤
    S206。

    步骤S205,如果丢失的特征点多于阈值,直接利用FAST算法遍历当前帧图像中所
    有的像素点,提取该帧图像中所有的特征点。在提取该帧图像中所有的特征点之后,可以将
    提取得到的特征点中未与当前已有特征点重复的点补充到当前特征点序列,使特征点序列
    中的点保持在一定的数量;或者,在提取该帧图像中所有的特征点之后,可以对提取得到的
    特征点进行质量评价,设每帧图像需要N个特征点,则在提取得到的特征点中选取质量排在
    前N的特征点。

    在执行步骤S204之后,执行步骤S206,步骤S206为补充一定数量的特征点。将当前
    帧图像的特征点数量补齐。

    在执行步骤S206之后,对得到的更新的一帧图像执行步骤S202,如此循环。

    该实施例提供的特征点跟踪方法可以明显的缩短补充FAST特征点时所需要的时
    间,保证算法的实时性,在有少数FAST特征点从视野中消失时,通过在当前帧图像中随机取
    像素点并检验其是否是特征点的方法,将新找到的特征点加入当前帧图像的特征点序列
    中,避免了对整幅图像的数十万个像素点遍历检测。由于消失的特征点较少时通常只需要
    抽取千点即可完成特征点的补充,因此,该方法较明显的降低了时间开支。

    图3是根据本发明第三实施例的特征点跟踪方法的流程图。该实施例可以作为上
    述第一实施例的优选实施方式,如图3所示,该方法包括以下步骤:

    步骤S301,初始化,检测一定数量FAST特征点。在初始帧图像中采用FAST算法提取
    所有特征点,保存一定数量质量较好的特征点用于之后的跟踪。

    在得到新的一帧图像之后,执行步骤S302,对新的一帧图像执行稀疏光流跟踪,得
    到新的一帧图像的特征点,新的一帧图像的特征点较上一帧图像丢失的特征点数量为n个。
    稀疏光流跟踪是一种跟踪算法,用于在新的一帧图像中找到上一帧图像中的特征点在新的
    一帧图像中相对应的特征点。在跟踪得到新的一帧图像的特征点之后,统计得到跟踪失败
    的特征点的个数确定为n。

    步骤S303,判断n是否小于阈值。如果是,执行步骤S304,如果否,执行步骤S305。

    对得到的新的一帧图像执行步骤S304,步骤S304为在X区域随机取点检测。

    其中,在对得到的新的一帧图像执行步骤S304之前,先执行步骤S307以确定X区
    域。

    步骤S307为确定相机运动信息。相机是电子设备配置的相机,用于拍摄图像。具体
    地,在计算相机运动信息时,可以采用VIO(Visual Inertial Odometry视觉惯导测距)算
    法,VIO算法是一种通过分析机器人摄像头和内部惯性传感器来决定机器人位置以及方向
    的算法。

    在确定前后两帧图像之间相机的运动信息之后,根据相机的相对运动信息判定相
    机拍摄范围中新出现的区域在当前帧图像中的区域。例如,如果在两帧图像之间,相机左
    转,则原有的在视野右侧边缘的特征点会从视野中消失,视野左侧会出现新的区域,令新出
    现的区域为X区域,在X区域随机取点检测。

    如果丢失的特征点少于阈值,则在X区域使用随机取点检验的方法在当前帧图像
    中提取到足够数量且质量合格的特征点。在执行步骤S304之后,执行步骤S306。

    步骤S305,如果丢失的特征点多于阈值,直接利用FAST算法遍历当前帧图像中所
    有的像素点,提取该帧图像中所有的特征点。在提取该帧图像中所有的特征点之后,可以将
    提取得到的特征点中未与当前已有特征点重复的点补充到当前特征点序列,使特征点序列
    中的点保持在一定的数量;或者,在提取该帧图像中所有的特征点之后,可以对提取得到的
    特征点进行质量评价,设每帧图像需要N个特征点,则在提取得到的特征点中选取质量排在
    前N的特征点。

    在执行步骤S304之后,执行步骤S306,步骤S306为补充一定数量的特征点。将当前
    帧图像的特征点数量补齐。

    在执行步骤S306之后,对得到的更新的一帧图像执行步骤S302,如此循环。

    该实施例提供的方法根据在稀疏光流跟踪过程中丢失的特征点的数量是否超过
    阈值的判断结果的不同执行不同的处理方式,当丢失的特征点较少时,通过随机取点并检
    验的方法补充特征点,由于丢失的点很少,该过程可以很快完成;当丢失的特征点很多时,
    则可以保持原算法中直接检测所有特征点的方法。

    在已知机器人的运动信息时,可以预测出视野中新出现的部分是在当前帧的哪个
    区域,则在之后的随机取点过程就可以在新出现的区域中较多的取点,根据摄像头的转动
    方向和角度,预判图像中的新出现的区域并在新出现的区域内取点检测,这样有更大的概
    率取到合适的特征点,同时也可以使特征点较均匀的分布在整个视野中。

    机器人运动过程中视野的变化是比较平缓的,大部分时候,丢失的特征点数量都
    比较少,则该方法中随机取点检测的补充方法可以很快完成。由于将原始方法中遍历图像
    寻找所有特征点的过程几乎完全避免,该方法明显降低了时间耗费,保证了系统的实时性。

    需要说明的是,上述的特征点跟踪方法中采用的特征点提取方法不局限于上述实
    施例所述的FAST特征点提取方法,上述的特征点跟踪方法中采用的跟踪算法不局限于上述
    实施例所述稀疏光流跟踪算法。

    需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的
    计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不
    同于此处的顺序执行所示出或描述的步骤。

    本发明的实施例还提供了一种特征点跟踪装置。需要说明的是,本发明实施例的
    特征点跟踪装置可以用于执行本发明的特征点跟踪方法。

    图4是根据本发明实施例的特征点跟踪装置的示意图。该装置可以应用于具有图
    像跟踪单元的电子设备,电子设备用于基于图像跟踪单元执行对目标对象的跟踪。

    如图4所示,该装置包括第一确定单元10,用于确定第一帧图像的特征点相较于第
    二帧图像的特征点丢失数量n,其中,n为大于1的整数,第二帧图像为第一帧图像在时间维
    度上的前一帧图像;第一执行单元20,用于对第一帧图像执行第一处理直至找到n个新的特
    征点,其中,第一处理为在图像中随机选取像素点并检测选取的像素点是否为特征点,新的
    特征点不同于第一帧图像中未丢失的特征点;组合单元30,用于将第一帧图像中未丢失的
    特征点和n个新的特征点组合得到第一帧图像的全部特征点。

    优选地,该装置还可以包括:判断单元,用于在确定第一帧图像的特征点相较于第
    二帧图像的特征点丢失数量n之后,判断数量n是否超过预设阈值,第二执行单元,用于在判
    断数量n是否超过预设阈值之后,如果判断出数量n超过预设阈值,对第一帧图像执行第二
    处理以获取第一帧图像的所有的特征点,其中,第二处理为检测图像中所有的像素点是否
    为特征点;在获取到的第一帧图像的所有的特征点中确定符合预设条件的特征点,其中,第
    一执行单元还用于如果判断出数量n未超过预设阈值,对第一帧图像执行第一处理。

    优选地,第二执行单元还可以用于在确定第一帧图像的特征点相较于第二帧图像
    的特征点丢失数量n之前,对初始帧图像执行第二处理以获取初始帧图像的所有的特征点,
    该装置还可以包括:第二确定单元,用于在获取到的初始帧图像的所有的特征点中确定符
    合预设条件的特征点。

    优选地,第一确定单元可以包括:跟踪???,用于通过预设跟踪算法在第一帧图像
    中跟踪第二帧图像的特征点,其中,第二帧图像的特征点在第一帧图像中未跟踪成功的特
    征点的数量为n,未跟踪成功的特征点为在第二帧图像中存在但在第一帧图像中丢失的特
    征点。

    优选地,第一帧图像和第二帧图像为通过图像跟踪单元获取的图像,该装置还可
    以包括:获取单元,用于在对第一帧图像执行第一处理直至找到n个新的特征点之前,获取
    图像跟踪单元的运动信息;估算单元,用于根据图像跟踪单元的运动信息估算第一帧图像
    相较于第二帧图像丢失的n个特征点在第一帧图像中所在的区域X;其中,第一执行单元还
    用于对第一帧图像中的区域X执行第一处理直至找到n个新的特征点。

    显然,本领域的技术人员应该明白,上述的本发明的各??榛蚋鞑街杩梢杂猛ㄓ?br />的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成
    的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储
    在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路???,或者将它们
    中的多个??榛虿街柚谱鞒傻ジ黾傻缏纺?槔词迪?。这样,本发明不限制于任何特定的
    硬件和软件结合。

    以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技
    术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修
    改、等同替换、改进等,均应包含在本发明的?;し段е?。

    关于本文
    本文标题:特征点跟踪方法和装置.pdf
    链接地址://www.4mum.com.cn/p-6079554.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 幸运pk10计划破解版 手机炸金花秘籍 黑龙江时时图表10 北京塞车开奖结果 模拟摇奖机软件 全网最早36码无错特围网址 黑龙江时时历史开奖号码 30万本金网赌能稳赚吗 浙江十一选 吉林时时开奖公告 北单上下单双玩法 腾讯分分助赢计划软件下载 云南时时规则介绍 时时彩五星胆稳赚技巧 吉祥体育手机投注登入 pk10技巧 稳赚买法8码