• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 19
    • 下载费用:30 金币  

    重庆时时彩现场直播: 一种物体跟踪方法和设备.pdf

    关 键 词:
    一种 物体 跟踪 方法 设备
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201010268646.X

    申请日:

    2010.08.30

    公开号:

    CN102385754A

    公开日:

    2012.03.21

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 7/20申请日:20100830|||公开
    IPC分类号: G06T7/20; G06T7/00 主分类号: G06T7/20
    申请人: 三星电子株式会社; 北京三星通信技术研究有限公司
    发明人: 冯雪涛; 黄向生; 沈晓璐; 金培亭
    地址: 韩国京畿道水原市
    优先权:
    专利代理机构: 北京铭硕知识产权代理有限公司 11286 代理人: 郭鸿禧;王青芝
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201010268646.X

    授权公告号:

    ||||||

    法律状态公告日:

    2016.12.07|||2013.10.02|||2012.03.21

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    提供一种物体跟踪方法和设备,所述方法包括:接收用于跟踪的图像;基于第一帧图像初始化被跟踪物体的三维形状模型的参数;在跟踪当前帧图像中的被跟踪对象时,根据在先前帧图像中获得的三维形状模型的参数,从纹理模板库中选择纹理模板;更新三维形状模型的参数,以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至预定程度。

    权利要求书

    1.一种物体跟踪方法,所述方法包括:
    接收用于跟踪的图像;
    基于第一帧图像初始化被跟踪物体的三维形状模型的参数;
    在跟踪当前帧图像中的被跟踪对象时,根据在先前帧图像中获得的三维
    形状模型的参数,从纹理模板库中选择纹理模板,以对当前帧图像中的被跟
    踪对象进行跟踪;
    更新三维形状模型的参数,以使得从当前帧图像获得的被跟踪物体的规
    范化纹理与选择的纹理模板对齐至第一预定程度。
    2.根据权利要求1所述的方法,还包括:
    根据更新的三维形状模型的参数确定当前帧图像是否是关键??;
    当确定当前帧图像为关键帧时,基于更新了参数的三维形状模型重新获
    得被跟踪物体的规范化纹理;
    将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理
    模板,以产生或更新与更新的参数对应的纹理模板,
    其中,当确定当前帧图像为非关键帧时,结束对当前帧的跟踪。
    3.根据权利要求1所述的方法,其中,三维形状模型的参数包括:位置
    参数、姿态参数和形变参数。
    4.根据权利要求3所述的方法,其中,在先前帧图像中获得的三维形状
    模型的参数是姿态参数。
    5.根据权利要求1所述的方法,其中,将三维形状模型的顶点投影到图
    像上,连接投影在图像上的顶点形成网格,该网格所覆盖的像素作为被跟踪
    物体的纹理,通过去除该纹理的形变特性而获得规范化纹理。
    6.根据权利要求1或2所述的方法,其中,三维形状模型的三维姿态空
    间被划分多个区域,每个区域表示一个姿态范围并且能够对应于一个纹理模
    板,存在的对应的纹理模板的集合形成纹理模板库。
    7.根据权利要求6所述的方法,其中,判断当前帧图像是否是关键帧的
    步骤包括:当更新的参数中的姿态参数所在的区域没有对应的纹理模板时,
    确定当前帧图像是关键帧。
    8.根据权利要求7所述的方法,其中,判断当前帧图像是否是关键帧的
    步骤还包括:当更新的参数中的姿态参数所在的区域存在对应的纹理模板时,
    当更新的参数中的姿态参数所表示的姿态比该对应的纹理模板被生成时三维
    形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态时,确定当
    前帧图像是关键帧。
    9.根据权利要求8所述的方法,其中,判断当前帧图像是否是关键帧的
    步骤还包括:
    确定与更新的参数中的姿态参数对应的区域;
    确定该对应的区域是否存在对应的纹理模板;
    如果存在对应的纹理模板,则确定更新的参数中的姿态参数所表示的姿
    态是否比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区
    域的中心的坐标所表示的姿态;
    如果确定不更接近,则将当前帧设置为非关键帧。
    10.根据权利要求9所述的方法,其中,判断当前帧图像是否是关键帧
    的步骤还包括:
    如果确定更接近,则确定从当前帧图像获得的被跟踪物体的规范化纹理
    与该对应的纹理模板是否对齐到至第二预定程度;
    如果确定对齐至第二预定程度,将当前帧设置为关键??;
    如果确定没有对齐至第二预定程度,则将当前帧设置为非关键??;
    如果确定更接近,则在确定从当前帧图像获得的被跟踪物体的规范化纹
    理与该对应的纹理模板是否对齐到至第二预定程度之前,确定更新的参数中
    的姿态参数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表
    示的姿态更远离该对应的区域的中心的坐标所表示的姿态;
    如果确定更远离,则确定从当前帧图像获得的被跟踪物体的规范化纹理
    与该对应的纹理模板是否对齐到至第二预定程度;
    如果确定不更远离,则将当前帧设置为非关键帧。
    11.根据权利要求9所述的方法,其中,判断当前帧图像是否是关键帧
    的步骤还包括:
    如果不存在对应的纹理模板,则确定从当前帧图像获得的被跟踪物体的
    规范化纹理与该对应的纹理模板是否对齐到至第二预定程度;
    如果确定对齐至第二预定程度,将当前帧设置为关键??;
    如果确定没有对齐至第二预定程度,则将当前帧设置为非关键帧。
    12.根据权利要求9所述的方法,其中,第一预定程度小于等于第二预
    定程度。
    13.根据权利要求1所述的方法,其中,基于第一帧图像初始化被跟踪
    物体的三维形状模型的参数的步骤包括:通过调整三维形状模型的参数使得
    三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合
    至预定程度。
    14.根据权利要求3所述的方法,其中,形变参数包括个性化形变参数
    和运动形变参数。
    15.根据权利要求14所述的方法,其中,基于第一帧图像初始化被跟踪
    物体的三维形状模型的参数的步骤包括:通过调整个性化形变参数、位置参
    数和姿态参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像
    上的对应顶点重合至预定程度。
    16.根据权利要求3所述的方法,其中,将三维形状模型的顶点投影到
    图像上,连接投影在图像上的顶点形成网格,该网格所覆盖的像素作为被跟
    踪物体的纹理,通过去除该纹理的形变特性而获得规范化纹理,其中,通过
    去除该纹理的形变特性而获得规范化纹理的步骤包括:将在形变参数为零的
    条件下的三维形状模型的顶点投影到二维平面,根据每个网格的顶点的坐标
    与每个网格所覆盖的像素的位置关系,将每个网格所覆盖的像素变换到该二
    维平面,从而得到规范化纹理。
    17.根据权利要求14所述的方法,其中,三维形状模型的形状被表示如
    下:
    S = S 0 + Σ i a i A i + Σ j b j B j ]]>

    bj为运动形变参数。
    18.根据权利要求6所述的方法,其中,当选择的与在先前帧图像中获
    得的三维形状模型的参数对应的纹理模板被生成时三维形状模型的姿态与在
    跟踪先前帧图像时使用的纹理模板被生成时三维形状模型的姿态之差在预定
    范围内时,使用在跟踪先前帧图像时使用的纹理模板。
    19.根据权利要求1所述的方法,其中,从纹理模板库中选择具有与在
    先前帧图像中获得的三维形状模型的参数所表示的姿态相接近的姿态的纹理
    模板,以对当前帧图像中的被跟踪对象进行跟踪。
    20.一种物体跟踪设备,所述设备包括:
    接收单元,接收用于跟踪的图像;
    初始化单元,基于第一帧图像初始化被跟踪物体的三维形状模型的参数;
    纹理模板选择单元,在跟踪当前帧图像中的被跟踪对象时,根据在先前
    帧图像中获得的三维形状模型的参数,从纹理模板库中选择纹理模板,以对
    当前帧图像中的被跟踪对象进行跟踪;
    更新单元,更新三维形状模型的参数,以使得从当前帧图像获得的被跟
    踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。
    21.如权利要求20所述的物体跟踪设备,还包括:
    关键帧确定单元,根据更新的三维形状模型的参数确定当前帧图像是否
    是关键??;
    规范化纹理计算单元,在关键帧确定单元确定当前帧图像为关键帧时,
    基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理;
    纹理模板设置单元,将基于更新了参数的三维形状模型而重新获得的规
    范化纹理设置为纹理模板,以产生或更新与更新的参数对应的纹理模板,
    其中,当关键帧确定单元确定当前帧图像为非关键帧时,结束对当前帧
    的跟踪。

    说明书

    一种物体跟踪方法和设备

    技术领域

    本发明涉及物体跟踪,更具体地讲,涉及一种使用三维模型和三维纹理
    进行物体跟踪的方法和设备。

    背景技术

    根据目标表达方式的不同,常见的物体跟踪方法可以分为基于外观的方
    法和基于特征的方法。在基于外观的跟踪方法中,模型和输入图像中被跟踪
    目标的整个外观纹理图像都参与匹配过程,通过最小化二者之间的差距找到
    状态参数?;谔卣鞯姆椒ㄍǔQ≡褚恍┤菀赘?,且对光照、角度、变形
    等比较鲁棒的图像特征,如颜色、边缘、角点等,通过这些特征获得物体状
    态的估计。

    物体跟踪算法还可以被分为确定性的方法和随机性的方法两类。确定性
    方法有梯度下降法,最大期望算法,回归技术等。随机方法有Condensation
    算法,动态贝叶斯网络等。

    物体跟踪算法还可以分为基于运动的方法和基于模型的方法。在基于运
    动的方法中,首先使用光流算法,或者基于块结构的运动估计算法,或者基
    于图像特征匹配的方法,估计出前后帧之间物体或者物体上某些部分的位移。
    然后,根据位移信息计算目标模型的运动参数。在基于模型的跟踪方法中,
    使用模型描述目标状态,通过改变模型参数,可以使模型描述与当前输入图
    像中相应信息之间的误差最小,实现对物体的跟踪。

    WO?2008/106725介绍了一种对三维人脸进行实时跟踪的方法。这是一种
    基于特征的方法。使用当前模型参数,如位置、姿态、形状等,可以渲染出
    处于此种参数条件下的人脸图像,从图像上选择有利于跟踪的角点特征,并
    对每个特征点在输入图像上寻找对应的位置,从而使用特征点的对应关系,
    计算出图像中的人脸相对于当前模型参数的变化,实现跟踪。

    然而,在现有的物体跟踪方法中,需要使用从大量训练样本学习得到模
    型。这种基于模型学习的方法存在的主要问题是,模型所描述对象的范围受
    到训练模型时使用的样本的限制,模型无法表达出样本集中没有出现过的模
    式。对于物体跟踪来说,如果目标形变的范围或方式超出了样本集中所包含
    的内容,由于模型无法跟踪目标的变化,会导致跟踪中断。

    此外,在现有的跟踪方法中,被跟踪目标被假设为刚性物体。即在跟踪
    过程中,物体的形状不发生变化,只有位置和尺寸发生变化。然而,很多实
    际物体(如人脸、人体器官等)均为非刚性物体。由于个体差异的存在,其
    形状和表观本来就存在差异,又可能在运动过程中产生形状的改变,使得跟
    踪的难度增加。

    此外,在现有的跟踪方法中,被跟踪目标的面外旋转角度必须在一个比
    较小的范围内,如果超出了这一范围,由于目标在图像中的外观变化过大,
    就会导致跟踪中断。以人脸为例,大部分跟踪方法对于正面人脸上的特征,
    如眼睛、眉毛、嘴等,具有良好的跟踪能力。然而如果头部姿态发生变化,
    图像中的人脸不再是正面情况时,跟踪效果就会变差。

    因此,需要一种能够即使被跟踪目标在跟踪过程中发生形状改变并且姿
    态变化很大的情况下也能实现精确跟踪的方法和设备。

    发明内容

    本发明的目的在于提供一种物体跟踪方法和设备,该物体跟踪方法和设
    备在被跟踪目标在跟踪过程中发生形状改变并且姿态变化很大的情况下也能
    实现精确跟踪,从而获得被跟踪目标的位置、姿态和形状变化参数。

    本发明的一方面提供一种物体跟踪方法,所述方法包括:接收用于跟踪
    的图像;基于第一帧图像初始化被跟踪物体的三维形状模型的参数;在跟踪
    当前帧图像中的被跟踪对象时,根据在先前帧图像中获得的三维形状模型的
    参数,从纹理模板库中选择纹理模板,以对当前帧图像中的被跟踪对象进行
    跟踪;更新三维形状模型的参数,以使得从当前帧图像获得的被跟踪物体的
    规范化纹理与选择的纹理模板对齐至第一预定程度。

    所述方法还可包括:根据更新的三维形状模型的参数确定当前帧图像是
    否是关键??;当确定当前帧图像为关键帧时,基于更新了参数的三维形状模
    型重新获得被跟踪物体的规范化纹理;将基于更新了参数的三维形状模型而
    重新获得的规范化纹理设置为纹理模板,以产生或更新与更新的参数对应的
    纹理模板,其中,当确定当前帧图像为非关键帧时,结束对当前帧的跟踪。

    三维形状模型的参数可包括:位置参数、姿态参数和形变参数。

    在先前帧图像中获得的三维形状模型的参数可以是姿态参数。

    将三维形状模型的顶点投影到图像上,连接投影在图像上的顶点形成网
    格,该网格所覆盖的像素作为被跟踪物体的纹理,通过去除该纹理的形变特
    性而获得规范化纹理。

    三维形状模型的三维姿态空间可被划分多个区域,每个区域表示一个姿
    态范围并且能够对应于一个纹理模板,存在的对应的纹理模板的集合形成纹
    理模板库。

    判断当前帧图像是否是关键帧的步骤可包括:当更新的参数中的姿态参
    数所在的区域没有对应的纹理模板时,确定当前帧图像是关键帧。

    判断当前帧图像是否是关键帧的步骤还可包括:当更新的参数中的姿态
    参数所在的区域存在对应的纹理模板时,当更新的参数中的姿态参数所表示
    的姿态比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区
    域的中心的坐标所表示的姿态时,确定当前帧图像是关键帧。

    判断当前帧图像是否是关键帧的步骤还可包括:确定与更新的参数中的
    姿态参数对应的区域;确定该对应的区域是否存在对应的纹理模板;如果存
    在对应的纹理模板,则确定更新的参数中的姿态参数所表示的姿态是否比该
    对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的
    坐标所表示的姿态;如果确定不更接近,则将当前帧设置为非关键帧。

    判断当前帧图像是否是关键帧的步骤还可包括:如果确定更接近,则确
    定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对
    齐到至第二预定程度;如果确定对齐至第二预定程度,将当前帧设置为关键
    ??;如果确定没有对齐至第二预定程度,则将当前帧设置为非关键??;如果
    确定更接近,则在确定从当前帧图像获得的被跟踪物体的规范化纹理与该对
    应的纹理模板是否对齐到至第二预定程度之前,确定更新的参数中的姿态参
    数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表示的姿态
    更远离该对应的区域的中心的坐标所表示的姿态;如果确定更远离,则确定
    从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐
    到至第二预定程度;如果确定不更远离,则将当前帧设置为非关键帧。

    判断当前帧图像是否是关键帧的步骤还可包括:如果不存在对应的纹理
    模板,则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理
    模板是否对齐到至第二预定程度;如果确定对齐至第二预定程度,将当前帧
    设置为关键??;如果确定没有对齐至第二预定程度,则将当前帧设置为非关
    键帧。

    第一预定程度可小于等于第二预定程度。

    基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包
    括:通过调整三维形状模型的参数使得三维形状模型的顶点投影到第一帧图
    像上时与第一帧图像上的对应顶点重合至预定程度。

    形变参数可包括个性化形变参数和运动形变参数。

    基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包
    括:通过调整个性化形变参数、位置参数和姿态参数使得三维形状模型的顶
    点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。

    将三维形状模型的顶点投影到图像上,连接投影在图像上的顶点形成网
    格,该网格所覆盖的像素作为被跟踪物体的纹理,通过去除该纹理的形变特
    性而获得规范化纹理,其中,通过去除该纹理的形变特性而获得规范化纹理
    的步骤包括:将在形变参数为零的条件下的三维形状模型的顶点投影到二维
    平面,根据每个网格的顶点的坐标与每个网格所覆盖的像素的位置关系,将
    每个网格所覆盖的像素变换到该二维平面,从而得到规范化纹理。

    三维形状模型的形状可被表示如下:

    S = S 0 + Σ i a i A i + Σ j b j B j ]]>

    其中,S0为平均形状,为可变部分,可变部分包括个性化
    形变和运动形变Ai和Bj为形变的基向量,ai为个性化形变参数,
    bj为运动形变参数。

    当选择的与在先前帧图像中获得的三维形状模型的参数对应的纹理模板
    被生成时三维形状模型的姿态与在跟踪先前帧图像时使用的纹理模板被生成
    时三维形状模型的姿态之差在预定范围内时,使用在跟踪先前帧图像时使用
    的纹理模板。

    从纹理模板库中选择具有与在先前帧图像中获得的三维形状模型的参数
    所表示的姿态相接近的姿态的纹理模板,以对当前帧图像中的被跟踪对象进
    行跟踪。

    本发明的另一方面提供一种物体跟踪设备,所述设备包括:接收单元,
    接收用于跟踪的图像;初始化单元,基于第一帧图像初始化被跟踪物体的三
    维形状模型的参数;纹理模板选择单元,在跟踪当前帧图像中的被跟踪对象
    时,根据在先前帧图像中获得的三维形状模型的参数,从纹理模板库中选择
    纹理模板,以对当前帧图像中的被跟踪对象进行跟踪;更新单元,更新三维
    形状模型的参数,以使得从当前帧图像获得的被跟踪物体的规范化纹理与选
    择的纹理模板对齐至第一预定程度。

    所述物体跟踪设备还可包括:关键帧确定单元,根据更新的三维形状模
    型的参数确定当前帧图像是否是关键??;规范化纹理计算单元,在关键帧确
    定单元确定当前帧图像为关键帧时,基于更新了参数的三维形状模型重新获
    得被跟踪物体的规范化纹理;纹理模板设置单元,将基于更新了参数的三维
    形状模型而重新获得的规范化纹理设置为纹理模板,以产生或更新与更新的
    参数对应的纹理模板,其中,当关键帧确定单元确定当前帧图像为非关键帧
    时,结束对当前帧的跟踪。

    在本发明中,为了使被跟踪物体在产生较大幅度姿态变化时仍能被跟踪
    到,使用了三维形状模型和多个纹理模板。用三维形状模型的位置和姿态参
    数描述被跟踪物体的位置和姿态状态,当被跟踪物体形状变化时,三维形状
    模型的状态参数同步变化,实现较大幅度姿态变化条件下的稳定跟踪。多个
    纹理模板用来表示被跟踪物体在不同姿态条件下的外观状态,提高跟踪方法
    对物体姿态变化的稳定性。

    此外,为了使被跟踪物体发生形变时仍能被跟踪到,本发明使用的三维
    形状模型中包含了变形参数。也就是说,在跟踪过程中,三维形状模型与被
    跟踪物体同步产生形变,用三维形状模型的形变参数描述物体的形变状态。

    此外,为了减少跟踪方法对于训练样本的依赖,本发明中使用的形状模
    型,既可以通过统计的方式获得,也可以使用手工设计的方式获得。另外,
    跟踪过程中所依赖的纹理信息,在跟踪起始阶段及跟踪过程中,从输入图像
    中获得,从而减少对训练样本的依赖。

    附图说明

    通过下面结合附图进行的详细描述,本发明的上述和其它目的、特点和
    优点将会变得更加清楚,其中:

    图l示出根据本发明实施例的物体跟踪设备的框图;

    图2示出根据本发明实施例的物体跟踪方法;

    图3示出根据本发明实施例的获得初始纹理模板的流程图;

    图4示出根据本发明实施例的调整三维形状模型的参数的流程图;

    图5示出根据本发明实施例的划分三维姿态空间的示意图;

    图6示出根据本发明实施例的判断当前帧图像是否是关键帧的流程图。

    具体实施方式

    现在,将参照附图更充分地描述不同的示例实施例。

    图1示出根据本发明实施例的物体跟踪设备的框图。

    如图1所示,根据本发明的物体跟踪设备包括:接收单元101、初始化
    单元102、纹理模板选择单元103和更新单元104。

    接收单元101接收用于跟踪的图像,该图像可由各种图像获取装置产生,
    例如,相机、摄像机等。

    初始化单元102基于第一帧图像初始化被跟踪物体的三维形状模型的参
    数。

    纹理模板选择单元103在跟踪当前帧图像中的被跟踪对象时,基于在跟
    踪先前帧图像时获得的三维形状模型的参数,从纹理模板库中选择合适的纹
    理模板,以跟踪当前帧图像中的被跟踪对象。

    更新单元104更新三维形状模型的参数,以使得从当前帧图像获得的被
    跟踪物体的规范化纹理与选择的纹理模板对齐至预定程度。

    在另外的实施例中,根据本发明的物体跟踪设备还可包括:关键帧确定
    单元105、规范化纹理计算单元106和纹理模板设置单元107。

    关键帧确定单元105根据更新的三维形状模型的参数确定当前帧图像是
    否是关键帧,以生产新的纹理模板或更新当前存在的纹理模板。

    规范化纹理计算单元106在关键帧确定单元105确定当前帧图像为关键
    帧时,基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理。

    纹理模板设置单元107将基于更新了参数的三维形状模型而重新获得的
    规范化纹理设置为纹理模板,以产生或更新与更新的参数对应的纹理模板。

    图2示出根据本发明实施例的物体跟踪方法。下面根据图2详细描述本
    发明的物体跟踪方法,同时更详细地说明图1的各单元所执行的处理和具有
    的功能。

    在步骤S101,接收单元101接收用于跟踪的图像。该图像可由各种图像
    获取装置产生,例如,相机、摄像机等。

    在步骤S102,初始化单元102基于输入的第一帧图像初始化被跟踪物体
    的三维形状模型的参数。

    在本发明中,被跟踪物体的三维形状模型预先被建立,三维形状模型的
    参数可包括位置参数、姿态参数和形变参数,从而能够对物体进行位置、姿
    态和形变的跟踪。将三维形状模型的顶点投影到输入的图像上,连接投影在
    图像上的顶点形成网格,该网格所覆盖的像素作为被跟踪物体的纹理,将该
    纹理的坐标变换到形变参数为零的三维形状模型得到规范化纹理。

    在初始化被跟踪物体的三维形状模型的参数时,初始化单元102调整三
    维形状模型的参数,使得三维形状模型的顶点投影到第一帧图像上时与第一
    帧图像上的顶点重合。当实现重合时获得的三维形状模型的参数就是初始化
    的三维形状模型的参数。初始化的参数能够准确反映被跟踪物体的初始状态。

    通过调整三维形状模型的参数,使得三维形状模型的顶点投影到第一帧
    图像上时与第一帧图像上的顶点重合时获得的被跟踪物体的纹理的规范化纹
    理为初始规范化纹理。

    在跟踪过程中,如果三维形状模型的参数是准确的,即三维形状模型上
    的每个顶点始终与被跟踪物体上固定的位置对应,则按照上述方式得到的规
    范化纹理具有不变性。不变性的含义是,在跟踪过程中,忽略光照条件变化
    的影响,同一物体的规范化纹理不随物体位置、姿态、形变参数的改变而改
    变。因此,反过来,规范化纹理是否保持不变,可以衡量作为跟踪结果的三
    维模型的参数是否准确??梢越巫茨P偷牟问既肥被竦玫墓娣痘?br />理保存下来,作为实现跟踪的依据的纹理模板。当通过调整三维形状模型的
    参数使得被跟踪物体的规范化纹理与纹理模板对齐时,可使用此时的三维形
    状模型的参数来表示被跟踪物体的状态(即,位置、姿态和形变中的至少一
    个)。

    实际上,由于非均匀光照和可视范围的影响,即使模型参数准确,在物
    体姿态不同时,规范化纹理也是不同的。因此,需要对于不同的物体姿态来
    设置不同的纹理模板,纹理模板的集合称为纹理模板库。

    在一个示例中,三维形状模型可通过向量被表示。三维形状模型可包括
    被跟踪物体的顶点在模型坐标系中的三维坐标:

    S=(x1,y1,z1,x2,y2,z2,…,xn,yn,zn)T,

    其中,n为顶点的数量,(xi,yi,zi)T为第i个顶点的坐标。

    在本发明中,三维形状模型的形状被划分为平均形状和可变部分。由于
    形状实质上可由坐标表示,因此三维坐标S可被转换为包括平均形状和可变
    部分,表示如下:

    S = S 0 + Σ i a i A i + Σ j b j B j ]]>


    被跟踪物体相对于这一类物体平均形状之间的差别,运动形变表示跟踪过程
    中被跟踪物体的形状可能发生的变化。Ai和Bj为形变的基向量,ai和bj为形
    变系数。形变系数ai和bj也可分别用向量a和b表示,向量a和b为三维形
    状模型的形变参数。即,在本发明中,形变参数包括个性化形变参数a和运
    动形变参数b。

    三维形状模型的顶点坐标与其在图像平面上的投影坐标之间的关系可被
    表示为:

    (ui,vi)T=M(xi,yi,zi,1)T

    其中,M为投影变换矩阵,由三个旋转角度θx、θy、θz,两个平移系数
    tx、ty,和一个缩放系数s确定。投影变换相关的这六个参数用向量q表示,即,

    q=(θx,θy,θz,tx,ty,tz)T。

    三维形状模型的位置参数和姿态参数可由向量q表示,其中,θx、θy、θz
    为姿态参数n,tx、ty、tz为位置参数d。

    可以将三维形状模型的顶点投影到图像中的被跟踪物体上,将通过连接
    投影在图像上的顶点而形成的网格所覆盖的图像上的像素作为被跟踪物体的
    纹理。将a=b=0条件下的三维形状模型的顸点投影到二维平面,根据每个网
    格的顶点的坐标与每个网格所覆盖的像素的位置关系,将每个网格所覆盖的
    像素(即,被跟踪物体的纹理)变换到该二维平面,从而得到规范化纹理。
    即,通过去除被跟踪物体的纹理的形变特性而获得规范化纹理。例如,当网
    格为三角形时,根据每个三角形网格的三个顶点的坐标与每个三角形网格所
    覆盖的像素的位置关系,将每个三角形网格所覆盖的像素变换到该二维平面,
    从而得到规范化纹理。

    根据输入的图像I和模型参数计算规范化纹理x的过程可被表示如下:

    x=W(I,a,b,q)

    在跟踪过程中,个性化形变参数a不发生改变,上述关系式可以简化为:

    x=W(I,b,q)

    在完成三维形状模型的参数的初始化并且获得初始的纹理模板之后,就
    可以进行跟踪。

    在步骤S103,开始进行跟踪,纹理模板选择单元103根据三维形状模型
    的当前参数,从纹理模板库中选择合适的纹理模板。即,在对当前帧中的被
    跟踪对象进行跟踪时,纹理模板选择单元103使用在跟踪先前帧图像时获得
    的三维形状模型的参数,从纹理模板库中选择与之对应的纹理模板。

    在跟踪第二帧图像时,由于三维形状模型的参数还没有被调整,因此三
    维形状模型的当前参数就是初始化的参数。类似地,在跟踪第三帧图像时,
    三维形状模型的当前参数就是在跟踪第二帧输入图像时调整后的参数;在跟
    踪第i帧图像时,三维形状模型的当前参数就是在跟踪第i-1帧图像时调整后
    的参数。

    根据前面所述,当被跟踪物体处于不同的姿态时,需要使用不同的纹理
    模板。即,在跟踪过程中,由于可视范围有限以及非均匀光照的影响,当物
    体姿态发生变化时,产生的规范化纹理图像也会发生变化,与生成的初始纹
    理模板之间会存在偏差,导致跟踪过程出现误差。物体姿态与生成的初始纹
    理模板时的姿态差别越大,这种偏差就越显著。物体姿态变化引起的规范化
    纹理图像与纹理模板之间的偏差是不可避免的,为了减少这种偏差对跟踪的
    影响,本发明针对不同的姿态使用不同的纹理模板。例如,可以划分多个姿
    态范围,一个姿态范围可使用一个纹理模板。

    可根据前一帧图像中被跟踪物体的姿态来选择对应的纹理模板。由于三
    维形状模型的当前参数实际上表示前一帧图像中被跟踪物体的状态,因此可
    根据三维形状模型的当前参数中的姿态参数来确定对应的纹理模板。

    在步骤S104,更新单元104更新三维形状模型的参数,使得从当前帧图
    像获得的规范化纹理与在步骤S103选择的纹理模板对齐。

    此时,获得的三维形状模型的参数表示当前帧图像中被跟踪物体的状态。

    在本发明的一个实施例中,可预先设置不同姿态的纹理模板形成纹理模
    板库。利用姿态接近在跟踪先前帧图像时获得的三维形状模型的参数所表示
    的姿态的纹理模板来跟踪当前帧。优选地,选择姿态最接近在跟踪先前帧图
    像时获得的三维形状模型的参数所表示的姿态的纹理模板。然而,由于预先
    设置不同姿态的纹理模板需要大量的具有不同姿态的被跟踪物体的图像作为
    样本,并分别获得各个纹理模板,增加了工作量和计算量。

    在本发明的另一实施例中,可在跟踪过程中获得纹理模板来形成纹理模
    板库,并且在跟踪过程中可更新已经存在的纹理模板。下面结合图2和图5
    详细描述在跟踪过程中获得以及更新纹理模板的处理。

    如图5所示,在三维姿态空间划分多个区域,每个区域表示一个姿态范
    围。例如,当旋转角度θx、θy、θz的变化范围为正负90度时,每隔10度划
    分一个区域,则可划分出5832个姿态范围。每个区域可被表示为Ci,每个区
    域的中心的坐标可被表示为pi,这里i为区域的编号。在跟踪过程(包括初始
    化阶段)中,每个区域可以被产生一个纹理模板Ti,并且每个区域的纹理模
    板Ti可以被更新。然而并不是每个区域一定会被产生纹理模板,这取决于被
    跟踪物体在跟踪过程中的姿态变化情况。存在的纹理模板的集合形成纹理模
    板库。

    由于前面提到的初始规范化纹理是在将三维形状模型的参数调整准确的
    情况下获得的,因此可以将初始规范化纹理设置为初始的纹理模板。

    再参照图2,在步骤S105,关键帧确定单元105根据更新的三维形状模
    型的参数判断当前帧图像是否是关键帧,以产生新的纹理模板或更新已经存
    在的纹理模板。

    如果在步骤S105确定当前帧图像为关键帧,则在步骤S106,规范化纹
    理计算单元106基于更新了参数的三维形状模型重新计算被跟踪物体的规范
    化纹理。

    随后,在步骤S107,纹理模板设置单元107将在步骤S106计算的规范
    化纹理设置为纹理模板,以产生或更新与当前帧图像的姿态对应的区域的纹
    理模板。

    如果在步骤S105确定当前帧图像为非关键帧,则结束对当前帧的跟踪过
    程。

    在该实施例中,纹理模板主要是在跟踪过程中产生的,因此将在当前帧
    更新的姿态参数所在的区域还没有对应的纹理模板时,将当前帧设置为关键
    帧,以产生对应的纹理模板。

    此外,在该实施例中,在跟踪过程中更新已经存在的纹理模板。然而在
    产生与区域对应的纹理模板时,更新的姿态参数可能不是该区域的中心,而
    是偏离该区域的中心。这样,在三维姿态空间中,虽然各个区域是均匀划分
    的,然而各个区域对应的纹理模板的姿态参数并不是均匀分布的。因此为了
    使得纹理模板的姿态参数在三维姿态空间中也均匀分布,当存在对应的纹理
    模板时,如果当前帧的更新的姿态参数比该对应的纹理模板的姿态参数更接
    近对应的区域的中心,则可将通过已经更新了参数的三维形状模型从当前帧
    获得的规范化纹理设置为纹理模板来更新该存在的纹理模板??裳〉?,为了
    保证纹理模板的精度,在产生或更新纹理模板前需要确定从当前帧获得的规
    范化纹理是否达到预定的精度要求。将在下面参照图6进行详细描述。

    图3示出根据本发明实施例的获得初始纹理模板的流程图。

    在步骤S201,对输入的第一帧图像中的被跟踪物体的关键点(或,顶点)
    进行定位。

    在步骤S202,通过调整三维形状模型的参数,使得当三维形状模型上的
    与定位的关键点对应的顶点投影到第一帧图像上时,所述对应的顶点与关键
    点对齐。

    在步骤S203,计算规范化纹理图像,并将其作为初始纹理模板。

    其中,在步骤S202调整三维形状模型的参数时,由于第一帧图像还不存
    在运动变形,此时可仅调整形变参数中的个性形变参数a以及位置参数和姿
    态参数q,对齐过程可被表示如下:

    E ( a , q ) = Σ i = 1 N | | u i v i - s i t i | | 2 , ]]>

    其中,N为要对齐的关键点的数量,ui、vi为三维形状模型的顶点在第一
    帧图像上投影的二维坐标,si、ti为定位得到的关键点的位置坐标,E(a,q)表
    示对齐程度,E(a,q)越小表示对齐程度越高。

    在确定最优参数a和q的时候,使用分阶段优化的方式。在每个阶段之
    中,令优化对象分别为参数a和q,判断误差E(a,q)是否小于第一预定阈值。
    当误差小于第一预定阈值时,说明优化过程可以结束,保存这时的模型参数;
    否则,继续进行优化a和q,直到误差小于预定阈值或者迭代次数超过一阈值
    时结束调整。此时,认为映射的三维形状模型的顶点与关键点对齐或重合,
    即,当达到一定对齐或重合程度时,可认为实现对齐。由于根据实际情况可
    能需要不同的跟踪精度,判断是否对齐的标准可能不同,当要求跟踪精度高
    时,可减小第一预定阈值;反之,可增大第一预定阈值?;痪浠八?,当第一
    预定阈值小时,要求的对齐程度高;当第一预定阈值大时,要求的对齐程度
    低。

    下面参照图4说明调整三维形状模型的参数。图4示出根据本发明实施
    例的在获得初始纹理模板时调整三维形状模型的参数的流程图。

    在步骤S301,调整参数q。在步骤S302,确定E(a,q)是否小于第一预定
    阈值。如果在步骤S302确定小于第一预定阈值,则结束调整。如果在步骤
    S302确定不小于第一预定阈值,则在步骤S303调整参数a。在步骤S304,
    确定E(a,q)是否小于第一预定阈值。如果在步骤S304确定小于第一预定阈值,
    则结束调整。如果在步骤S304确定不小于第一预定阈值,则进行步骤S301。

    可选地,图4所示的方法还包括步骤S305,其中,确定调整次数是否小
    于一阈值。如果确定调整次数小于阈值,则进行步骤S301;如果确定调整次
    数不小于阈值,则结束调整。

    应该理解,也以可首先调整参数a然后调整参数q,或者可以同时调整a
    和q。

    在图2的步骤S?104中更新三维形状模型的当前参数时,也可利用图4
    的分阶段优化的方式。在步骤S104调整三维形状模型的参数时,处于跟踪过
    程中,个性形变参数a不变,可针对运动形变参数b以及位置参数和姿态参
    数q进行更新,更新过程可被表示如下:

    E(b,q)=‖W(I,b,q)-T‖2

    其中,T为在步骤S103选择的纹理模板,I为输入的当前帧图像。

    在优化参数b和q的时候,使用分阶段优化的方式。在每个阶段之中,
    令优化对象分别为参数b或q,判断误差E(b,q)是否小于第二预定阈值。当
    误差小于第二预定阈值时,说明优化过程可以结束,保存这时的模型参数;
    否则,继续进行优化b和q,直到误差小于第二预定阈值或者迭代次数超过
    一阈值时结束调整。此时,认为规范化纹理与纹理模板对齐。

    此外,也可同时调整b和q。

    图6示出根据本发明实施例的关键帧确定单元105判断当前帧图像是否
    是关键帧的流程图。

    在步骤S501,获得当前帧图像中的被跟踪物体的姿态参数nt??筛菰?br />图2的步骤S104获得的被跟踪物体的状态获得姿态参数nt。

    在步骤S502,基于姿态参数确定对应的区域Ci。即,将姿态参数所在的
    姿态范围的区域确定为对应的区域Ci。

    在步骤S503,确定区域Ci是否存在对应的纹理模板Ti。

    如果在步骤S503确定存在对应的纹理模板Ti,则在步骤S504,确定姿
    态参数nt所表示的姿态是否比纹理模板Ti被生成时三维形状模型的姿态参数
    Mni更接近姿态参数pi所表示的姿态,即确定‖nt-pi‖<‖Mni-pi‖。

    如果在步骤S504确定更接近姿态参数nt所表示的姿态,则在步骤S505
    确定姿态参数nt所表示的姿态是否比前一帧图像的被跟踪物体的姿态参数
    nt-1所表示的姿态更远离姿态参数pi所表示的姿态,即确定‖nt-pi‖>‖nt-1-pi‖。

    如果在步骤S505确定更远离姿态参数pi所表示的姿态时,则在步骤
    S506,确定E(b,q)是否小于第三预定阈值。这里,第三预定阈值小于等于第
    二预定阈值。

    如果在步骤S506确定E(b,q)是小于第三预定阈值时,则在步骤S507,
    将当前帧设置为关键帧。

    如果在步骤S506确定E(b,q)是不小于第三预定阈值时,则在步骤S508,
    将当前帧设置为非关键帧。

    如果在步骤S503确定不存在对应的纹理模板Ti,则进行到步骤S506。

    如果在步骤S504确定没有更接近姿态参数nt所表示的姿态,则进行到
    步骤S508。

    如果在步骤S505确定不更远离近姿态参数pi所表示的姿态,则进行到
    步骤S508,从而避免了重复建立纹理模板。

    在另一实施例中,可省略步骤S505。即,如果在步骤S504确定更接近
    姿态参数nt所表示的姿态,则进行到步骤S506。

    在跟踪过程中,需要从纹理模板库中选择出适当的纹理模板。选择的依
    据是前一帧进行跟踪后得到的姿态参数nt-1。即,选择具有与姿态参数nt-1接
    近(即,接近到预定程度)或最接近的姿态的纹理模板来跟踪当前帧图像中
    的被跟踪对象。例如,在所有的区域中,选择已经设置过纹理模板并且其中
    心姿态接近或最接近姿态参数nt-1的区域Ci的纹理模板用于跟踪当前帧?;?br />句话说,如果姿态参数nt-1所在的区域存在相应的纹理模板,则使用该纹理模
    板用于跟踪当前??;如果姿态参数nt-1所在的区域不存在相应的纹理模板,则
    使用存在的纹理模板中姿态接近或最接近nt-1的纹理模板来跟踪当前帧。当被
    跟踪物体的姿态处于两个区域边界时,可能发生频繁更换纹理模板的现象,
    导致跟踪结果跳动,所以可以根据需要提高更换纹理模板所需的条件。

    在一个实施例中,在前一帧使用的纹理模板Ti-1被生成时被跟踪物体的
    姿态Mni-1,根据在前一帧的更新的姿态参数nt-1确定的在当前帧要使用的纹理
    模板为Ti,其被生成时被跟踪物体(或三维形状模型)的姿态Mni。如果
    ‖Mni-nt-1‖-‖Mni-1-nt-1‖在预定范围内,则可以仍然使用前一帧使用的纹理模板
    Ti-1。

    在另外的实施例中,也可选择存在的纹理模板中的生成时三维形状模型
    的姿态参数接近(即,接近到预定程度)或最接近姿态参数nt-1的纹理模板来
    跟踪当前帧。即,仅考虑纹理模板自身的姿态,而非纹理模板所对应的区域
    的中心的姿态。

    在此使用的术语“单元”的意思是,但不限于,软件和硬件组件,诸如
    可执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。

    在本发明中,为了使被跟踪物体在产生较大幅度姿态变化时仍能被跟踪
    到,使用了三维形状模型和多个纹理模板。用三维形状模型的位置和姿态参
    数描述被跟踪物体的位置和姿态状态,当被跟踪物体形状变化时,三维形状
    模型的状态参数同步变化,实现较大幅度姿态变化条件下的稳定跟踪。多个
    纹理模板用来表示被跟踪物体在不同姿态条件下的外观状态,提高跟踪方法
    对物体姿态变化的稳定性。

    此外,为了使被跟踪物体发生形变时仍能被跟踪到,本发明使用的三维
    形状模型中包含了变形参数。也就是说,在跟踪过程中,三维形状模型与被
    跟踪物体同步产生形变,用三维形状模型的形变参数描述物体的形变状态。

    此外,为了减少跟踪方法对于训练样本的依赖,本发明中使用的形状模
    型,既可以通过统计的方式获得,也可以使用手工设计的方式获得。另外,
    跟踪过程中所依赖的纹理信息,在跟踪起始阶段及跟踪过程中,从输入图像
    中获得,从而减少对训练样本的依赖。

    尽管已经参照其示例性实施例具体显示和描述了本发明,但是本领域的
    技术人员应该理解,在不脱离权利要求所限定的本发明的精神和范围的情况
    下,可以对其进行形式和细节上的各种改变。

    关于本文
    本文标题:一种物体跟踪方法和设备.pdf
    链接地址://www.4mum.com.cn/p-5817453.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 辽宁十一选五开奖走势 2017玩家赚钱的游戏 银河棋牌手机版 偷窥模拟器赚钱 时时彩下载 窗帘开店赚钱吗 pk10走势图到底如何看 电子竞技与网络游戏的区别 重庆后三组六稳赚方法 多乐彩开奖走势 龙虎和棋牌 北京十一选五牛走势 四肖八码期期准精选资料 辽宁棋牌大全鞍山麻将 实体店要怎么做才赚钱 pk10三码必中规律