• 浪潮孙丕恕从信息时代到智能时代 人工智能价值将爆发式释放 2019-12-21
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
    • / 22
    • 下载费用:30 金币  

    重庆时时彩平台黑客: 视频标注方法及装置.pdf

    关 键 词:
    视频 标注 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610796645.X

    申请日:

    2016.08.31

    公开号:

    CN106385640A

    公开日:

    2017.02.08

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 著录事项变更IPC(主分类):H04N 21/8352变更事项:申请人变更前:北京旷视科技有限公司变更后:北京旷视科技有限公司变更事项:地址变更前:100190 北京市海淀区科学院南路2号A座313变更后:100190 北京市海淀区科学院南路2号A座313变更事项:申请人变更前:北京小孔科技有限公司变更后:北京迈格威科技有限公司|||实质审查的生效IPC(主分类):H04N 21/8352申请日:20160831|||公开
    IPC分类号: H04N21/8352(2011.01)I; H04N21/84(2011.01)I; H04N21/845(2011.01)I; G06F17/30 主分类号: H04N21/8352
    申请人: 北京旷视科技有限公司; 北京小孔科技有限公司
    发明人: 薛宇飞; 张弛; 印奇
    地址: 100190 北京市海淀区科学院南路2号A座313
    优先权:
    专利代理机构: 北京市磐华律师事务所 11336 代理人: 高伟;卜璐璐
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610796645.X

    授权公告号:

    ||||||

    法律状态公告日:

    2017.08.15|||2017.03.08|||2017.02.08

    法律状态类型:

    著录事项变更|||实质审查的生效|||公开

    摘要

    本发明提供了一种视频标注方法及装置,该视频标注方法包括:针对视频中的每一个待标注的运动目标,将所述运动目标在视频中的不相邻的两个视频帧确定为关键帧,并由标注工具对关键帧中的所述运动目标进行标注,其中,两个关键帧之间的连续帧中除关键帧之外的其他帧为非关键??;以及基于标注工具对关键帧中的所述运动目标的标注,计算关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实现对非关键帧中的所述运动目标的自动标注。根据本发明实施例的视频标注方法及装置利用运动目标在视频中的连续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标注信息则通过计算得出,可有效降低视频中运动目标标注的工作量。

    权利要求书

    1.一种视频标注方法,其特征在于,所述视频标注方法包括:
    针对视频中的每一个待标注的运动目标,将所述运动目标在所述视频中的不相邻的两
    个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目标进行标注,其中,所
    述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键??;以及
    基于所述标注工具对所述关键帧中的所述运动目标的标注,计算所述关键帧之间的至
    少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧中的所述运动目标的
    自动标注。
    2.根据权利要求1所述的视频标注方法,其特征在于,
    所述标注工具对所述关键帧中的所述运动目标的标注包括:对所述关键帧中的所述运
    动目标添加目标定位框;并且
    所述计算所述非关键帧中所述运动目标的标注信息包括:基于所述目标定位框的属性
    信息计算应对所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
    3.根据权利要求2所述的视频标注方法,其特征在于,所述目标定位框的属性信息包括
    所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧
    的画面中的坐标。
    4.根据权利要求3所述的视频标注方法,其特征在于,所述目标定位框的一点为所述目
    标定位框的顶点之一。
    5.根据权利要求3所述的视频标注方法,其特征在于,所述对所述非关键帧中所述运动
    目标的标注信息的计算是基于插值算法。
    6.根据权利要求5所述的视频标注方法,其特征在于,所述插值算法为基于透视投影变
    换原理的插值算法。
    7.根据权利要求6所述的视频标注方法,其特征在于,当所述两个关键帧中的一个关键
    帧记为第t0帧,另一个关键帧记为第t1帧,对所述第t0帧和对所述第t1帧中的所述运动目标
    所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,
    对所述第t0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示
    为:
    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>
    x=x0+u(x1-x0)
    y=y0+u(y1-y0)
    h=h0+u(h1-h0)
    w=w0+u(w1-w0)
    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧中的
    所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画
    面中的坐标;u为比例系数。
    8.根据权利要求1-7中的任一项所述的视频标注方法,其特征在于,所述视频标注方法
    还包括:
    检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所
    述非关键帧中的实际情况。
    9.根据权利要求8所述的视频标注方法,其特征在于,所述视频标注方法还包括:
    当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,将所有不相符的
    非关键帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运动目标进行
    重新标注。
    10.根据权利要求8所述的视频标注方法,其特征在于,所述视频标注方法还包括:
    当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,将所述不相符的
    非关键帧中的部分帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运
    动目标进行重新标注;以及
    对于所述运动目标的相邻的两个关键帧,当所述相邻的两个关键帧中至少一个为所述
    新的关键帧时,基于在所述相邻的两个关键帧中对所述运动目标的标注,计算在所述相邻
    的两个关键帧之间的每一非关键帧中所述运动目标的标注信息,以实现自动标注。
    11.根据权利要求1所述的视频标注方法,其特征在于,所述将所述运动目标在所述视
    频中的不相邻的两个视频帧确定为关键帧还包括:
    将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所
    述关键帧。
    12.一种视频标注装置,其特征在于,所述视频标注装置包括:
    关键帧确定???,用于针对视频中的每一个待标注的运动目标,将所述运动目标在所
    述视频中的不相邻的两个视频帧确定为关键??;
    标注工具,用于对所述关键帧中的所述运动目标进行标注,其中,所述两个关键帧之间
    的连续帧中除所述关键帧之外的其他帧为非关键??;以及
    标注信息计算???,用于基于所述标注工具对所述关键帧中的所述运动目标的标注,
    计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关
    键帧中的所述运动目标的自动标注。
    13.根据权利要求12所述的视频标注装置,其特征在于,
    所述标注工具对所述关键帧中的所述运动目标的标注包括:对所述关键帧中的所述运
    动目标添加目标定位框;并且
    所述标注信息计算??榻徊接糜冢夯谒瞿勘甓ㄎ豢虻氖粜孕畔⒓扑阌Χ运龇?br />关键帧中的所述运动目标添加的目标定位框的属性信息。
    14.根据权利要求13所述的视频标注装置,其特征在于,所述目标定位框的属性信息包
    括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的
    帧的画面中的坐标。
    15.根据权利要求14所述的视频标注装置,其特征在于,所述目标定位框的一点为所述
    目标定位框的顶点之一。
    16.根据权利要求14所述的视频标注装置,其特征在于,所述标注信息计算??榻徊?br />用于:基于插值算法计算所述非关键帧中所述运动目标的标注信息。
    17.根据权利要求16所述的视频标注装置,其特征在于,所述插值算法为基于透视投影
    变换原理的插值算法。
    18.根据权利要求17所述的视频标注装置,其特征在于,当所述两个关键帧中的一个关
    键帧记为第t0帧,另一个关键帧记为第t1帧,所述标注工具对所述第t0帧和对所述第t1帧中
    的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及
    h1、w1和(x1,y1)时,所述标注信息计算??槎运龅趖0帧和所述第t1帧之间的非关键帧中所
    述运动目标的标注信息的计算用公式表示为:
    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>
    x=x0+u(x1-x0)
    y=y0+u(y1-y0)
    h=h0+u(h1-h0)
    w=w0+u(w1-w0)
    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧中的
    所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画
    面中的坐标;u为比例系数。
    19.根据权利要求12-18中的任一项所述的视频标注装置,其特征在于,所述视频标注
    装置还包括:
    检查???,用于检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述
    运动目标在所述非关键帧中的实际情况。
    20.根据权利要求19所述的视频标注装置,其特征在于,当所述检查??榫黾觳?br />确定存在自动标注与实际情况不相符的非关键帧时,所述关键帧确定??榛褂糜诮胁?br />相符的非关键帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运动目
    标进行重新标注。
    21.根据权利要求19所述的视频标注装置,其特征在于,当所述检查??榫黾觳?br />确定存在自动标注与实际情况不相符的非关键帧时,
    所述关键帧确定??榛褂糜诮霾幌喾姆枪丶≈械牟糠种∪范ㄎ碌墓丶?,
    并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注;并且
    所述标注信息计算??榛褂糜冢憾杂谒鲈硕勘甑南嗔诘牧礁龉丶?,当所述相邻
    的两个关键帧中至少一个为所述新的关键帧时,基于在所述相邻的两个关键帧中对所述运
    动目标的标注,计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注
    信息,以实现自动标注。
    22.根据权利要求12所述的视频标注装置,其特征在于,所述关键帧确定??榛菇?br />运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。

    说明书

    视频标注方法及装置

    技术领域

    本发明涉及视频处理技术领域,更具体地涉及一种视频标注方法及装置。

    背景技术

    视频标注是在视频预览或录像回放过程中,直接在视频上进行突出标记,使视频
    更具有针对性的视频处理方式,在诸多领域应用广泛。例如,视频标注可用于定位和重点关
    注某目标对象,锁定重要的视频线索信息。

    目前,在对视频中的运动目标进行标注时,需要对视频中的每个待标注的运动目
    标,在其出现的每一帧上对其进行标注。但是,视频中帧的数量巨大,若对运动目标进行逐
    帧标注,则不仅需要花费大量的人力和时间,还需要对每帧中的运动目标的标注信息数据
    逐帧存储,因此标注工作效率低、数据量大。

    发明内容

    考虑到上述问题而提出了本发明。根据本发明一方面,提供了一种视频标注方法,
    所述视频标注方法包括:针对视频中的每一个待标注的运动目标,将所述运动目标在所述
    视频中的不相邻的两个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目
    标进行标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键
    ??;以及基于所述标注工具对所述关键帧中的所述运动目标的标注,计算所述关键帧之间
    的至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧中的所述运动目
    标的自动标注。

    在本发明的一个实施例中,所述标注工具对所述关键帧中的所述运动目标的标注
    包括:对所述关键帧中的所述运动目标添加目标定位框;并且所述计算所述非关键帧中所
    述运动目标的标注信息包括:基于所述目标定位框的属性信息计算应对所述非关键帧中的
    所述运动目标添加的目标定位框的属性信息。

    在本发明的一个实施例中,所述目标定位框的属性信息包括所述目标定位框的高
    度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。

    在本发明的一个实施例中,所述目标定位框的一点为所述目标定位框的顶点之
    一。

    在本发明的一个实施例中,所述对所述非关键帧中所述运动目标的标注信息的计
    算是基于插值算法。

    在本发明的一个实施例中,所述插值算法为基于透视投影变换原理的插值算法。

    在本发明的一个实施例中,当所述两个关键帧中的一个关键帧记为第t0帧,另一
    个关键帧记为第t1帧,对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标
    定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,对所述第t0帧和所
    述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧
    中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧
    的画面中的坐标;u为比例系数。

    在本发明的一个实施例中,所述视频标注方法还包括:检查对所述非关键帧中的
    所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。

    在本发明的一个实施例中,所述视频标注方法还包括:当经过所述检查确定存在
    自动标注与实际情况不相符的非关键帧时,将所有不相符的非关键帧确定为新的关键帧,
    并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。

    在本发明的一个实施例中,所述视频标注方法还包括:当经过所述检查确定存在
    自动标注与实际情况不相符的非关键帧时,将所述不相符的非关键帧中的部分帧确定为新
    的关键帧,并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注;以及对
    于所述运动目标的相邻的两个关键帧,当所述相邻的两个关键帧中至少一个为所述新的关
    键帧时,基于在所述相邻的两个关键帧中对所述运动目标的标注,计算在所述相邻的两个
    关键帧之间的每一非关键帧中所述运动目标的标注信息,以实现自动标注。

    在本发明的一个实施例中,所述将所述运动目标在所述视频中的不相邻的两个视
    频帧确定为关键帧还包括将所述运动目标在所述视频中从出现到消失的连续帧中的起始
    帧和结束帧确定为所述关键帧。

    根据本发明另一方面,提供了一种视频标注装置,所述视频标注装置包括:关键帧
    确定???,用于针对视频中的每一个待标注的运动目标,将所述运动目标在所述视频中的
    不相邻的两个视频帧确定为关键??;标注工具,用于对所述关键帧中的所述运动目标进行
    标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键??;以及
    标注信息计算???,用于基于所述标注工具对所述关键帧中的所述运动目标的标注,计算
    所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧
    中的所述运动目标的自动标注。

    在本发明的一个实施例中,所述标注工具对所述关键帧中的所述运动目标的标注
    包括:对所述关键帧中的所述运动目标添加目标定位框;并且所述标注信息计算??榻?br />步用于:基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目标添加的
    目标定位框的属性信息。

    在本发明的一个实施例中,所述目标定位框的属性信息包括所述目标定位框的高
    度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。

    在本发明的一个实施例中,所述目标定位框的一点为所述目标定位框的顶点之
    一。

    在本发明的一个实施例中,所述标注信息计算??榻徊接糜冢夯诓逯邓惴?br />算所述非关键帧中所述运动目标的标注信息。

    在本发明的一个实施例中,所述插值算法为基于透视投影变换原理的插值算法。

    在本发明的一个实施例中,当所述两个关键帧中的一个关键帧记为第t0帧,另一
    个关键帧记为第t1帧,所述标注工具对所述第t0帧和对所述第t1帧中的所述运动目标所分
    别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,所述
    标注信息计算??槎运龅趖0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息
    的计算用公式表示为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧
    中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧
    的画面中的坐标;u为比例系数。

    在本发明的一个实施例中,所述视频标注装置还包括:检查???,用于检查对所述
    非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的
    实际情况。

    在本发明的一个实施例中,当所述检查??榫黾觳槿范ù嬖谧远曜⒂胧?br />际情况不相符的非关键帧时,所述关键帧确定??榛褂糜冢航胁幌喾姆枪丶∪范?br />为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。

    在本发明的一个实施例中,当所述检查??榫黾觳槿范ù嬖谧远曜⒂胧?br />际情况不相符的非关键帧时,所述关键帧确定??榛褂糜冢航霾幌喾姆枪丶≈械?br />部分帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运动目标进行重
    新标注;并且所述标注信息计算??榛褂糜冢憾杂谒鲈硕勘甑南嗔诘牧礁龉丶?,当所
    述相邻的两个关键帧中至少一个为所述新的关键帧时,基于在所述相邻的两个关键帧中对
    所述运动目标的标注,计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标
    的标注信息,以实现自动标注。

    在本发明的一个实施例中,所述关键帧确定??榛菇鲈硕勘暝谒鍪悠抵?br />从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。

    根据本发明实施例的视频标注方法及装置利用运动目标在视频中的连续性特点,
    在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标注信息则通过计
    算得出,可有效降低视频中运动目标标注的工作量。

    附图说明

    通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、
    特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明
    书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,
    相同的参考标号通常代表相同部件或步骤。

    图1示出用于实现根据本发明实施例的视频标注方法和装置的示例电子设备的示
    意性框图;

    图2示出根据本发明实施例的视频标注方法的示意性流程图;

    图3示出根据本发明另一实施例的视频标注方法的示意性流程图;

    图4示出根据本发明实施例的视频标注装置的示意性框图;以及

    图5示出根据本发明实施例的视频标注系统的示意性框图。

    具体实施方式

    为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根
    据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发
    明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制?;诒痉⒚髦忻枋龅?br />本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例
    都应落入本发明的?;し段е?。

    首先,参照图1来描述用于实现本发明实施例的视频标注方法和装置的示例电子
    设备100。

    如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输
    入装置106、输出装置108以及图像传感器110,这些组件通过总线系统112和/或其它形式的
    连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而
    非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。

    所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行
    能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的
    功能。

    所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可
    以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易
    失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非
    易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质
    上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所
    述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计
    算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或
    产生的各种数据等。

    所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦
    克风和触摸屏等中的一个或多个。

    所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且
    可以包括显示器、扬声器等中的一个或多个。

    所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄
    的图像存储在所述存储装置104中以供其它组件使用。

    示例性地,用于实现根据本发明实施例的视频标注方法和装置的示例电子设备可
    以被实现为诸如智能手机、平板电脑等。

    下面,将参考图2描述根据本发明实施例的视频标注方法200。

    在步骤S210,针对视频中的每一个待标注的运动目标,将所述运动目标在所述视
    频中的不相邻的两个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目标
    进行标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧。

    在一个实施例中,对于视频中待标注的运动目标(例如标记为A),可以首先在该视
    频中找到该运动目标A在视频中的一段连续视频帧,所述连续帧例如为所述视频的第j帧到
    第q帧,其中j和q为自然数,且q大于j。在所述连续视频中确定不相邻的两个视频帧作为关
    键帧,例如,两个关键帧中的一个关键帧记为第t0帧(定义为关键帧t0),另一个关键帧记为
    第t1帧(定义为关键帧t1)。关键帧t0和t1中间的连续帧除所述关键帧之外的其他帧为非关
    键帧。

    在一个实施例中,还可以将所述运动目标在所述视频中从出现到消失的连续帧中
    的起始帧和结束帧确定为所述关键帧。对于视频中待标注的运动目标(例如标记为A),可以
    首先在该视频中找到该运动目标A从出现到消失的连续帧,所述连续帧例如为所述视频的
    第a帧到第i帧,其中a和i为自然数,且i大于等于a。在该示例中,运动目标A在视频中出现的
    起始帧为第a帧(例如记为该连续帧的第ta帧),运动目标A在本次出现后消失前的最后一帧
    (即结束帧)为第i帧(例如记为该连续帧的第ti帧),将所述起始帧和结束帧确定为关键帧。

    在另一个示例中,该运动目标A可能从视频中消失后,又在若干时间后再度出现在
    该视频中,之后又从视频中消失。例如,该运动目标A从再次出现到消失的连续帧为所述视
    频的第m帧到第s帧,其中m和s为自然数,且s大于等于m,且m大于等于上述i。在该示例中,运
    动目标A在视频中出现不止一次,在这种情况下,以下将描述的处理是针对运动目标A每一
    次从出现到消失的连续帧分别进行处理。

    在将运动目标A在视频中的不相邻的两个视频帧确定为关键帧(分别定义为关键
    帧t0和t1)后,可以采用标注工具对处于关键帧中的运动目标A进行标注。

    在步骤S220,基于所述标注工具对所述关键帧中的所述运动目标的标注,计算所
    述关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧中
    的所述运动目标的自动标注。

    在一个示例中,标注工具对关键帧(例如上述示例中的关键帧t0、t1)中的运动目标
    A的标注可以包括:对关键帧中的运动目标A添加目标定位框,该目标定位框例如表示为B。
    示例性地,目标定位框B一般为矩形框,也可为其他合适的形状,其用于框选视频中出现的
    目标(例如运动目标A)。一般地,目标定位框B内包括被标注目标的所有部分(例如,包括人
    的整个身体或物体的整个轮廓等)。

    基于对关键帧(例如上述示例中的关键帧t0)中的运动目标A添加的目标定位框B0,
    可获得该目标定位框B0的属性信息。示例性地,目标定位框B0的属性信息可以包括目标定位
    框B0的高度h0和宽度w0、以及目标定位框B0的一点(例如目标定位框B0的顶点之一)在目标定
    位框B0被添加的帧(即关键帧t0)的画面中的坐标(x0,y0)。

    类似地,基于对关键帧(例如上述示例中的关键帧t1)中的运动目标A添加的目标
    定位框B1,可获得该目标定位框B1的属性信息。示例性地,目标定位框B1的属性信息可以包
    括目标定位框B1的高度h1和宽度w1、以及目标定位框B1的一点(例如目标定位框B1的顶点之
    一)在目标定位框B1被添加的帧(即关键帧t1)的画面中的坐标(x1,y1)。

    基于对关键帧中的运动目标添加的目标定位框的属性信息,可计算在运动目标在
    关键帧t0到关键帧t1之间的连续帧中的其他非关键帧中该运动目标的标注信息,即非关键
    帧中应对该运动目标的添加的目标定位框的属性信息,以实现对非关键帧中的所述运动目
    标的自动标注。

    在一个示例中,可以基于插值算法计算非关键帧中所述运动目标的标注信息。示
    例性地,可以基于透视投影变换原理的插值算法计算非关键帧中所述运动目标的标注信
    息。

    在一个示例中,当标注工具对所述两个关键帧中的一个关键帧(对应的关键帧记
    为第t0帧)和对另一个关键帧(记为第t1帧)中的运动目标A所分别添加的目标定位框的高
    度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,对运动目标从第t0帧到第t1帧
    的连续帧中的非关键帧(记为第t帧,其中第t帧处于第t0帧和第t1帧之间)中运动目标A的标
    注信息的计算用公式表示可以为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,h、w和(x,y)分别为应对第t帧所对应的非关键帧中的运动目标A添加的目标
    定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标;u为比例系数。

    可对视频中每一个待标注的运动目标实施上述步骤S210至S220的操作。

    基于上面的描述,根据本发明实施例的视频标注方法利用运动目标在视频中的连
    续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标注信
    息则通过计算得出,可有效降低视频中运动目标标注的工作量。对于在视频中做近似匀速
    直线运动的目标,该视频标注方法尤其有效。

    示例性地,根据本发明实施例的视频标注方法可以在具有存储器和处理器的设
    备、装置或者系统中实现。

    根据本发明实施例的视频标注方法可以部署在个人终端处,诸如智能电话、平板
    电脑、个人计算机等。替代地,根据本发明实施例的视频标注方法还可以部署在服务器端
    (或云端)。替代地,根据本发明实施例的视频标注方法还可以分布地部署在服务器端(或云
    端)和个人终端处。

    在其他实施例中,根据本发明的视频标注方法还可包括其他的操作,下面结合图3
    进行进一步描述。

    图3示出了根据本发明另一实施例的视频标注方法300的示意性流程图。如图3所
    示,视频标注方法300可以包括如下步骤:

    在步骤S310,针对视频中的每一个待标注的运动目标,将所述运动目标在所述视
    频中的不相邻的两个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目标
    进行标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧。

    在步骤S320,基于所述标注工具对所述关键帧中的所述运动目标的标注,计算所
    述关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧中
    的所述运动目标的自动标注。

    此处,步骤S310和S320分别与图2中所描述的视频标注方法200的步骤S210和S220
    类似,为了简洁,此处不再赘述。

    在步骤S330,检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所
    述运动目标在所述非关键帧中的实际情况。

    根据本发明实施例,在步骤S320中实现对非关键帧中运动目标的自动标注后,可
    以对该自动标注结果进行检查,以确定自动标注结果是否符合运动目标在该非关键帧中的
    实际情况,例如检查在非关键帧中运动目标是否完全或绝大部分处在为其自动添加的目标
    定位框内等。经过检查,如果自动标注结果符合运动目标在该非关键帧中的实际情况,则可
    结束操作。反之,如果自动标注结果不符合运动目标在该非关键帧中的实际情况,则可对该
    帧进行处理,以使其标注结果满足要求。因此,基于该检查步骤,可提高视频标注结果的精
    确度和可靠性。

    在一个实施例中,当经过检查确定存在自动标注与实际情况不相符的非关键帧
    时,可以将所有不相符的非关键帧确定为新的关键帧,并由标注工具对所述新的关键帧中
    的所述运动目标进行重新标注(该步骤未在图3中示出)。这种处理方法例如可以适用于存
    在较少数目的不相符非关键帧时进行处理,即通过标注工具对其进行重新标注来纠正不相
    符的情况。这种处理方法简单方便,易于实现。

    在另一个实施例中,如步骤S340和S350中所示:

    在步骤S340,当经过检查确定存在自动标注与实际情况不相符的非关键帧时,将
    所述不相符的非关键帧中的部分帧确定为新的关键帧,并由标注工具对所述新的关键帧中
    的所述运动目标进行重新标注。

    在步骤S350,对于所述运动目标的相邻的两个关键帧,当所述相邻的两个关键帧
    中至少一个为所述新的关键帧时,基于在所述相邻的两个关键帧中对所述运动目标的标
    注,计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息,以实
    现自动标注。

    步骤S340和S350中所示方法例如可以适用于存在较多数目的不相符非关键帧时
    进行处理,即将这些数目较多的不相符非关键帧中的一个或多个确定为新的关键帧,由标
    注工具对新的关键帧中的所述运动目标进行重新标注。

    在确定了新的关键帧以后(例如确定了一个新的关键帧tm),除了关键帧t0和关键
    帧t1以外,还包括了其他的关键帧tm。对于该运动目标的所有关键帧t0、tm、t1,相邻的两个关
    键帧t0与tm中有一个为新的关键帧tm,关键帧tm在被确定后也已由标注工具进行了重新标
    注,因此,可基于在t0与tm中对运动目标所进行的标注,计算在t0与tm之间的每一非关键帧
    中所述运动目标的标注信息。在一个实施例中,可以基于相邻的两个关键帧(t0与tm)中的目
    标定位框的属性信息,利用上述公式计算连续帧中(t0与tm之间)的非关键帧中的运动目标
    的标注信息。类似地,可以基于在tm与t1中对运动目标所进行的标注,计算tm与t1之间的每
    一非关键帧中所述运动目标的标注信息。当确定了多个新的关键帧时,也可采用上述方法
    对所有相邻的两个关键帧之间的非关键帧中的运动目标的标注信息进行计算。

    进一步地,在步骤S350以后,可回到步骤S330进行对所有非关键帧的检查步骤,并
    在确定仍有不符合实际情况的非关键帧后进行S340和S350的处理,如此循环,直到不再存
    在不符合实际情况的标注??烧攵悦扛龃曜⒃硕勘晔凳└檬凳├械牟街?,直到完成
    对所有运动目标的标注。

    基于上面的描述,根据本发明实施例的视频标注方法300利用运动目标在视频中
    的连续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标
    注信息则通过计算得出,可有效降低视频中运动目标标注的工作量。进一步地,根据本发明
    实施例的视频标注方法300对非关键帧中的自动标注结果进行检查,可提高视频标注结果
    的精确度和可靠性。更进一步地,根据本发明实施例的视频标注方法300可将未通过检查的
    非关键帧中的部分帧确定为新的关键帧,再基于所有关键帧中标注信息计算非关键帧中的
    标注信息,并可反复循环直到完成所有符合实际情况的标注,可在提高视频标注结果可靠
    性的同时进一步降低视频中运动目标标注的工作量。

    下面结合图4描述本发明另一方面提供的视频标注装置。图4示出了根据本发明实
    施例的视频标注装置400的示意性框图。

    如图4所示,根据本发明实施例的视频标注装置400包括关键帧确定???10、标注
    工具420以及标注信息计算???30。所述各个??榭煞直鹬葱猩衔闹薪岷贤?至图3描述的
    视频标注方法的各个步骤/功能。以下仅对视频标注装置400的各单元的主要功能进行描
    述,而省略以上已经描述过的细节内容。

    关键帧确定???10用于针对视频中的每一个待标注的运动目标,将所述运动目
    标在所述视频中的不相邻的两个视频确定为关键帧。标注工具420用于对所述关键帧中的
    所述运动目标进行标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他
    帧为非关键帧。标注信息计算???30用于基于所述标注工具对所述关键帧中的所述运动
    目标的标注,计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息,以实
    现对所述非关键帧中的所述运动目标的自动标注。关键帧确定???10、标注工具420和标
    注信息计算???30均可以由图1所示的电子设备中的处理器102运行存储装置104中存储
    的程序指令来实现。

    在一个实施例中,对于视频中待标注的运动目标(例如标记为A),关键帧确定???br />410可以首先在该视频中找到该运动目标A在视频中的一段连续视频帧,所述连续帧例如为
    所述视频的第j帧到第q帧,其中j和q为自然数,且q大于j。在所述连续视频中确定不相邻的
    两个视频帧作为关键帧,例如,两个关键帧中的一个关键帧记为第t0帧(定义为关键帧t0),
    另一个关键帧记为第t1帧(定义为关键帧t1)。关键帧t0和t1中间的连续帧除所述关键帧之
    外的其他帧为非关键帧。

    根据本发明实施例,对于视频中待标注的运动目标(例如标记为A),关键帧确定模
    块410还可以将所述运动目标A在所述视频中从出现到消失的连续帧中的起始帧和结束帧
    确定为所述关键帧。关键帧确定???10可以首先在该视频中找到该运动目标A从出现到消
    失的连续帧,并将所述连续帧中的起始帧(例如记为该连续帧的第ta帧)和结束帧(例如记
    为该连续帧的第ti帧)确定为关键帧。当运动目标A在该视频中出现不止一次,例如从出现
    到消失后过了一段时间又出现的情况,关键帧确定???10、标注工具420和标注信息计算
    ???30的处理可针对运动目标A每一次从出现到消失的连续帧分别进行。

    在关键帧确定???10将运动目标A在视频中的不相邻的两个视频帧确定为关键
    帧(分别定义为关键帧t0和t1)后,可以由视频标注装置400所包括的标注工具420对处于关
    键帧中的运动目标A进行标注。

    在一个示例中,标注工具420对关键帧(例如上述示例中的关键帧t0、t1)中的运动
    目标A的标注可以包括:对关键帧中的运动目标A添加目标定位框,该目标定位框例如表示
    为B。示例性地,目标定位框B一般为矩形框,也可为其他合适的形状,其用于框选视频中出
    现的目标(例如运动目标A)。一般地,目标定位框B内包括被标注目标的所有部分(例如,包
    括人的整个身体或物体的整个轮廓等)。

    基于标注工具420对关键帧(例如上述示例中的关键帧t0)中的运动目标A添加的
    目标定位框B0,标注信息计算???30可获得该目标定位框B0的属性信息。示例性地,目标定
    位框B0的属性信息可以包括目标定位框B0的高度h0和宽度w0、以及目标定位框B0的一点(例
    如目标定位框B0的顶点之一)在目标定位框B0被添加的帧(即关键帧t0)的画面中的坐标
    (x0,y0)。

    类似地,基于标注工具420对关键帧(例如上述示例中的关键帧t1)中的运动目标A
    添加的目标定位框B1,标注信息计算???30可获得该目标定位框B1的属性信息。示例性地,
    目标定位框B1的属性信息可以包括目标定位框B1的高度h1和宽度w1、以及目标定位框B1的一
    点(例如目标定位框B1的顶点之一)在目标定位框B1被添加的帧(即关键帧t1)的画面中的坐
    标(x1,y1)。

    基于对关键帧中的运动目标添加的目标定位框的属性信息,标注信息计算???br />430可计算在运动目标在关键帧之间的至少一个非关键帧中该运动目标的标注信息,即非
    关键帧中应对该运动目标的添加的目标定位框的属性信息,以实现对非关键帧中的所述运
    动目标的自动标注。

    在一个示例中,标注信息计算???30可以基于插值算法计算非关键帧中所述运
    动目标的标注信息。示例性地,标注信息计算???30可以基于透视投影变换原理的插值算
    法计算非关键帧中所述运动目标的标注信息。

    在一个示例中,当标注工具420对两个关键帧中的一个关键帧(记为第t0帧)和对
    另一个关键帧(记为第t1帧)中的运动目标A所分别添加的目标定位框的高度、宽度和坐标
    分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,标注信息计算???30对运动目标从第t0帧到
    第t1帧的连续帧中的非关键帧(记为第t帧,其中第t帧处于第t0帧和第t1帧之间)中运动目
    标A的标注信息的计算用公式表示为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,h、w和(x,y)分别为应对第t帧所对应的非关键帧中的运动目标A添加的目标
    定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标;u为比例系数。

    基于上面的描述,根据本发明实施例的视频标注装置400利用运动目标在视频中
    的连续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标
    注信息则通过计算得出,可有效降低视频中运动目标标注的工作量。

    根据本发明实施例,视频标注装置400还可包括检查???未在图4中示出),用于
    检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非
    关键帧中的实际情况,例如检查在非关键帧中运动目标是否完全或绝大部分处在为其自动
    添加的目标定位框内等?;诩觳槟?榈募觳?,可提高视频标注结果的精确度和可靠性。

    在一个实施例中,当检查??榫觳槿范ù嬖谧远曜⒂胧导是榭霾幌喾姆?br />关键帧时,关键帧确定???10可以将所有不相符的非关键帧确定为新的关键帧,并由标注
    工具420对所述新的关键帧中的所述运动目标进行重新标注。这种处理方法例如可以适用
    于存在较少数目的不相符非关键帧时进行处理,即通过标注工具420对其进行重新标注来
    纠正不相符的情况。这种处理方法简单方便,易于实现。

    在另一个实施例中,当检查??榫觳槿范ù嬖谧远曜⒂胧导是榭霾幌喾?br />非关键帧时,关键帧确定???10可以将所述不相符的非关键帧中的部分帧确定为新的关
    键帧,以用于由标注工具420对所述新的关键帧中的所述运动目标进行重新标注。对于所述
    运动目标的相邻的两个关键帧,当所述相邻的两个关键帧中至少一个为所述新的关键帧
    时,标注信息计算???30可以基于在所述相邻的两个关键帧中对所述运动目标的标注,计
    算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息,以实现自动
    标注。这种处理方式例如可以适用于存在较多数目的不相符非关键帧时进行处理。

    基于上面的描述,根据本发明实施例的视频标注装置利用运动目标在视频中的连
    续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中的标注信
    息通过计算得出,可有效降低视频中运动目标标注的工作量。进一步地,根据本发明实施例
    的视频标注装置对非关键帧中的自动标注结果进行检查,可提高视频标注结果的精确度和
    可靠性。更进一步地,根据本发明实施例的视频标注装置可将未通过检查的非关键帧中的
    部分帧确定为新的关键帧,再基于所有关键帧中标注信息计算非关键帧中的标注信息,并
    可反复循环直到完成所有符合实际情况的标注,可在提高视频标注结果可靠性的同时进一
    步降低视频中运动目标标注的工作量。

    图5示出了根据本发明实施例的视频标注系统500的示意性框图。视频标注系统
    500包括存储装置510以及处理器520。

    其中,存储装置510存储用于实现根据本发明实施例的视频标注方法中的相应步
    骤的程序代码。处理器520用于运行存储装置510中存储的程序代码,以执行根据本发明实
    施例的视频标注方法的相应步骤,并且用于实现根据本发明实施例的视频标注装置中的相
    应???。此外,视频标注系统500还可以包括图像采集装置(未在图5中示出),其可以用于采
    集视频。当然,图像采集装置不是必需的,可直接接收来自其他源的视频的输入。

    在一个实施例中,在所述程序代码被处理器520运行时使得视频标注系统500执行
    以下步骤:针对视频中的每一个待标注的运动目标,将所述运动目标在所述视频中的不相
    邻的两个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目标进行标注,
    其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键??;以及基于
    所述标注工具对所述关键帧中的所述运动目标的标注,计算所述关键帧之间的至少一个非
    关键帧中所述运动目标的标注信息,以实现对所述非关键帧中的所述运动目标的自动标
    注。

    在一个示例中,所述标注工具对所述关键帧中的所述运动目标的标注包括:对所
    述关键帧中的所述运动目标添加目标定位框;并且所述计算所述非关键帧中所述运动目标
    的标注信息包括:基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目
    标添加的目标定位框的属性信息。

    示例性地,所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及
    所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。

    示例性地,所述目标定位框的一点为所述目标定位框的顶点之一。

    在一个示例中,所述对所述非关键帧中所述运动目标的标注信息的计算是基于插
    值算法。

    示例性地,所述插值算法为基于透视投影变换原理的插值算法。

    在一个示例中,当所述两个关键帧中的一个关键帧记为第t0帧,另一个关键帧记
    为第t1帧,在对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的
    高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,对所述第t0帧和对所述第t1
    帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧
    中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧
    的画面中的坐标;u为比例系数。

    在一个实施例中,在所述程序代码被处理器520运行时还使得视频标注系统500执
    行以下步骤:检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目
    标在所述非关键帧中的实际情况。

    在一个实施例中,在所述程序代码被处理器520运行时还使得视频标注系统500执
    行以下步骤:当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,将所有
    不相符的非关键帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所述运动
    目标进行重新标注。

    在一个实施例中,在所述程序代码被处理器520运行时还使得视频标注系统500执
    行以下步骤:当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,将所述
    不相符的非关键帧中的部分帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中
    的所述运动目标进行重新标注;以及对于所述运动目标的相邻的两个关键帧,当所述相邻
    的两个关键帧中至少一个为所述新的关键帧时,基于在所述相邻的两个关键帧中对所述运
    动目标的标注,计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注
    信息,以实现自动标注。

    在一个实施例中,在所述程序代码被处理器520运行时使得视频标注系统500执行
    的将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧的步骤还包括将所
    述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。

    此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序
    指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的视频标注方法的
    相应步骤,并且用于实现根据本发明实施例的视频标注装置中的相应???。所述存储介质
    例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器
    (ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、
    或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存
    储介质的任意组合,例如一个计算机可读存储介质包含确定关键帧的计算机可读的程序代
    码,另一个计算机可读存储介质包含计算非关键帧中的标注信息的计算机可读的程序代
    码。

    在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实
    施例的视频标注装置的各个功能???,并且/或者可以执行根据本发明实施例的视频标注
    方法。

    在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处
    理器执行以下步骤:针对视频中的每一个待标注的运动目标,将所述运动目标在所述视频
    中的不相邻的两个视频帧确定为关键帧,并由标注工具对所述关键帧中的所述运动目标进
    行标注,其中,所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键??;以
    及基于所述标注工具对所述关键帧中的所述运动目标的标注,计算所述所述关键帧之间的
    至少一个非关键帧中所述运动目标的标注信息,以实现对所述非关键帧中的所述运动目标
    的自动标注。

    在一个示例中,所述标注工具对所述关键帧中的所述运动目标的标注包括:对所
    述关键帧中的所述运动目标添加目标定位框;并且所述计算所述非关键帧中所述运动目标
    的标注信息包括:基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目
    标添加的目标定位框的属性信息。

    示例性地,所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及
    所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。

    示例性地,所述目标定位框的一点为所述目标定位框的顶点之一。

    在一个示例中,所述对所述非关键帧中所述运动目标的标注信息的计算是基于插
    值算法。

    示例性地,所述插值算法为基于透视投影变换原理的插值算法。

    在一个示例中,当所述两个关键帧中的一个关键帧记为第t0帧,另一个关键帧记
    为第t1帧,对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高
    度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时,对所述第t0帧和对所述第t1帧
    之间的非关键帧中所述运动目标的标注信息的计算用公式表示为:

    <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>h</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>h</mi> <mn>1</mn> </msub> <msub> <mi>h</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>t</mi> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mfrac> </msup> <mo>&rsqb;</mo> </mrow>

    x=x0+u(x1-x0)

    y=y0+u(y1-y0)

    h=h0+u(h1-h0)

    w=w0+u(w1-w0)

    其中,所述非关键帧记为第t帧,h、w和(x,y)分别为应对第t帧所对应的非关键帧
    中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧
    的画面中的坐标;u为比例系数。

    在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处
    理器执行以下步骤:检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述
    运动目标在所述非关键帧中的实际情况。

    在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处
    理器执行以下步骤:当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,
    将所有不相符的非关键帧确定为新的关键帧,并由所述标注工具对所述新的关键帧中的所
    述运动目标进行重新标注。

    在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处
    理器执行以下步骤:当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时,
    将所述不相符的非关键帧中的部分帧确定为新的关键帧,并由所述标注工具对所述新的关
    键帧中的所述运动目标进行重新标注;以及对于所述运动目标的相邻的两个关键帧,当所
    述相邻的两个关键帧中至少一个为所述新的关键帧时,基于在所述相邻的两个关键帧中对
    所述运动目标的标注,计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标
    的标注信息,以实现自动标注。

    在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处
    理器执行的将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧的步骤还
    包括将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所
    述关键帧。

    根据本发明实施例的视频标注装置中的各??榭梢酝ü荼痉⒚魇凳├氖?br />频标注电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据
    本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运
    行时实现。

    根据本发明实施例的视频标注方法、装置、系统以及存储介质利用运动目标在视
    频中的连续性特点,在运动目标出现的帧中仅选择关键帧进行标注,运动目标在其余帧中
    的标注信息则通过计算得出,可有效降低视频中运动目标标注的工作量。进一步地,根据本
    发明实施例的视频标注方法、装置、系统以及存储介质对非关键帧中的自动标注结果进行
    检查,可提高视频标注结果的精确度和可靠性。更进一步地,根据本发明实施例的视频标注
    方法、装置、系统以及存储介质可将未通过检查的非关键帧中的部分帧确定为新的关键帧,
    再基于所有关键帧中标注信息计算非关键帧中的标注信息,并可反复循环直到完成所有符
    合实际情况的标注,可在提高视频标注结果可靠性的同时进一步降低视频中运动目标标注
    的工作量。

    尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性
    的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变
    和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求
    所要求的本发明的范围之内。

    本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单
    元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
    以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员
    可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出
    本发明的范围。

    在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其
    它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅
    仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结
    合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。

    在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施
    例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构
    和技术,以便不模糊对本说明书的理解。

    类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在
    对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、
    或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求?;さ?br />本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权
    利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特
    征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体
    实施方式,其中每个权利要求本身都作为本发明的单独实施例。

    本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对
    本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法
    或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要
    求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

    此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例
    中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的
    范围之内并且形成不同的实施例。例如,在权利要求书中,所要求?;さ氖凳├娜我庵?br />都可以以任意的组合方式来使用。

    本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行
    的软件??槭迪?,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用
    微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模
    块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全
    部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储
    在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网
    网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。

    应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领
    域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,
    不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未
    列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的
    元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实
    现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项
    来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序??山庑┑ゴ式馐臀?br />称。

    以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的?;?br />范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易
    想到变化或替换,都应涵盖在本发明的?;し段е?。本发明的?;し段вσ匀ɡ蟮?br />?;し段?。

       内容来自专利网重庆时时彩单双窍门 www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:视频标注方法及装置.pdf
    链接地址://www.4mum.com.cn/p-6014517.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 浪潮孙丕恕从信息时代到智能时代 人工智能价值将爆发式释放 2019-12-21
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 360江西时时彩走势图 扑克脸 捕鱼平台注册推广送金币可下分 河南快赢481遗漏数据 斯诺克直播在线观看 哪里卖大唐麻将外挂 星空棋牌游戏大厅网址 浙江体彩20选5中奖规则 甘肃快三 无字天书两码中特 北京pk10开彩结果 云南时时彩网 湖南闲来麻将下载 江苏快三遗漏号查看图 金沙棋牌官方金沙棋牌在线 nba竞彩让分胜负