• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:30 金币  

    重庆时时彩后二方法: 人脸视频合成方法及装置.pdf

    关 键 词:
    视频 合成 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110197873.2

    申请日:

    2011.07.14

    公开号:

    CN102254336A

    公开日:

    2011.11.23

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 13/00申请日:20110714|||公开
    IPC分类号: G06T13/00; G06T13/40(2011.01)I 主分类号: G06T13/00
    申请人: 清华大学
    发明人: 刘烨斌; 李凯; 王好谦; 徐枫; 戴琼海
    地址: 100084 北京市海淀区100084-82信箱
    优先权:
    专利代理机构: 北京清亦华知识产权代理事务所(普通合伙) 11201 代理人: 张大威
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110197873.2

    授权公告号:

    102254336B||||||

    法律状态公告日:

    2013.01.16|||2012.01.04|||2011.11.23

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种人脸视频合成方法及装置。人脸视频合成方法包括步骤:建立目标人物表情数据库,所述目标人物表情数据库中包括多帧人脸图像;对所述多帧人脸图像进行预处理,以提取每一帧人脸图像上人脸的姿态位置和人脸的表情;进行用户定义的人脸图像序列中人脸的姿态位置和人脸的表情与所述多帧人脸图像上人脸的姿态位置和人脸的表情的联合相似度检索,以得到和所述用户定义的人脸图像序列匹配的检索图像序列;以及对所述检索图像序列进行卷绕变换和平滑处理。根据本发明实施例的人脸视频合成方法及装置,对于用户定义的任意表情,都能方便地合成出目标人物相应的逼真图像序列并且自动化程度高。

    权利要求书

    1.一种人脸视频合成方法,其特征在于,包括步骤:
    建立目标人物表情数据库,所述目标人物表情数据库中包括多帧人脸图像;
    对所述多帧人脸图像进行预处理,以提取每一帧人脸图像上人脸的姿态位置和人
    脸的表情;
    进行用户定义的人脸图像序列中人脸的姿态位置和人脸的表情与所述多帧人脸图
    像上人脸的姿态位置和人脸的表情的联合相似度检索,以得到和所述用户定义的人脸
    图像序列匹配的检索图像序列;以及
    对所述检索图像序列进行卷绕变换和平滑处理。
    2.根据权利要求1所述的人脸视频合成方法,其特征在于,所述建立目标人物表
    情数据库的步骤包括:
    从多个视角和多个姿态位置采集所述目标人物的多个基本表情图像序列,其中所
    述多个基本表情图像序列中的每个基本表情图像序列由中性表情和所述中性表情的变
    化过程表情构成。
    3.根据权利要求1所述的人脸视频合成方法,其特征在于,所述对所述多帧人脸
    图像进行预处理的步骤包括:
    提取所述多帧人脸图像中每一帧人脸图像中人脸的姿态位置并使用偏航角、螺旋
    角及侧倾角来描述人脸的位置;
    将所述多帧人脸图像中每一帧人脸图像中的人脸与正面的标准姿态对准并进行特
    征描述点检测,使用所述特征描述点来描述人脸的表情。
    4.根据权利要求3所述的人脸视频合成方法,其特征在于,基于主动形状模型提
    取所述特征描述点。
    5.根据权利要求3所述的人脸视频合成方法,其特征在于,进行所述用户定义的
    人脸图像序列中人脸的姿态位置和人脸的表情与所述多帧人脸图像上人脸的姿态位置
    和人脸的表情的联合相似度检索的步骤包括:
    根据Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行所述用户定义的人脸图像序列
    中人脸的姿态位置与所述多帧人脸图像上人脸的姿态位置的相似度计算,其中Y表示
    偏航角,R表示螺旋角,P表示侧倾角,Ii表示所述用户定义的人脸图像序列中的任一帧
    人脸图像,Ij表示所述多帧人脸图像中的任一帧人脸图像,L(d)是sigmoid函数,定
    义为其中γ=ln99,T与σ分别是变量d的统计均值与标准差;
    根据所述偏航角、所述螺旋角与所述侧倾角,将所述用户定义的人脸图像序列中
    人脸的姿态位置对准到正面姿态,然后根据进行所述用户
    定义的人脸图像序列中人脸的表情与所述多帧人脸图像上人脸的表情的相似度计算,
    其中Ai,k是图像Ii对准后的第k个特征描述点,Aj,k是图像Ij对准后的第k个特征描述点,
    J是特征点的个数,wk是第k个特征点的权重,L(d)是sigmoid函数,定义为
    将计算出的特征点距离归一化到[0,1];
    根据D(i,j)=Dpose(i,j)+λDexpression(i,j)获得联合相似度,其中参数λ是调节表情相
    似度与姿态位置相似度的权重比例;以及
    根据所述联合相似度获得用户定义的人脸图像序列中图像Ii在所述多帧人脸图像中
    的多个候选图像。
    6.根据权利要求5所述的人脸视频合成方法,其特征在于,对于所述联合相似度
    检索获得的所述多个候选图像,进一步计算所述多个候选图像之间的联合相似度,并
    使用Dijkstra最短路径算法得到所述检索图像序列以保证时间连续性和空间一致性。
    7.一种人脸视频合成装置,其特征在于,包括:
    目标人物表情数据库,所述目标人物表情数据库用于存储多帧人脸图像;
    预处理???,所述预处理??橛糜谔崛∷瞿勘耆宋锉砬槭菘庵忻恳恢∪肆惩?br />像上人脸的姿态位置和人脸的表情;
    联合相似度检索???,所述联合相似度检索??橛糜诮杏没Фㄒ宓娜肆惩枷裥?br />列中人脸的姿态位置和人脸的表情与所述多帧人脸图像上人脸的姿态位置和人脸的表
    情的联合相似度检索,以得到和所述用户定义的人脸图像序列匹配的检索图像序列;
    以及
    后处理???,所述后处理??橛糜诙运黾焖魍枷裥蛄薪芯砣票浠缓推交?。
    8.根据权利要求7所述的人脸视频合成装置,其特征在于,所述多帧人脸图像包
    括从多个视角和多个姿态位置采集所述目标人物的多个基本表情图像序列,其中所述
    多个基本表情图像序列中的每个基本表情图像序列由中性表情和所述中性表情的变化
    过程表情构成。
    9.根据权利要求7所述的人脸视频合成装置,其特征在于,所述预处理??榻?br />步用于:
    提取所述多帧人脸图像中每一帧人脸图像中人脸的姿态位置并使用偏航角、螺旋
    角及侧倾角来描述人脸的位置;以及
    将所述多帧人脸图像中每一帧人脸图像中的人脸与正面的标准姿态对准并进行特
    征描述点检测,使用所述特征描述点来描述人脸的表情。
    10.根据权利要求9所述的人脸视频合成装置,其特征在于,所述预处理??樘?br />取基于主动形状模型进行所述特征描述点检测。
    11.根据权利要求9所述的人脸视频合成装置,其特征在于,所述联合相似度检
    索??榻徊接糜冢?br />
    根据Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行所述用户定义的人脸图像序列
    中人脸的姿态位置与所述多帧人脸图像上人脸的姿态位置的相似度计算,其中Y表示
    偏航角,R表示螺旋角,P表示侧倾角,Ii表示所述用户定义的人脸图像序列中的任一帧
    人脸图像,Ij表示所述多帧人脸图像中的任一帧人脸图像,L(d)是sigmoid函数,定
    义为其中γ=ln99,T与σ分别是变量d的统计均值与标准差;
    根据所述偏航角、所述螺旋角与所述侧倾角,将所述用户定义的人脸图像序列中
    人脸的姿态位置对准到正面姿态,然后根据进行所述用户
    定义的人脸图像序列中人脸的表情与所述多帧人脸图像上人脸的表情的相似度计算,
    其中Ai,k是图像Ii对准后的第k个特征描述点,Aj,k是图像Ij对准后的第k个特征描述点,
    J是特征点的个数,wk是第k个特征点的权重,L(d)是sigmoid函数,定义为
    将计算出的特征点距离归一化到[0,1];
    根据D(i,j)=Dpose(i,j)+λDexpression(i,j)获得联合相似度,其中参数λ是调节表情相
    似度与姿态位置相似度的权重比例;以及
    根据所述联合相似度获得用户定义的人脸图像序列中图像Ii在所述多帧人脸图像中
    的多个候选图像。
    12.根据权利要求11所述的人脸视频合成装置,其特征在于,对于所述多个候选
    图像,所述联合相似度检索??榻徊礁菟龆喔龊蜓⊥枷裰涞牧舷嗨贫榷?br />用Dijkstra最短路径算法得到所述检索图像序列以保证时间连续性和空间一致性。

    说明书

    人脸视频合成方法及装置

    技术领域

    本发明涉及计算机图形学领域,特别涉及一种人脸视频合成方法及装置。

    背景技术

    在游戏制作、电影制作与虚拟现实中,人脸表情的模拟技术得到了快速的发展,
    已经提出许多表情合成的方法,然而真实人物表情的合成仍然不能满足实际的需求。
    一方面,一些基于样本的图片变形技术产生的表情图片缺乏真实感,不能满足大量表
    情序列真实感的要求;另一方面,面部表情捕捉技术能够将演员的表情转移到另一个
    人物,这种技术较为成熟,在许多电影特效(如3D电影《阿凡达》)中都有应用,但
    是实施起来较为复杂,而且演员需要戴一个头盔,十分不方便;同时,演员还经常需
    要重复表演某个表情直到满足质量要求,这对于演员来说非常麻烦。

    要想合成逼真的人物表情,主要的难点在于人脸的几何与纹理特征的合成,当人
    做某种表情时,他的外形根据肌肉变化而变化,同时也受环境光照影响而产生亮暗交
    替。其中,脸部运动编码系统(FACS)在表情分析与合成中得到广泛应用,它将人脸分
    为一系列运动单元(AU),提供了一些基本面部表情的相应肌肉运动,通过改变这些运
    动单元的相关组合,就可以产生不同的人脸表情。这种方法虽然能够得到较为真实的
    人脸表情,但是不能实现自动化处理,即给定一个人物的表情,不能在尽可能减少人
    干预的前提下将表情映射到另一个人物。

    发明内容

    本发明的目的旨在至少解决上述技术缺陷之一。为此,本发明需要提供一种人脸
    视频合成方法及装置,该人脸视频合成方法及装置的优点是:对于用户定义的任意表
    情,都能方便地合成出目标人物相应的逼真图像序列;减少演员表演次数;并且自动
    化程度高。

    根据本发明的一方面,提供了一种人脸视频合成方法,其特征在于,包括步骤:
    建立目标人物表情数据库,所述目标人物表情数据库中包括多帧人脸图像;对所述多
    帧人脸图像进行预处理,以提取每一帧人脸图像上人脸的姿态位置和人脸的表情;进
    行用户定义的人脸图像序列中人脸的姿态位置和人脸的表情与所述多帧人脸图像上人
    脸的姿态位置和人脸的表情的联合相似度检索,以得到和所述用户定义的人脸图像序
    列匹配的检索图像序列;以及对所述检索图像序列进行卷绕变换和平滑处理。

    根据本发明实施例的人脸视频合成方法,对于用户定义的任意表情,都能方便地
    合成出目标人物相应的逼真图像序列。

    根据本发明的一个实施例,所述建立目标人物表情数据库的步骤包括:从多个视
    角和多个姿态位置采集所述目标人物的多个基本表情图像序列,其中所述多个基本表
    情图像序列中的每个基本表情图像序列由中性表情和所述中性表情的变化过程表情构
    成。

    根据本发明实施例的人脸视频合成方法,目标人物表情数据库中可以包括大量图
    像。

    根据本发明的一个实施例,所述对所述多帧人脸图像进行预处理的步骤包括:提
    取所述多帧人脸图像中每一帧人脸图像中人脸的姿态位置并使用偏航角、螺旋角及侧
    倾角来描述人脸的位置;将所述多帧人脸图像中每一帧人脸图像中的人脸与正面的标
    准姿态对准并进行特征描述点检测,使用所述特征描述点来描述人脸的表情。

    根据本发明实施例的人脸视频合成方法,可以准确描述人脸的姿态位置和表情。

    根据本发明的一个实施例,基于主动形状模型进行所述特征描述点检测。

    根据本发明的一个实施例,进行所述用户定义的人脸图像序列中人脸的姿态位置
    和人脸的表情与所述多帧人脸图像上人脸的姿态位置和人脸的表情的联合相似度检索
    的步骤包括:根据Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行所述用户定义的人脸
    图像序列中人脸的姿态位置与所述多帧人脸图像上人脸的姿态位置的相似度计算,其
    中Y表示偏航角,R表示螺旋角,P表示侧倾角,Ii表示所述用户定义的人脸图像序列中
    的任一帧人脸图像,Ij表示所述多帧人脸图像中的任一帧人脸图像,L(d)是sigmoid
    函数,定义为其中γ=ln99,T与σ分别是变量d的统计均值与标
    准差;根据所述偏航角、所述螺旋角与所述侧倾角,将所述用户定义的人脸图像序列
    中人脸的姿态位置对准到正面姿态,然后根据进行所述用
    户定义的人脸图像序列中人脸的表情与所述多帧人脸图像上人脸的表情的相似度计
    算,其中Ai,k是图像Ii对准后的第k个特征描述点,Aj,k是图像Ij对准后的第k个特征描述
    点,J是特征点的个数,wk是第k个特征点的权重,L(d)是sigmoid函数,定义为
    将计算出的特征点距离归一化到[0,1];根据
    D(i,j)=Dpose(i,j)+λDexpression(i,j)获得联合相似度,其中参数λ是调节表情相似度与姿
    态位置相似度的权重比例;以及根据所述联合相似度获得用户定义的人脸图像序列中图
    像Ii在所述多帧人脸图像中的多个候选图像。

    根据本发明实施例的人脸视频合成方法,可以得到人脸的姿态位置和表情之间的
    适当的联合相似度并得到符合条件的多个候选图像。

    根据本发明的一个实施例,对于所述联合相似度检索获得的所述多个候选图像,
    进一步计算所述多个候选图像之间的联合相似度,并使用Dijkstra最短路径算法得到所
    述检索图像序列以保证时间连续性和空间一致性。

    根据本发明实施例的人脸视频合成方法,可以保证检索图像序列的精确性和平滑
    性。

    根据本发明的一方面,提供了一种人脸视频合成装置,其特征在于,包括:目标
    人物表情数据库,所述目标人物表情数据库用于存储多帧人脸图像;预处理???,所
    述预处理??橛糜谔崛∷瞿勘耆宋锉砬槭菘庵忻恳恢∪肆惩枷裆先肆车淖颂恢?br />和人脸的表情;联合相似度检索???,所述联合相似度检索??橛糜诮杏没Фㄒ宓?br />人脸图像序列中人脸的姿态位置和人脸的表情与所述多帧人脸图像上人脸的姿态位置
    和人脸的表情的联合相似度检索,以得到和所述用户定义的人脸图像序列匹配的检索
    图像序列;以及后处理???,所述后处理??橛糜诙运黾焖魍枷裥蛄薪芯砣票浠?br />和平滑处理。

    根据本发明实施例的人脸视频合成装置,对于用户定义的任意表情,都能方便地
    合成出目标人物相应的逼真图像序列。

    根据本发明的一个实施例,所述多帧人脸图像包括从多个视角和多个姿态位置采
    集所述目标人物的多个基本表情图像序列,其中所述多个基本表情图像序列中的每个
    基本表情图像序列由中性表情和所述中性表情的变化过程表情构成。

    根据本发明实施例的人脸视频合成装置,目标人物表情数据库中可以包括大量图
    像。

    根据本发明的一个实施例,所述预处理??榻徊接糜冢禾崛∷龆嘀∪肆惩枷?br />中每一帧人脸图像中人脸的姿态位置并使用偏航角、螺旋角及侧倾角来描述人脸的位
    置;以及将所述多帧人脸图像中每一帧人脸图像中的人脸与正面的标准姿态对准并使
    用所述特征描述点来描述人脸的表情。

    根据本发明实施例的人脸视频合成装置,可以准确描述人脸的姿态位置和表情。

    根据本发明的一个实施例,所述预处理??樘崛』谥鞫巫茨P徒兴鎏卣?br />描述点检测。

    根据本发明的一个实施例,所述联合相似度检索??榻徊接糜冢焊?br />Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行所述用户定义的人脸图像序列中人脸的
    姿态位置与所述多帧人脸图像上人脸的姿态位置的相似度计算,其中Y表示偏航角,
    R表示螺旋角,P表示侧倾角,Ii表示所述用户定义的人脸图像序列中的任一帧人脸图像,
    Ij表示所述多帧人脸图像中的任一帧人脸图像,L(d)是sigmoid函数,定义为
    其中γ=ln99,T与σ分别是变量d的统计均值与标准差;根据所
    述偏航角、所述螺旋角与所述侧倾角,将所述用户定义的人脸图像序列中人脸的姿态
    位置对准到正面姿态,然后根据进行所述用户定义的人脸
    图像序列中人脸的表情与所述多帧人脸图像上人脸的表情的相似度计算,其中Ai,k是图
    像Ii对准后的第k个特征描述点,Aj,k是图像Ij对准后的第k个特征描述点,J是特征点的
    个数,wk是第k个特征点的权重,L(d)是sigmoid函数,定义为
    将计算出的特征点距离归一化到[0,1];根据D(i,j)=Dpose(i,j)+λDexpression(i,j)获得联
    合相似度,其中参数λ是调节表情相似度与姿态位置相似度的权重比例;以及根据所述
    联合相似度获得用户定义的人脸图像序列中图像Ii在所述多帧人脸图像中的多个候选图
    像。

    根据本发明实施例的人脸视频合成装置,可以得到人脸的姿态位置和表情之间的
    适当的联合相似度并获得符合条件的多个候选图像。

    根据本发明的一个实施例,对于所述多个候选图像,所述联合相似度检索??榻?br />一步根据所述多个候选图像之间的联合相似度而使用Dijkstra最短路径算法得到所述
    检索图像序列以保证时间连续性和空间一致性。

    根据本发明实施例的人脸视频合成装置,可以保证检索图像序列的精确性和平滑
    性。

    本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变
    得明显,或通过本发明的实践了解到。

    附图说明

    本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明
    显和容易理解,其中:

    图1是根据本发明一个实施例的人脸视频合成方法的示意图;

    图2是根据本发明一个实施例的人脸视频合成方法的流程图;

    图3是根据本发明一个实施例的进行联合相似度检索的方法的流程图;

    图4是根据本发明一个实施例的基于主动形状模型(ASM)提取人脸特征描述点
    的示意图;

    图5是根据本发明一个实施例的获得检索图像序列的示意图;以及

    图6是根据本发明一个实施例的人脸视频合成装置的框图。

    具体实施方式

    下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终
    相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参
    考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

    需要说明的是,此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解
    为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第
    一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。进一步
    地,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。

    下面参考附图描述本发明的具体实施例。

    图1是根据本发明一个实施例的人脸视频合成方法的示意图。如图1所示,在目
    标人物表情数据库包括多帧人脸图像。根据用户定义的人脸图像序列中人脸的姿态位
    置和人脸的表情,检索目标人物表情数据库中多帧人脸图像的人脸的姿态位置和人脸
    的表情,以检索到匹配的图像序列,之后对图像序列进行卷绕与平滑。

    图2是根据本发明一个实施例的人脸视频合成方法的流程图。如图2所示,人脸
    视频合成方法包括以下步骤。

    步骤S201,建立目标人物表情数据库,目标人物表情数据库中包括多帧人脸图像。
    具体地,目标人物在多视角采集系统下做出多个基本表情图像序列,且目标人物在变
    化头的姿态位置的情况下对于每个基本表情重复做数次。尽可能采集多个视角和多个
    姿态位置下的表情。每个基本表情图像序列由中性表情和中性表情的变化过程表情构
    成?;颈砬榘ǜ咝?、生气、悲伤、厌恶、恐惧、惊奇等。

    步骤S202,对多帧人脸图像进行预处理,以提取每一帧人脸图像上人脸的姿态位
    置和人脸的表情。具体包括:提取多帧人脸图像中每一帧人脸图像中人脸的姿态位置
    并使用偏航角、螺旋角及侧倾角来描述人脸的位置;将多帧人脸图像中每一帧人脸图
    像中的人脸与正面的标准姿态对准并进行特征描述点检测,使用特征描述点来描述人
    脸的表情。

    步骤S203,进行用户定义的人脸图像序列中人脸的姿态位置和人脸的表情与多帧
    人脸图像上人脸的姿态位置和人脸的表情的联合相似度检索,以得到和用户定义的人
    脸图像序列匹配的检索图像序列。参考图3描述进行联合相似度检索的具体步骤。图3
    是根据本发明一个实施例的进行联合相似度检索的方法的流程图。如图3所示,联合
    相似度检索包括下述步骤。

    步骤S2031,根据Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行用户定义的人脸图
    像序列中人脸的姿态位置与多帧人脸图像上人脸的姿态位置的相似度计算,其中Y表
    示偏航角,R表示螺旋角,P表示侧倾角,Ii表示用户定义的人脸图像序列中的任一帧人
    脸图像,Ij表示多帧人脸图像中的任一帧人脸图像,L(d)是sigmoid函数,定义为
    其中γ=ln99,T与σ分别是变量d的统计均值与标准差。

    步骤S2032,根据所述偏航角、所述螺旋角与所述侧倾角,将所述用户定义的人脸
    图像序列中人脸的姿态位置对准到正面姿态,然后根据进
    行用户定义的人脸图像序列中人脸的表情与多帧人脸图像上人脸的表情的相似度计
    算,其中Ai,k是图像Ii对准后的第k个特征描述点,Aj,k是图像Ij对准后的第k个特征描述
    点,J是特征点的个数,wk是第k个特征点的权重,L(d)是sigmoid函数,定义为
    将计算出的特征点距离归一化到[0,1]。其中参见图4描述特征
    描述点的提取。

    图4是根据本发明一个实施例的基于主动形状模型(ASM)提取人脸特征描述点
    的示意图。如图4所示,将目标人物表情数据库中的每一帧人脸图像上的人脸对准到
    正面的标准姿态,然后进行主动形状模型特征描述点检测,检测出多个特征描述点,
    这多个特征描述点限定了人脸的表情。

    步骤S2033,根据D(i,j)=Dpose(i,j)+λDexpression(i,j)获得姿态位置和表情的联合相
    似度,其中参数λ是调节表情相似度与姿态位置相似度的权重比例。

    步骤S2034,根据步骤S2033中获得的联合相似度,对于用户定义的人脸图像序
    列,逐个图像地检索出目标人物表情数据库中距离最近的K帧,即联合相似度最小的
    K帧,也就是每个时刻的用户图像都有K个候选图像。

    步骤S2035,对于步骤S2034中得到的K个候选图像,进一步根据K个候选图像
    之间的联合相似度,使用Dijkstra最短路径算法得到检索图像序列以保证时间连续性和
    空间一致性。其中,使用与上述步骤中相同的方法计算K个候选图像之间的联合相似
    度。具体地,利用Dijkstra最短路径算法检索出一条从t=1时刻到t=m时刻的最短路径,
    其中m为用户定义的人脸图像序列的长度。图5是根据本发明一个实施例的获得检索
    图像序列的示意图。在实施Dijkstra最短路径算法之前,需要建立一个有向图,如图5
    所示,该有向图的节点由检索到的所有目标人物的候选人脸图像构成,只允许相邻时
    刻的候选人脸图像之间有有向边相连,而边的长度(或叫做代价)定义为:

    L(Ct,i,Ct+1,j)=D(Ct,i,Ut)+D(Ct+1,j,Ut+1)+μD(Ct,i,Ct+1,j),

    其中,Ct,i与Ct+1,j分别代表t时刻的第i个候选图像与t+1时刻的第j个候选图像,
    Ut与Ut+1分别代表用户定义的第t个与第t+1个人脸图像。这种节点间代价的度量使得
    尽可能选择排名靠前(与用户定义的人脸图像序列中的图像的距离尽可能近)的候选,又
    能使得不同时刻的候选图像间没有明显的突变,而μ则是调节检索出的人脸图像序列的
    精确性与平滑性的参数。

    利用最短路径算法,得出结点C1,i与Cm,j间的最短路径,从首末结点的排列组合
    可以看出,这样的路径总共有K*K个,在这K2个最短路径中再求出路径长度最小的
    那条,就得到了需要的检索图像序列。

    步骤S204,对检索图像序列进行卷绕变换和平滑处理。步骤S203中检索得到的
    检索图像序列虽然在一定程度上保持了时间连续性和空间一致性,但是和目标人物图
    像上人脸的表情相比还有一定的差别,因此需要进行卷绕变换来使得检索图像序列中
    人脸的表情更加匹配用户定义的人脸图像序列的图像上人脸的表情。同时,检索图像
    序列可能存在视频抖动跳跃,因此需要进一步平滑处理。平滑处理的具体步骤如下。

    对于t时刻的用户图像,利用提取的特征描述点将人脸分为眉毛、眼睛、鼻子、嘴
    巴等部分,分别计算Ut和Ct这些区域特征描述点的距离,若该距离大于某一常数δ,
    则认为该区域目标人物的动作和用户的动作有一定差距。例如嘴巴的动作不太符合要
    求,则需要用在目标人物表情数据库中再次检索和用户嘴巴最匹配的候选图像,然后
    把检测到的最匹配的嘴巴替代掉原来Ct的嘴巴,可以使用基于泊松方程的人脸补绘算
    法,从而保证替代时与周围区域纹理的一致性,不至于产生明显的非真实感。

    经过补绘后的人脸在时域上可能存在抖动,需计算补绘后的图像间相邻时刻的距
    离,若检测到抖动,采取光流优化的方法实现平滑过渡,替代掉抖动发生时刻前后的
    某些图像。

    图6是根据本发明一个实施例的人脸视频合成装置的框图。如图6所示,人脸视
    频合成装置10包括目标人物表情数据库110,预处理???20,联合相似度检索???br />130和后处理???40。

    具体地,目标人物表情数据库110用于存储多帧人脸图像。预处理???20用于
    提取目标人物表情数据库110中每一帧人脸图像上人脸的姿态位置和人脸的表情。联
    合相似度检索???30用于进行用户定义的人脸图像序列中人脸的姿态位置和人脸的
    表情与多帧人脸图像上人脸的姿态位置和人脸的表情的联合相似度检索,以得到和用
    户定义的人脸图像序列匹配的检索图像序列。后处理???40用于对检索图像序列进
    行卷绕变换和平滑处理。

    在本发明的一个实施例中,多帧人脸图像包括从多个视角和多个姿态位置采集目
    标人物的多个基本表情图像序列,其中多个基本表情图像序列中的每个基本表情图像
    序列由中性表情和中性表情的变化过程表情构成?;谥鞫巫茨P图觳馓卣髅枋龅?。

    在本发明的一个实施例中,预处理???20进一步用于:提取多帧人脸图像中每
    一帧人脸图像中人脸的姿态位置并使用偏航角、螺旋角及侧倾角来描述人脸的位置;
    以及将多帧人脸图像中每一帧人脸图像中的人脸与正面的标准姿态对准并使用特征描
    述点来描述人脸的表情。

    在本发明的一个实施例中,联合相似度检索???30进一步用于:根据
    Dpose=L(|Yi-Yj|)+L(|Ri-Rj|)+L(|Pi-Pj|)进行用户定义的人脸图像序列中人脸的姿态
    位置与多帧人脸图像上人脸的姿态位置的相似度计算,其中Y表示偏航角,R表示螺
    旋角,P表示侧倾角,Ii表示用户定义的人脸图像序列中的任一帧人脸图像,Ij表示多帧
    人脸图像中的任一帧人脸图像,L(d)是sigmoid函数,定义为
    其中γ=ln99,T与σ分别是变量d的统计均值与标准差;根据所述偏航角、所述螺旋角与
    所述侧倾角,将所述用户定义的人脸图像序列中人脸的姿态位置对准到正面姿态,然
    后根据进行用户定义的人脸图像序列中人脸的表情与多
    帧人脸图像上人脸的表情的相似度计算,其中Ai,k是图像Ii对准后的第k个特征描述点,
    Aj,k是图像Ij对准后的第k个特征描述点,J是特征点的个数,wk是第k个特征点的权重,
    L(d)是sigmoid函数,定义为将计算出的特征点距离归一化到
    [0,1];根据D(i,j)=Dpose(i,j)+λDexpression(i,j)获得联合相似度,其中参数λ是调节表情
    相似度与姿态位置相似度的权重比例;以及根据联合相似度获得用户定义的人脸图像序
    列中图像Ii在多帧人脸图像中的多个候选图像。对于多个候选图像,联合相似度检索模
    块130进一步根据多个候选图像之间的联合相似度而使用Dijkstra最短路径算法得到检
    索图像序列以保证时间连续性和空间一致性。

    根据本发明实施例的人脸视频合成方法及装置具有下述优点:对于用户定义的任
    意表情,都能方便地合成出目标人物相应的逼真图像序列;减少演员表演次数;并且
    自动化程度高。

    在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
    例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或
    者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意
    性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者
    特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

    尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不
    脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变
    型,本发明的范围由权利要求及其等同物限定。

    尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以
    理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、
    替换和变型,本发明的范围由所附权利要求及其等同限定。

    关于本文
    本文标题:人脸视频合成方法及装置.pdf
    链接地址://www.4mum.com.cn/p-5870661.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 北京快乐8开奖记录奇偶 北京快乐8和值 金多宝四肖中特201 体彩黑龙江6+1开奖结果查询 娱乐平台—用户登录 福利彩票3d 今晚四不像一肖中特网 捕鱼游戏手机版 内蒙古时时彩走势图表 排列三百万大奖 手机捕鱼海底捞技巧 辽宁35选7开奖72期 黑龙江11选5缩水软件 竟彩五分钟一开奖叫什么比赛 旅游婚礼赚钱吗 万达二分彩开奖