• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:30 金币  

    重庆时时彩有140多期: 基于异构特征降维的二维角色卡通生成方法.pdf

    关 键 词:
    基于 特征 二维 角色 卡通 生成 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110107099.1

    申请日:

    2011.04.19

    公开号:

    CN102231209A

    公开日:

    2011.11.02

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 13/80申请日:20110419|||公开
    IPC分类号: G06T13/80(2011.01)I 主分类号: G06T13/80
    申请人: 浙江大学
    发明人: 肖俊; 梁璋; 庄越挺
    地址: 310027 浙江省杭州市西湖区浙大路38号
    优先权:
    专利代理机构: 杭州求是专利事务所有限公司 33200 代理人: 张法高
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110107099.1

    授权公告号:

    102231209B||||||

    法律状态公告日:

    2014.04.16|||2011.12.14|||2011.11.02

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于非负风格分解的风格化二维卡通生成方法。本发明利用了机器学习的知识,实现了基于非负风格分解的风格化二维卡通生成的功能。首先输入二维卡通动画人物的二维卡通关键帧序列,系统提取对应的二维骨骼特征表达式,并分解成二维卡通动作的风格基向量和隐组件;将得到的风格基向量与异构的隐组件结合来重新生成具有特定卡通动画人物风格的二维骨骼特征表达式,并驱动二维卡通动画人物的形体形成风格化的二维卡通关键帧。本发明通过分解二维卡通动作至风格基向量与隐组件,减少了传统方法分离动作本体与风格带来的实施困难;同时解决了传统非负矩阵分解方法不能保持卡通数据基于语义连贯性的问题,提高了准确性、扩大了应用范围。

    权利要求书

    1.一种基于非负风格分解的风格化二维卡通生成方法,其特征在于它的步
    骤如下:
    1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作
    的视频段,对视频段经过视频图像技术处理后,利用自定义的关键帧提取方法
    提取卡通人物的二维卡通关键帧序列,并对二维卡通关键帧序列进行归一化与
    中心化处理;对经过处理的二维卡通关键帧序列利用自定义的特征提取方法,
    获得对应的二维骨骼特征表达式;获得几个二维卡通动画人物对应的二维骨骼
    特征表达式,并对这些二维骨骼特征表达式按照自定义的动作类别进行分类,
    建立二维卡通人物的动作数据库;
    2)针对某个二维卡通动画人物的二维骨骼特征表达式,利用自定义的非负
    风格分解的目标函数及其解法,通过迭代的求取方法来获得该二维骨骼特征表
    达式对应的风格基向量和隐组件;利用已获得的隐组件,通过二次函数求导的
    方式,获得对应的保持基于语义理解的降维矩阵;
    3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物,从二维
    卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式,用非负风格分
    解方法获得对应的隐组件,并与别的二维骨骼特征表达式用非负风格分解方法
    获得的风格基向量进行重合成,形成异构的二维骨骼特征表达式;用异构的二
    维骨骼特征表达式按照自定义的特征点驱动方法,通过关键点形变技术来获得
    某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风
    格化二维卡通。
    2.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方
    法,其特征在于:所述步骤1)包括:
    从某个二维卡通动画人物的二维卡通视频中,提取包含卡通人物完整动作
    的视频段Vcart,对Vcart进行傅里叶变化降噪处理,消除背景以及视频噪声对于
    后面处理的影响;从Vcart中渲染出来的视频帧,利用Hausdorff距离算法获得卡
    通视频序列中帧与帧之间的距离矩阵Mcart=Rn×n,其中n为Vcart所渲染出来的
    帧数量,表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离,矩阵Mcart
    中的每一项分别乘以系数来完成Hausdorff距离的归一化处
    理,其中的dcart_max为矩阵Mcart中的最大值,在获得经过归一化的Mcart之后,按
    照设定的阈值来过滤矩阵中的对角值,分别将得到的所对应的
    第i帧作为关键帧,由此得到二维卡通关键帧序列其中m
    为关键帧的数量;
    针对已经获得的二维卡通关键帧序列定义Ai为每一帧
    关键帧对应的包含有二维卡通动画人物完整轮廓的区域面积,定义常量Ca,
    对于二维卡通关键帧序列中的每一帧关键帧经过如下的公式来获得归一化
    大小至Ca的关键?。?br />
    I cart i = I cart i × A i C a - - - 1 ]]>
    通过公式1获得经过归一化的关键帧序列针对序列中
    的每一帧关键帧利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动
    画人物完整的轮廓边缘,在轮廓边缘随机取样t个点,计算该t个点的几何坐标
    中心以及该几何坐标中心与图像中心点之间的坐标位移
    将Ai按照坐标位移进行平移,从而完成的中心
    化处理,对关键帧依次经过处理,获得经过中心化的关键帧序列
    { I cart 1 , I cart 2 , . . . , I cart m } ; ]]>
    针对完成归一化和中心化的二维卡通关键帧序列针对
    每一帧关键帧按照二维卡通动画人物的肢体体征,在二维卡通动画人物的
    头部、四肢、躯干各部分取关键点总计17个,获得该关键帧对应的二维骨骼特
    征表达向量其中和是关键帧第j个关键点
    的x与y坐标;针对二维卡通关键帧序列获得其对应的二维
    骨骼特征表达式X=[X1,X2,…Xm]∈Rm×d,其中每一帧关键帧由对应的二维
    骨骼特征表达向量Xi来表示,d为特征的维度;获得属于不同二维卡通动画人物
    的二维骨骼特征表达式X,形成二维骨骼表达式集合其中变量char
    表示二维卡通动画人物的种类,t表示二维卡通动画人物的数量;将二维骨骼表
    达式集合按照二维卡通人物动作的不同分为r类,从而建立二维卡
    通人物的动作数据库。
    3.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方
    法,其特征在于:所述步骤2)包括:
    对于某个二维卡通动画人物的二维骨骼特征表达式X,按照如下的目标函
    数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W:
    C ( U , V , W ) = min U , V , W 1 2 | | X - UV | | F 2 α Σ ij V ij + β | | W V - Y ~ | | F 2 - - - 2 ]]>
    其中权值α≥0和β≥0为复杂平衡度系数;矩阵U=[u1,u2,…,ud]∈Rm×d
    以它的每个列向量作为风格基向量,矩阵V=[v1,v2,…,vm]T∈Rd×d包含每个风
    格基向量所对应的隐组件,在该目标函数中所要遵循的约束条件是Uij≥0且
    Vij≥0,并且‖ui‖=1;矩阵Y=[y1,y2,…,ym]T∈{0,1}m×r为分类信息真实值矩
    阵,r为分类的数量,其中当Xi属于第l类的时候,那么Yil的值为1,否则为0;
    矩阵为矩阵V=[v1,v2,…,vm]T的重构矩阵,重构过程如下:定义矩阵
    集合为矩阵M的前r个的特征向量,则矩阵为集合
    按照如下定义方式的线性组合:

    其中为线性组合中的非负权值;
    求解最优的U和V的解法需要通过迭代来完成,算法如下:
    1.初始化:初始U0和V0,按照前面的约束条件,这里U0和V0必须保持非负,
    同时‖ui‖=1;
    2.迭代:按照下面的步骤迭代Ut和Vt至收敛:
    a)U′=Ut-ε(UtVt-X)(Vt)T
    b)如果有U′ij<0,那么设置U′ij=0
    c)将‖u′i‖缩放至1,同时设置Ut+1=U′
    d)Vt+1=Vt.*((Ut+1)TX)./((Ut+1)T(Ut+1)Vt+ε)
    e)自增t
    算法中运算符号.*和./分别表示分子间乘法和分子间除法。在通过迭代算法获
    得了最优的V以及对应的重构矩阵以后,通过二次函数求导的方式,获得对应
    的保持基于语义理解的降维矩阵W,公式如下:
    W = V ~ T ( V ~ V ~ T ) - 1 - - - 4 . ]]>
    4.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方
    法,其特征在于:所述步骤3)包括:
    按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char=1,首先
    按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼特征
    表达式Xchar=1,按照步骤2)所述非负风格分解方法获得对应的隐组件Vchar=1;
    将该隐组件,与别的二维骨骼特征表达式Xchar=2按照步骤2)所述非负风格分解
    方法获得的风格基向量Uchar=2进行重合成,形成异构的二维骨骼特征表达式
    X ~ char = 1 = U char = 2 V char = 1 ; ]]>
    获得作为结果的二维骨骼特征表达式后,即获得了前面定义的17个
    关键点在所定义的m帧关键帧序列中坐标位置;利用如下的公式来基于
    m帧关键帧中17个关键点的坐标位置来获得在完整的n帧序列中17个关键点
    的坐标位置:
    v i t + 1 = v i t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ V i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 5 ]]>
    v j t + 1 = v j t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ V i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 6 ]]>
    其中和为第i和第j个关键点在第t帧非关键帧中的坐标位置,其中
    t=[1,2,…,(n-m)]为所有的非关键帧的索引值;为第i个关键
    点在第t和第t+1帧非关键帧之间的坐标位移绝对值,同理为第
    j个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值;由此,获得17个
    关键点在完整的n帧序列中的坐标位置;
    采用已有的保持刚性不变的形变方法,以17个关键点作为形变的驱动点,
    利用这些关键点在完整的n帧序列中的坐标位置作为形变的驱动源,进行形变
    从而获得基于非负风格分解的风格化二维卡通。

    说明书

    基于异构特征降维的二维角色卡通生成方法

    技术领域

    本发明涉及一种基于非负风格分解的风格化二维卡通生成方法,具体涉及
    一种二维骨骼特征表达式的非负风格分解及其解法以及二维卡通动画的风格化
    生成方法,属于计算机动画和计算机机器学习的综合领域。

    背景技术

    随着关于计算机二维卡通动画和机器学习的研究在工业、娱乐领域内的大
    量投入应用,基于已有二维卡通角色视频数据重用的二维卡通生成方法逐渐成
    为了一个重要的、综合的研究热点。尽管目前关于这个领域的研究还是处于探
    索未成形的阶段,但是已经产生了一些非常具有参考价值的方法。

    研究者已经开发了一些二维卡通数据重用的合成方法。比如,发表在2004
    年会议SIGGRAPH上的论文《Cartoon?textures》所提出的方法是,使用者必须
    首先提供所需要合成的新的卡通序列中的首帧和尾帧,整个合成的过程通过对
    已有卡通帧的计算重排获得,用户无法按照自己的需求控制合成的结果。发表
    在2002年会议SIGGRAPH上的论文《Motion?texture:a?two-level?statistical?model
    for?character?motion?synthesis》,研究者成功地通过重用三维运动数据来获得新的
    三维卡通运动。以上的方法激发了我们开发一种基于二维角色卡通数据重用的
    生成方法。

    目前已经有一些比较成熟的二维和三维动作风格化分解以及迁移的方法,
    这些方法代表了目前比较流行的风格化生成技术。比如,发表在2000年会议
    SIGGRAPH上的论文《Style?machines》,利用隐马尔科夫模型(HMM)来生成
    高度非线性的某些常规动作,比如该方法以舞蹈动作作为例子,通过生成一系
    列具有各种差异性风格的舞蹈动作展现了方法的有效性。发表在期刊ACM?ToG
    上的论文《Style?translation?for?human?motion》,作者建立了线性时间可变(LTI)
    模型来描述所输入的各种动作以及输出的动作风格,并提出了迭代式运动扭曲
    (IMW)算法来对齐不同的动作。前面所述的这些方法,主要是用来针对真实
    环境下利用三维运动捕获技术所获得的真实三维动作的,不适用于本方法所针
    对的具有夸张特性的二维卡通动作数据。

    发表在2002年会议SIGGRAPH上的论文《Turning?to?the?masters:motion
    capturing?cartoons》,提出了一种构建三维真实动作和夸张的卡通风格之间联系的
    方法;作者通过将关键帧插值技术与仿射变换技术进行结合,将具有非刚性特
    性的形体变化进行捕获,同时重定向到目标形体上;但是,该项技术依然需要
    用户自己手工定义若干帧变化形体的关键帧。类似地,发表在2003年会议SCA
    上的论文《Stylizing?motion?with?drawings》提出了一种将三维捕获数据赋以夸张
    化的风格生成机制,这种生成机制中包括了骨骼和几何的变换,从而形成三维
    的动画效果。

    在最近这些年,利用非负矩阵分解方法结合L-1范式来获得特征表达式的有
    效分解也得到了研究者的重视,形成了一些比较有代表性的方法。在期刊Neural
    Computation上发表的论文《Separating?style?and?content?with?bilinear?models》,提
    出了一种将通过面部表情数据捕获技术所获取的面部运动,通过双线性模型
    (BM)分解成动作本体以及动作风格的方法。发表在2009年会议SCA上的论
    文《Style?learning?and?transferring?for?facial?animation?editing》,作者提出了基于限
    制的高斯过程模型(CBGPM)来学习面部运动的编辑风格。以上针对面部运动
    风格矩阵分解的方法,都是通过深入研究如光照、朝向、肤色等变换因素对于
    风格的影响来进行学习的。发表在2007年会议ICML上的论文《Multifactor
    gaussian?process?models?for?style-content?separation》提出了一种基于多模态高斯
    过程模型(MGPM)来学习三维真实人物模型的周期性运动及其风格;实际上,
    这种多模态高斯过程模型,本质上是高斯过程隐变量模型的一种变化形式。发
    表在2009年会议SIGGRAPH上的论文《Face?poser:Interactive?modeling?of?3d
    facial?expressions?using?facial?priors》,作者提出并详述了基于核函数的非线性分
    解方法,并将人脸的表情化运动的分解成为动作实体以及表情表征两个互相影
    响的因素。

    发明内容

    本发明的目的是为了克服目前风格化生成中基于本体和风格分离的二维卡
    通合成方法的局限性,提供了一种基于非负风格分解的风格化二维卡通生成方
    法。

    基于非负风格分解的风格化二维卡通生成方法的步骤如下:

    1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作
    的视频段,对视频段经过视频图像技术处理后,利用自定义的关键帧提取方法
    提取卡通人物的二维卡通关键帧序列,并对二维卡通关键帧序列进行归一化与
    中心化处理;对经过处理的二维卡通关键帧序列利用自定义的特征提取方法,
    获得对应的二维骨骼特征表达式;获得几个二维卡通动画人物对应的二维骨骼
    特征表达式,并对这些二维骨骼特征表达式按照自定义的动作类别进行分类,
    建立二维卡通人物的动作数据库;

    2)针对某个二维卡通动画人物的二维骨骼特征表达式,利用自定义的非负
    风格分解的目标函数及其解法,通过迭代的求取方法来获得该二维骨骼特征表
    达式对应的风格基向量和隐组件;利用已获得的隐组件,通过二次函数求导的
    方式,获得对应的保持基于语义理解的降维矩阵;

    3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物,从二维
    卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式,用非负风格分
    解方法获得对应的隐组件,并与别的二维骨骼特征表达式用非负风格分解方法
    获得的风格基向量进行重合成,形成异构的二维骨骼特征表达式;用异构的二
    维骨骼特征表达式按照自定义的特征点驱动方法,通过关键点形变技术来获得
    某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风
    格化二维卡通。

    所述步骤1)包括:

    从某个二维卡通动画人物的二维卡通视频中,提取包含卡通人物完整动作
    的视频段Vcart,对Vcart进行傅里叶变化降噪处理,消除背景以及视频噪声对于
    后面处理的影响;从Vcart中渲染出来的视频帧,利用Hausdorff距离算法获得卡
    通视频序列中帧与帧之间的距离矩阵Mcart=Rn×n,其中n为Vcart所渲染出来的
    帧数量,表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离,矩阵Mcart
    中的每一项分别乘以系数来完成Hausdorff距离的归一化处
    理,其中的dcart_max为矩阵Mcart中的最大值,在获得经过归一化的Mcart之后,按
    照设定的阈值来过滤矩阵中的对角值,分别将得到的所对应的
    第i帧作为关键帧,由此得到二维卡通关键帧序列其中m
    为关键帧的数量;

    针对已经获得的二维卡通关键帧序列定义Ai为每一帧
    关键帧对应的包含有二维卡通动画人物完整轮廓的区域面积,定义常量Ca,
    对于二维卡通关键帧序列中的每一帧关键帧经过如下的公式来获得归一化
    大小至Ca的关键?。?br />

    I cart i = I cart i × A i C a - - - 1 ]]>

    通过公式1获得经过归一化的关键帧序列针对序列中
    的每一帧关键帧利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动
    画人物完整的轮廓边缘,在轮廓边缘随机取样t个点,计算该t个点的几何坐标
    中心以及该几何坐标中心与图像中心点之间的坐标位移
    将Ai按照坐标位移进行平移,从而完成的中心
    化处理,对关键帧依次经过处理,获得经过中心化的关键帧序列
    { I cart 1 , I cart 2 , . . . , I cart m } ; ]]>

    针对完成归一化和中心化的二维卡通关键帧序列针对
    每一帧关键帧按照二维卡通动画人物的肢体体征,在二维卡通动画人物的
    头部、四肢、躯干各部分取关键点总计17个,获得该关键帧对应的二维骨骼特
    征表达向量其中和是关键帧第j个关键点
    的x与y坐标;针对二维卡通关键帧序列获得其对应的二维
    骨骼特征表达式X=[X1,X2,…Xm]∈Rm×d,其中每一帧关键帧由对应的二维
    骨骼特征表达向量Xi来表示,d为特征的维度;获得属于不同二维卡通动画人物
    的二维骨骼特征表达式X,形成二维骨骼表达式集合其中变量char
    表示二维卡通动画人物的种类,t表示二维卡通动画人物的数量;将二维骨骼表
    达式集合按照二维卡通人物动作的不同分为r类,从而建立二维卡
    通人物的动作数据库。

    所述的步骤2)包括:

    对于某个二维卡通动画人物的二维骨骼特征表达式X,按照如下的目标函
    数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W:

    C ( U , V , W ) = min U , V , W 1 2 | | X - UV | | F 2 α Σ ij V ij + β | | W V ~ - Y | | F 2 - - - 2 ]]>

    其中权值α≥0和β≥0为复杂平衡度系数;矩阵U=[u1,u2,…,ud]∈Rm×d
    以它的每个列向量作为风格基向量,矩阵V=[v1,v2,…,vm]T∈Rd×d包含每个风
    格基向量所对应的隐组件,在该目标函数中所要遵循的约束条件是Uij≥0且
    Vij≥0,并且‖ui‖=1;矩阵Y=[y1,y2,…,ym]T∈{0,1}m×r为分类信息真实值矩
    阵,r为分类的数量,其中当Xi属于第l类的时候,那么Yil的值为1,否则为0;
    矩阵为矩阵V=[v1,v2,…,vm]T的重构矩阵,重构过程如下:定义矩阵
    集合为矩阵M的前r个的特征向量,则矩阵为集合
    按照如下定义方式的线性组合:


    其中为线性组合中的非负权值;

    求解最优的U和V的解法需要通过迭代来完成,算法如下:

    1.初始化:初始U0和V0,按照前面的约束条件,这里U0和V0必须保持非负,
    同时‖ui‖=1;

    2.迭代:按照下面的步骤迭代Ut和Vt至收敛:

    a)U′=Ut-ε(UtVt-x)(Vt)T

    b)如果有U′ij<0,那么设置U′ij=0

    c)将‖u′i‖缩放至1,同时设置Ut+1=U′

    d)Vt+1=Vt.*((Ut+1)TX)./((Ut+1)T(Ut+1)Vt+ε)

    e)自增t

    算法中运算符号.*和./分别表示分子间乘法和分子间除法。在通过迭代算法
    获得了最优的V以及对应的重构矩阵以后,通过二次函数求导的方式,获得对
    应的保持基于语义理解的降维矩阵W,公式如下:

    W = Y V ~ T ( V ~ V ~ T ) - 1 - - - 4 . ]]>

    所述的步骤3)包括:

    按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char=1,首
    先按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼特
    征表达式Xchar=1,按照步骤2)所述非负风格分解方法获得对应的隐组件Vchar=1;
    将该隐组件,与别的二维骨骼特征表达式Xchar=2按照步骤2)所述非负风格分解
    方法获得的风格基向量Uchar=2进行重合成,形成异构的二维骨骼特征表达式
    X ~ char = 1 = U char = 2 V char = 1 ; ]]>

    获得作为结果的二维骨骼特征表达式后,即获得了前面定义的17个
    关键点在所定义的m帧关键帧序列中坐标位置;利用如下的公式来基于
    m帧关键帧中17个关键点的坐标位置来获得在完整的n帧序列中17个关键点
    的坐标位置:

    v i t + 1 = v i t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 5 ]]>

    v j t + 1 = v j t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 6 ]]>

    其中和为第i和第j个关键点在第t帧非关键帧中的坐标位置,其中
    t=[1,2,…,(n-m)]为所有的非关键帧的索引值;为第i个关键
    点在第t和第t+1帧非关键帧之间的坐标位移绝对值,同理为第
    j个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值;由此,获得17个
    关键点在完整的n帧序列中的坐标位置;

    采用已有的保持刚性不变的形变方法,以17个关键点作为形变的驱动点,
    利用这些关键点在完整的n帧序列中的坐标位置作为形变的驱动源,进行形变
    从而获得基于非负风格分解的风格化二维卡通。

    本发明通过重用已经存在的、丰富的二维卡通动画视频,降低了传统方法
    通过机器学习模型分解动作的风格与本体因素带来的实施困难;同时通过提出
    基于非负风格分解的风格化二维卡通生成的方法,解决了传统方法只能针对三
    维真实运动分解带来的适用性狭窄的问题,提高了准确性、扩大了应用的范围。

    附图说明

    下面结合附图和具体实施例对本发明作进一步的说明。

    图1为本发明所述的方法系统流程图。

    具体实施方式

    基于非负风格分解的风格化二维卡通生成方法的步骤如下:

    1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作
    的视频段,对视频段经过视频图像技术处理后,利用自定义的关键帧提取方法
    提取卡通人物的二维卡通关键帧序列,并对二维卡通关键帧序列进行归一化与
    中心化处理;对经过处理的二维卡通关键帧序列利用自定义的特征提取方法,
    获得对应的二维骨骼特征表达式;获得几个二维卡通动画人物对应的二维骨骼
    特征表达式,并对这些二维骨骼特征表达式按照自定义的动作类别进行分类,
    建立二维卡通人物的动作数据库;

    2)针对某个二维卡通动画人物的二维骨骼特征表达式,利用自定义的非负
    风格分解的目标函数及其解法,通过迭代的求取方法来获得该二维骨骼特征表
    达式对应的风格基向量和隐组件;利用已获得的隐组件,通过二次函数求导的
    方式,获得对应的保持基于语义理解的降维矩阵;

    3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物,从二维
    卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式,用非负风格分
    解方法获得对应的隐组件,并与别的二维骨骼特征表达式用非负风格分解方法
    获得的风格基向量进行重合成,形成异构的二维骨骼特征表达式;用异构的二
    维骨骼特征表达式按照自定义的特征点驱动方法,通过关键点形变技术来获得
    某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风
    格化二维卡通。

    所述步骤1)包括:

    从某个二维卡通动画人物的二维卡通视频中,提取包含卡通人物完整动作
    的视频段Vcart,对Vcart进行傅里叶变化降噪处理,消除背景以及视频噪声对于
    后面处理的影响;从Vcart中渲染出来的视频帧,利用Hausdorff距离算法获得卡
    通视频序列中帧与帧之间的距离矩阵Mcart=Rn×n,其中n为Vcart所渲染出来的
    帧数量,表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离,矩阵Mcart
    中的每一项分别乘以系数来完成Hausdorff距离的归一化处
    理,其中的dcart_max为矩阵Mcart中的最大值,在获得经过归一化的Mcart之后,按
    照设定的阈值来过滤矩阵中的对角值,分别将得到的所对应的
    第i帧作为关键帧,由此得到二维卡通关键帧序列其中m
    为关键帧的数量;

    针对已经获得的二维卡通关键帧序列定义Ai为每一帧
    关键帧对应的包含有二维卡通动画人物完整轮廓的区域面积,定义常量Ca,
    对于二维卡通关键帧序列中的每一帧关键帧经过如下的公式来获得归一化
    大小至Ca的关键?。?br />

    I cart i = I cart i × A i C a - - - 1 ]]>

    通过公式1获得经过归一化的关键帧序列针对序列中
    的每一帧关键帧利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动
    画人物完整的轮廓边缘,在轮廓边缘随机取样t个点,计算该t个点的几何坐标
    中心以及该几何坐标中心与图像中心点之间的坐标位移
    将Ai按照坐标位移进行平移,从而完成的中心
    化处理,对关键帧依次经过处理,获得经过中心化的关键帧序列
    { I cart 1 , I cart 2 , . . . , I cart m } ; ]]>

    针对完成归一化和中心化的二维卡通关键帧序列针对
    每一帧关键帧按照二维卡通动画人物的肢体体征,在二维卡通动画人物的
    头部、四肢、躯干各部分取关键点总计17个,获得该关键帧对应的二维骨骼特
    征表达向量其中和是关键帧第j个关键点
    的x与y坐标;针对二维卡通关键帧序列获得其对应的二维
    骨骼特征表达式X=[X1,X2,…Xm]∈Rm×d,其中每一帧关键帧由对应的二维
    骨骼特征表达向量Xi来表示,d为特征的维度;获得属于不同二维卡通动画人物
    的二维骨骼特征表达式X,形成二维骨骼表达式集合其中变量char
    表示二维卡通动画人物的种类,t表示二维卡通动画人物的数量;将二维骨骼表
    达式集合按照二维卡通人物动作的不同分为r类,从而建立二维卡
    通人物的动作数据库。

    所述的步骤2)包括:

    对于某个二维卡通动画人物的二维骨骼特征表达式X,按照如下的目标函
    数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W:

    C ( U , V , W ) = min U , V , W 1 2 | | X - UV | | F 2 + α Σ ij V ij + β | | W V ~ - Y | | F 2 - - - 2 ]]>

    其中权值α≥0和β≥0为复杂平衡度系数;矩阵U=[u1,u2,…,ud]∈Rm×d
    以它的每个列向量作为风格基向量,矩阵V=[v1,v2,…,vm]T∈Rd×d包含每个风
    格基向量所对应的隐组件,在该目标函数中所要遵循的约束条件是Uij≥0且
    Vij≥0,并且‖ui‖=1;矩阵Y=[y1,y2,…,ym]T∈{0,1}m×r为分类信息真实值矩
    阵,r为分类的数量,其中当Xi属于第l类的时候,那么Yil的值为1,否则为0;

    矩阵为矩阵V=[v1,v2,…,vm]T的重构矩阵,重构过程如下:定义矩阵
    集合为矩阵M的前r个的特征向量,则矩阵为集合
    按照如下定义方式的线性组合:


    其中为线性组合中的非负权值;

    求解最优的U和V的解法需要通过迭代来完成,算法如下:

    1.初始化:初始U0和V0,按照前面的约束条件,这里U0和V0必须保持非
    负,同时‖ui‖=1;

    2.迭代:按照下面的步骤迭代Ut和Vt至收敛:

    a)U′=Ut-ε(UtVt-x)(Vt)T

    b)如果有U′ij<0,那么设置U′ij=0

    c)将‖u′i‖缩放至1,同时设置Ut+1=U′

    d)Vt+1=Vt.*((Ut+1)TX)./((Ut+1)T(Ut+1)Vt+ε)

    e)自增t

    算法中运算符号.*和./分别表示分子间乘法和分子间除法。在通过迭代算法
    获得了最优的V以及对应的重构矩阵以后,通过二次函数求导的方式,获得对
    应的保持基于语义理解的降维矩阵W,公式如下:

    W = Y V ~ T ( V ~ V ~ T ) - 1 - - - 4 . ]]>

    所述的步骤3)包括:

    按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char=1,首先
    按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼特征
    表达式Xchar=1,按照步骤2)所述非负风格分解方法获得对应的隐组件Vchar=1;
    将该隐组件,与别的二维骨骼特征表达式Xchar=2按照步骤2)所述非负风格分解
    方法获得的风格基向量Uchar=2进行重合成,形成异构的二维骨骼特征表达式
    X ~ char = 1 = U char = 2 V char = 1 ; ]]>

    获得作为结果的二维骨骼特征表达式后,即获得了前面定义的17个
    关键点在所定义的m帧关键帧序列中坐标位置;利用如下的公式来基于
    m帧关键帧中17个关键点的坐标位置来获得在完整的n帧序列中17个关键点
    的坐标位置:

    v i t + 1 = v i t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 5 ]]>

    v j t + 1 = v j t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 6 ]]>

    其中和为第i和第j个关键点在第t帧非关键帧中的坐标位置,其中
    t=[1,2,…,(n-m)]为所有的非关键帧的索引值;为第i个关键
    点在第t和第t+1帧非关键帧之间的坐标位移绝对值,同理为第
    j个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值;由此,获得17个
    关键点在完整的n帧序列中的坐标位置;

    采用已有的保持刚性不变的形变方法,以17个关键点作为形变的驱动点,
    利用这些关键点在完整的n帧序列中的坐标位置作为形变的驱动源,进行形变
    从而获得基于非负风格分解的风格化二维卡通。

    实施例

    1)图1展示了基于非负风格分解的风格化二维卡通生成方法的系统流程图。
    首先,从某个二维卡通动画人物的二维卡通视频中,如《孙悟空大闹天宫》中
    的动画视频中,提取包含卡通人物完整动作的视频段Vcart。在本实施例中,视频
    段Vcart的时间长度为6分22秒,每秒20帧,共计7640帧,每一帧的分辨率为
    640*488像素。对Vcart进行傅里叶变化降噪处理,消除背景以及视频噪声对于后
    面处理的影响;从Vcart中渲染出来的视频帧,利用Hausdorff距离算法获得卡通
    视频序列中帧与帧之间的距离矩阵Mcart=Rn×n,其中n为Vcart所渲染出来的帧
    数量,在本实施例中中为7640;表示卡通视频帧中第i帧和第j帧之间的
    Hausdorff距离,矩阵Mcart中的每一项分别乘以系数来完成
    Hausdorff距离的归一化处理,其中的dcart_max为矩阵Mcart中的最大值,在获得经
    过归一化的Mcart之后,按照设定的阈值来过滤矩阵中的对角值,阈值在本
    实施例中经过试验比对发现,设为为最优值;分别将得到的
    所对应的第i帧作为关键帧,由此得到二维卡通关键帧序列
    其中m为关键帧的数量,在本实施例中m=1029;

    针对已经获得的二维卡通关键帧序列定义Ai为每一帧
    关键帧对应的包含有二维卡通动画人物完整轮廓的区域面积,定义常量Ca;
    根据本实施例中对于卡通人物孙悟空的大小比例进行试验,发现平均在每帧中
    将孙悟空所占图像大小的比例控制在50%取得处理速度与结果精度之间的平
    衡,因此在这里设常量Ca=329;对于二维卡通关键帧序列中的每一帧关键帧
    经过如下的公式来获得归一化大小至Ca的关键?。?br />

    I cart i = I cart i × A i C a - - - 1 ]]>

    通过公式1获得经过归一化的关键帧序列针对序列中
    的每一帧关键帧利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动
    画人物完整的轮廓边缘,在轮廓边缘随机取样t=200个点,计算该200个点的几
    何坐标中心以及该几何坐标中心与图像中心点之间的坐标位移
    将Ai按照坐标位移进行平移,从而完成的中心
    化处理。对关键帧依次经过处理,获得经过中心化的关键帧序列
    { I cart 1 , I cart 2 , . . . , I cart m } ; ]]>

    针对完成归一化和中心化的二维卡通关键帧序列针对
    每一帧关键帧按照二维卡通动画人物的肢体体征,在二维卡通动画人物的
    头部、四肢、躯干各部分取关键点总计17个,获得该关键帧对应的二维骨骼特
    征表达向量其中和是关键帧第j个关键点
    的x与y坐标;针对二维卡通关键帧序列获得其对应的二维
    骨骼特征表达式X=[X1,X2,…Xm]∈Rm×d,其中每一帧关键帧由对应的二维
    骨骼特征表达向量Xi来表示,d为特征的维度,在本实施例中,d=34为两倍于
    关键点的个数;获得属于不同二维卡通动画人物的二维骨骼特征表达式X,形
    成二维骨骼表达式集合其中变量char表示二维卡通动画人物的种
    类,t表示二维卡通动画人物的数量;在本实施例中,分别从二维卡通动画片《孙
    悟空大闹天宫》,《哪吒闹?!?,《宝莲灯》中提取二维卡通动画角色孙悟空、哪
    吒以及二郎神所对应的二维骨骼表达式集合{Xchar=孙悟空,Xchar=哪吒,Xchar=二郎神},因
    此t=3;将二维骨骼表达式集合按照二维卡通人物动作的不同分为r
    类,从而建立二维卡通人物的动作数据库;在本实施例中,根据动作的语义及
    形态差别,将二维卡通动画中的常见动作分为了r=9种,其中包含“走”,“跑”,
    “跳”,“伸展”等基本动作。

    2)对于某个二维卡通动画人物的二维骨骼特征表达式X,按照如下的目标
    函数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W:

    C ( U , V , W ) = min U , V , W 1 2 | | X - UV | | F 2 + α Σ ij V ij + β | | W V ~ - Y | | F 2 - - - 2 ]]>

    其中权值α≥0和β≥0为复杂平衡度系数;矩阵U=[u1,u2,…,ud]∈Rm×d
    以它的每个列向量作为风格基向量,矩阵V=[v1,v2,…,vm]T∈Rd×d包含每个风
    格基向量所对应的隐组件,在该目标函数中所要遵循的约束条件是Uij≥0且
    Vij≥0,并且‖ui‖=1;矩阵Y=[y1,y2,…,ym]T∈{0,1}m×r为分类信息真实值矩
    阵,r为分类的数量,其中当Xi属于第l类的时候,那么Yil的值为1,否则为0;

    矩阵为矩阵V=[v1,v2,…,vm]T的重构矩阵,重构过程如下:定义矩阵
    集合为矩阵M的前r个的特征向量,则矩阵为集合
    按照如下定义方式的线性组合:


    其中为线性组合中的非负权值;在本实施例中,权值组合
    的具体取值通过多次实验比对获得,根据二维卡通动画角色的不
    同,具体取值会有调整来达到最优的效果。

    求解最优的U和V的解法需要通过迭代来完成,算法如下:

    1.初始化:初始U0和V0,按照前面的约束条件,这里U0和V0必须保持非
    负,同时‖ui‖=1。

    2.迭代:按照下面的步骤迭代Ut和Vt至收敛:

    a)U′=Ut-ε(UtVt-X)(Vt)T

    b)如果有U′ij<0,那么设置U′ij=0

    c)将‖u′i‖缩放至1,同时设置Ut+1=U′

    d)Vt+1=Vt.*((Ut+1)TX)./((Ut+1)T(Ut+1)Vt+ε)

    e)自增t

    算法中运算符号.*和./分别表示分子间乘法和分子间除法。在通过迭代算法
    获得了最优的V以及对应的重构矩阵以后,通过二次函数求导的方式,获得对
    应的保持基于语义理解的降维矩阵W,公式如下:

    W = Y V ~ T ( V ~ V ~ T ) - 1 - - - 4 ]]>

    3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char=1,
    首先按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼
    特征表达式Xchar=1,按照步骤2)所述非负风格分解方法获得对应的隐组件
    Vchar=1;将该隐组件,与别的二维骨骼特征表达式Xchar=2按照步骤2)所述非
    负风格分解方法获得的风格基向量Uchar=2进行重合成,形成异构的二维骨骼特
    征表达式

    获得作为结果的二维骨骼特征表达式后,即获得了前面定义的17个
    关键点在所定义的m帧关键帧序列中坐标位置;利用如下的公式来基于
    m帧关键帧中17个关键点的坐标位置来获得在完整的n帧序列中17个关键点
    的坐标位置:

    v i t + 1 = v i t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 5 ]]>

    v j t + 1 = v j t + | | v i 1 - v i t | | | | v i 1 - v i + 1 1 | | Δ v i + | | v i + 1 1 - v i + 1 t | | | | v i 1 - v i + 1 1 | | Δ v i + 1 - - - 6 ]]>

    其中和为第i和第j个关键点在第t帧非关键帧中的坐标位置,其中
    t=[1,2,…,(n-m)]为所有的非关键帧的索引值;为第i个关键
    点在第t和第t+1帧非关键帧之间的坐标位移绝对值,同理为第
    j个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值;由此,获得17个
    关键点在完整的n帧序列中的坐标位置;

    采用已有的保持刚性不变(As-rigid-as-possible)的形变方法;在本实施例
    中,首先由动画师手绘第一帧中所要生成的二维卡通动画人物的初始形态,然
    后对这个初始形态进行三角化面片处理,接着在已完成的面片处理的形态上初
    始地制定17个关键点的位置;以17个关键点作为形变的驱动点,利用这些关
    键点在完整的n帧序列中的坐标位置作为形变的驱动源,进行形变从而获得基
    于非负风格分解的风格化二维卡通。

    关于本文
    本文标题:基于异构特征降维的二维角色卡通生成方法.pdf
    链接地址://www.4mum.com.cn/p-5870825.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 大乐透近200期开奖号码 经典纯人工计划软件app 腾讯分分稳赚之技巧方案和做号技巧 200注平刷稳赚方案 逆袭彩票计划软件官网 幸运飞艇6码计算方法 红马计划软件吉林快3 时时彩两千稳赚五百 秒速时时官方金祥 体彩pk10 快3三不同号投注技巧 快三自动计划软件下载 七星彩最好群 复式三中三中奖公式表 北京pk10走势图彩图 pk10赛车开奖视频