• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 35
    • 下载费用:30 金币  

    重庆时时彩号码连线图: 图像处理装置、图像捕获装置、图像处理方法及记录媒介.pdf

    关 键 词:
    图像 处理 装置 捕获 方法 记录 媒介
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410124231.3

    申请日:

    2008.09.28

    公开号:

    CN103971090A

    公开日:

    2014.08.06

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06K 9/00申请日:20080928|||公开
    IPC分类号: G06K9/00; H04N5/232; H04N5/77 主分类号: G06K9/00
    申请人: 富士胶片株式会社
    发明人: 中村友和
    地址: 日本东京
    优先权: 2007.09.28 JP 2007-256711
    专利代理机构: 中原信达知识产权代理有限责任公司 11219 代理人: 梁晓广;关兆辉
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410124231.3

    授权公告号:

    ||||||

    法律状态公告日:

    2017.09.19|||2014.09.03|||2014.08.06

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    图像处理装置、图像捕获装置、图像处理方法及记录媒介?;袢“凑樟绞剿痘竦耐枷癫⒍云浣辛偈贝娲?。提取所获取的帧图像中的脸部的特征点。计算在当前帧中的脸部(脸部部分)的特征点与在之前帧的特征点之间的距离总和(表情变化量)。提取其中表情变化量最大的目标帧图像以及其中表情变化量最大的目标帧图像之前和之后的m个帧图像以作为最佳图像候选者。从最佳图像候选者中提取最佳拍摄图像并将其存储到存储媒介中。因此,可有效地从按照连续方式所捕获的图像当中仅提取包含用户期望记录的脸部的图像(最佳拍摄图像)并对其进行存储。

    权利要求书

    权利要求书
    1.  一种图像处理装置,包括:
    图像获取设备,所述图像获取设备用于顺序地获取按照连续方式所捕获的图像;
    脸部检测设备,所述脸部检测设备用于对所获取的图像中的脸部进行检测;
    表情变化量计算设备,所述表情变化量计算设备用于对每个目标帧计算表情变化量,所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化,所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取设备,所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及
    存储设备,所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    2.  一种图像处理装置,包括:
    图像获取设备,所述图像获取设备用于顺序地获取按照连续方式所捕获的图像;
    脸部检测设备,所述脸部检测设备用于对所获取图像中的脸部进行检测;
    表情变化量计算设备,所述表情变化量计算设备用于对每个目标帧计算表情变化量,所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化,所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取设备,所述提取设备用于提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及
    存储设备,所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    3.  根据权利要求2所述的图像处理装置,其中
    所述参考模板是根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置而创建的。

    4.  根据权利要求3所述的图像处理装置,其中
    预先创建与人的属性相对应的多个参考模板并且将所述多个参考模板存储在存储器中,以及
    从所述存储器读取并使用与通过所述图像获取设备获取的图像中的人的属性相对应的参考模板。

    5.  根据权利要求1所述的图像处理装置,还包括:
    典型脸部选择设备,所述典型脸部选择设备用于当所述脸部检测设备检测到多个脸部时,根据以亮度、位置、大小以及脸部清晰度中的至少一个为条件来选择典型脸部以作为所述目标帧的图像中检测到的脸部。

    6.  根据权利要求1所述的图像处理装置,其中
    所述表情变化量检测设备包括:
    特征点提取设备,所述特征点提取设备用于提取与每个脸部局部相对应的多个特征点;
    标准化设备,所述标准化设备用于使所提取的特征点的坐标位置标准化;以及
    计算设备,所述计算设备用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者标准化坐标位置之间的距离的平方和来为两个比较的脸部计算表情变化量。

    7.  根据权利要求1所述的图像处理装置,还包括:
    最佳图像候选者提取设备,所述最佳图像候选者提取设备用于提取所提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者,所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一 个;以及
    最佳图像选择设备,所述最佳图像选择设备用于从所提取的最佳图像候选者组中选择最佳图像,其中
    所述存储设备将所选择的最佳图像存储在所述存储媒介中。

    8.  根据权利要求7所述的图像处理装置,其中
    所述最佳图像选择设备包括:
    下述至少一个:
    第一估计设备,所述第一估计设备用于将所述最佳图像候选者的脸部与表示预定表情的表情模板进行比较,并且根据比较结果而判给每个最佳图像候选者分数;
    第二估计设备,所述第二估计设备用于对所述最佳图像候选者中的脸部方向进行检测,并且根据所检测到的脸部方向判给每个最佳图像候选者分数;以及
    第三估计设备,所述第三估计设备用于对所述最佳图像候选者中的对象眼睛的方向进行检测,并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数;以及
    选择设备,所述选择设备用于根据由所述估计设备中的至少一个所判给的一个或多个分数来从所述最佳图像候选者当中选择最佳图像。

    9.  根据权利要求8所述的图像处理装置,其中
    所述选择设备选择具有最高分数的图像以作为最佳图像,或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由所述表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。

    10.  一种图像捕获装置,包括:
    图像捕获设备,所述图像捕获设备可操作用于按照连续方式捕获对象的图像;以及
    根据权利要求1所述的图像处理装置,其中
    所述图像获取设备顺序地获取由所述图像捕获设备按照连续方式所捕获的图像。

    11.  根据权利要求10所述的图像捕获装置,还包括:
    图像捕获指示设备;以及
    存储数目设置设备,所述存储数目设置设备用于设置响应所述图像捕获指示设备的单个图像捕获指令而将要存储在存储媒介中的图像的数目,其中
    当所述图像捕获指示设备发出了图像捕获的指令时,重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理,直至已存储的图像数目达到了所设置的要存储的图像的数目。

    12.  根据权利要求11所述的图像处理装置,还包括:
    捕获结束指示设备,其中
    在所述图像捕获指示设备已发出了图像捕获的指令之后,当所述捕获结束指示设备发出捕获结束的指令时,在已存储的图像数目达到所设置的要存储的图像的数目之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。

    13.  根据权利要求10所述的图像处理装置,还包括:
    图像捕获指示设备,其中
    当所述图像捕获指示设备发出图像捕获的指令时,重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理,直至所述存储媒介中没有剩余空间。

    14.  根据权利要求13所述的图像处理装置,还包括:
    捕获结束指示设备,其中
    在所述图像捕获指示设备已发出了图像捕获的指令之后,当所述捕获结束指示设备发出捕获结束的指令时,在所述存储媒介中没有剩余空间之前结束所述图像捕获设备的图像捕获操作以及所述图像处理 装置的图像处理。

    15.  根据权利要求10所述的图像捕获装置,还包括:
    声音产生设备,所述声音产生设备在每次将图像存储在所述存储媒介中时产生声音以通知用户存储定时。

    16.  根据权利要求10的图像捕获装置,还包括:
    图像显示设备,所述图像显示设备用于显示由所述图像捕获设备按照连续方式所捕获的图像;以及
    显示控制设备,所述显示控制设备用于使所述图像显示设备将最近存储在所述存储媒介上的一个或多个图像显示为尺寸减小的图像,所述尺寸减小的图像具有小于所述图像显示设备的整个显示区的面积。

    17.  根据权利要求10所述的图像处理装置,还包括:
    显示设备,所述显示设备用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目,每当将图像存储在所述存储媒介中时更新所述已存储图像的当前数目。

    18.  根据权利要求10所述的图像处理装置,还包括:
    显示设备,所述显示设备显示每当将图像存储在所述存储媒介中时所更新的所述已存储图像的当前数目,并且至少当存储在所述存储媒介上的图像数目接近可储存在所述存储媒介中的图像的最大数目时,改变所述已存储图像的当前数目的显示形式。

    19.  一种图像处理方法,包括步骤:
    顺序地获取按照连续方式所捕获的图像;
    对所获取图像中的脸部进行检测;
    对每个目标帧计算表情变化量,所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部 之间的表情的变化,所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及
    将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    20.  一种图像处理方法,包括步骤:
    顺序地获取按照连续方式所捕获的图像;
    对所获取的图像中的脸部进行检测;
    对每个目标帧计算表情变化量,所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化,所述目标帧可以是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及
    将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    21.  根据权利要求19所述的图像处理方法,进一步包括步骤:
    提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者,所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个;以及
    从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。

    22.  一种存储图像处理程序的记录媒介,所述图像处理程序使计算机实现下述功能:
    顺序地获取按照连续方式所捕获的图像;
    对所述获取的图像中的脸部进行检测;
    计算每个目标帧的表情变化量,所述表情变化量表示在当前目标 帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化,所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及
    将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    23.  一种存储图像处理程序的记录媒介,所述图像处理程序使计算机实现下述功能:
    顺序地获取按照连续方式所捕获的图像;
    对所获取的图像中的脸部进行检测;
    对每个目标帧计算表情变化量,所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化,所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的??;
    提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及
    将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

    24.  根据权利要求22所述的记录媒介,所述图像处理程序进一步使计算机实现下述功能:
    提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者,所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个;以及
    从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。

    说明书

    说明书图像处理装置、图像捕获装置、图像处理方法及记录媒介
    本申请是申请日为2008年9月28日、申请号为200810168154.6、发明名称为“图像处理装置、图像捕获装置、图像处理方法及记录媒介”的发明专利申请的分案申请。
    技术领域
    本发明涉及一种图像处理装置、图像捕获装置、图像处理方法以及图像处理程序,并且尤其是涉及一种用于存储最佳拍摄图像的技术。
    背景技术
    在现有技术中提出了一种脸部图像处理方法。该方法包括:连续地输入包括有脸部图像的人的图像、从该图像判断对象脸部的状态(例如瞳孔的状态)、并且自动选择包括有与用户期望相匹配的适当脸部图像(日本专利申请特开No.2000-259833)。该方法可,例如通过在某个时间长度将照相机指向对象而获得包括其中对象睁开眼睛的适当脸部图像的图像。
    在现有技术中还提出了一种图像处理装置。所提粗的图像处理装置找到包含在输入图像之中的脸部的预定局部(与眼、嘴、以及鼻子相对应)中的特征点,并且找到预定局部的特征量(例如眼睛(特性点)的终端与嘴的终端(特性点)之间的距离)。图像处理装置还找到包含预定脸部表情的脸的另一图像中的预定局部的特征量。图像处理装置进一步计算对于每个预定局部而言输入图像的特征量与其他图像的特征量之间的差,并且根据该差来计算用于每个预定局部的分数。通过将为输入图像所计算的分数的分布与为各种脸部表情的脸中的预定局部所计算的分数的巳知分布进行比较,图像处理装置判断在输入图像的脸上是哪种脸部表情(日本专利申请特开No.2005-56388)。
    此外,根据日本专利申请特开No.2005-56388的图像捕获装置,当用户希望捕获包括有期望脸部表情(诸如笑)的图像时,捕获包括该脸部的时间序列图像,并且将为每个图像所计算的分数的分布与为笑脸中的预定局部所计算的分数的分布进行比较。通过仅存储具有最接近笑脸分布的分布的图像,图像捕获设备可存储包括期望表情的图像。
    发明内容
    然而,日本专利申请特开No.2000-259833的发明的问题在于因为判断连续输入图像的每个图像是否包括用户期望的适当脸部图像(例如其中对象眼睛睁开的图像),因此需要大量图像处理。
    另外,日本专利申请特开No.2005-56388的发明也具有相似问题,该问题在于因为图像处理装置判断图像序列的每个图像中的脸部表情,因此需要大量图像处理。
    此外,日本专利申请特开No.2000-259833和No.2005-56388均具有进一步的问题,该问题在于如果连续地输入包含适当脸部图像或者期望表情的脸部图像的图像,那么存储所有输入图像(例如包含具有相同表情的脸部的同样图像),并且无用地消耗了存储媒介的存储器容量。
    在考虑了上述问题之后构思了本发明并且目的是提供一种能够从连续捕获的图像中仅存储用户希望存储的图像(以下称为"最佳拍摄图像")并且能够有效地提取最佳拍摄图像的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序。
    为了实现该目的,根据本发明第一方面的图像处理装置包括:图像获取设备,其用于顺序地获取按照连续方式所捕获的图像;脸部检 测设备,其用于对所获取的图像中的脸部进行检测;表情变化量计算设备,其用于对每个目标帧计算表情变化量,该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情变化,目标帧是获取帧中的每个或者是获取帧中规则间隔的??;提取设备,其用于提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及存储设备,其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    因此,从按照连续方式所捕获的图像当中提取具有大脸部表情变化的脸部的目标帧的图像,并且将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    应该注意的是存在大脸部表情变化的脸部很有可能是期望的图像(即,用户希望存储的脸的图像(最佳拍摄))。此外,对两个图像之间的表情变化量进行计算所需的图像处理负荷低于对脸部表情本身进行分析所需的图像处理负荷。此外,当在连续图像中捕获表情不变的脸部时,不存储包含这种脸部的图像。因此,可避免浪费使用存储媒介上的存储器容量。
    根据本发明第二方面的图像处理装置包括:图像获取设备,其用于顺序地获取按照连续方式所捕获的图像;脸部检测设备,其用于对所获取图像中的脸部进行检测;表情变化量计算设备,其用于对每个目标帧计算表情变化量,该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情变化,该目标帧是获取帧中的每个或者是获取帧中规则间隔的??;提取设备,其用于提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及存储设备,其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    根据本发明的第一方面计算在当前目标帧图像中所检测到的脸部 与在连续捕获的图像的之前目标帧图像中所检测到的脸部之间的表情变化。另一方面,根据本发明的第二方面与第一方面的不同之处在于计算连续捕获的目标帧的图像与参考模板之间的表情变化量。
    根据本发明的第三方面,在根据第二方面的图像处理装置中,根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置来创建参考模板。
    应该注意的是之前与之后帧的脸部之间的表情变化量至多是预定值的连续捕获的任何帧的图像中的脸部可用作平常脸。
    根据本发明的第四方面,在根据第三方面的图像处理装置中,预先创建与人的属性相对应的多个参考模板并且将其存储在存储器中,并且通过图像获取设备从存储器读取相应于所获取的图像中与人的属性的参考模板并使用。所考虑的人的属性的示例包括性别、年龄、成熟度(孩子或者成人)、以及种族。
    根据本发明的第五方面,根据第一至第四方面任何一个的图像处理装置进一步包括典型脸部选择设备,该典型脸部选择设备用于当脸部检测设备对多个脸部进行检测时,根据以亮度、位置、大小、以及脸部清晰度中的至少一个为条件来选择典型脸部以作为目标帧图像中检测到的脸部?;痪浠八?,当所捕获的图像中存在不止一个人时,选择单个人作为目标。利用该安排,可将被选择为目标的人的最佳拍摄图像进行存储,并且可使对要存储的图像的选择简单化。
    根据本发明的第六方面,在根据第一至第五方面任何一个的图像处理装置中,表情变化量检测设备包括:特征点提取设备,其用于提取与每个脸部局部相对应的多个特征点;标准化设备,其用于使所提取的特征点的坐标位置标准化;以及计算设备,其用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者其之间的距离 的平方和来对两个比较的脸部计算表情变化量。该安排可利用简单操作来计算表情变化量。
    根据本发明的第七方面,根据第一至第六方面任何一个的图像处理装置进一步包括:最佳图像候选者提取设备,其用于提取已提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者,所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个;以及最佳图像选择设备,其用于从所提取的最佳图像候选者组中选择最佳图像,其中存储设备将所选的最佳图像存储在存储媒介中。
    根据本发明的第八方面,在根据第七方面的图像处理装置中,最佳图像选择设备包括:至少一个:第一估计设备,其用于将最佳图像候选者的脸部与表示预定表情的表情模板进行比较并且根据比较结果而判给每个最佳图像候选者分数;第二估计设备,其用于对最佳图像候选者中的脸部方向进行检测并且根据所检测到的脸部方向判给每个最佳图像候选者分数;以及第三估计设备,其用于对最佳图像候选者中对象眼睛的方向进行检测并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数;以及选择设备,其用于根据由至少一个估计设备所判给的一个或多个分数来从最佳图像候选者当中选择最佳图像。
    当例如,最佳图像候选者的脸部局部的特征点与表示预定表情的表情模板之间的匹配程度增大时,第一估计设备判给更高的分数。应该注意的是匹配程度可以是通过计算各自的特征点集合之间的距离的平均值或者总和而获得的。此外,表情模板可以是包括笑脸模板的多个模板中的任何一个。
    当最佳图像候选者的脸部更接近正面的脸时(也就是说,当脸部方向接近面向前方时),第二估计设备判给更高的分数。当最佳图像的对象眼睛更直接地看向图像捕获设备时(也就是说,当最佳图像候 选者的对象眼睛的方向接近图像捕获设备时),第三估计设备判给更高的分数。此后选择设备根据由第一至第三估计设备所判给的三个分数(包括使用两个或更多个分数的总和)中的至少一个从最佳图像候选者当中选择最佳图像。
    根据本发明的第九方面,在根据第八方面的图像处理装置中,选择设备选择具有最高分数的图像作为最佳图像或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
    根据本发明第十方面的图像捕获装置包括:图像捕获设备,该图像捕获设备是可操作的以按照连续方式捕获对象的图像;以及根据第一至第九方面中任何一个的图像处理装置,其中图像获取设备顺序地获取由图像捕获设备按照连续方式所捕获的图像。
    利用这个安排,在按照连续方式捕获对象的同时,该设备将脸部表情变化较大的图像作为图像候选者存储在存储媒介中。
    根据本发明的第十一方面,根据第十方面的图像捕获装置进一步包括:图像捕获指示设备;以及存储数目设置设备,其用于设置为响应图像捕获指示设备的单个图像捕获指令而将要被存储在存储媒介中的图像的数目,其中当图像捕获指示设备发出了图像捕获的指令时,重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理,直至已存储的图像数目到达了所设置的要存储的图像的数目。
    例如,当从诸如快门按钮等等的图像捕获指示设备输入了用于图像捕获的单个指令时,顺序地存储包括有更大表情变化的脸部的图像,直至到达了要存储的图像的预置数目。
    根据本发明的第十二方面,根据第十一方面的图像捕获装置进一 步包括捕获结束指示设备,其中在图像捕获指示设备已发出了图像捕获的指令之后,当捕获结束指示设备发出捕获结束的指令时,在所存储的图像数目达到所设置的要存储的图像的数目之前结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
    因此,即使已预置了为响应图像捕获的指令而一次要存储的图像数目,用户也可在捕获了期望的脸部表情(最佳拍摄图像)之后通过捕获结束指示设备上的操作而结束图像捕获操作。
    根据本发明的第十三方面,根据第十方面的图像捕获装置进一步包括图像捕获指示设备,其中当图像捕获指示设备发出图像捕获的指令时,重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理,直到存储媒介中没有剩余空间。
    根据本发明的第十四方面,根据第十三方面的图像捕获装置进一步包括捕获结束指示设备,其中在图像捕获指示设备已发出了图像捕获的指令之后,当捕获结束指示设备发出捕获结束的指令时,在存储媒介中没有剩余空间之前,结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
    在第十二和第十四方面的图像捕获装置中,捕获结束指示设备可利用相同的操作设备(即快门按钮)作为图像捕获指示设备。例如,一旦按下快门按钮则指示开始图像捕获并且第二次按下快门按钮则指示结束图像捕获。
    根据本发明的第十五方面,根据第十至第十四方面任何一个的图像捕获装置进一步包括声音产生设备,该声音产生设备在每次将图像存储在存储媒介中时产生声音以通知用户存储定时。利用该安排,用户可检查存储图像的定时,并且知道在所存储图像中的脸部上是什么类型的表情。
    根据本发明的第十六方面,根据第十至第十五方面任何一个的图像捕获装置进一步包括:图像显示设备,其用于显示图像捕获设备按照连续方式所捕获的图像;以及显示控制设备,其用于使图像显示设备显示最近存储在存储媒介上的一个或多个图像作为尺寸减小的图像,所述尺寸减小的图像具有小于图像显示设备的整个显示区的区域。利用该安排,用户可对所存储的图像进行检查并且根据对所存储图像的表情和组成的变化的评估而提出画面。
    根据本发明的第十七方面,第十至第十六方面的任何一个的图像捕获装置进一步包括:显示设备,其用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目,每当将图像存储在存储媒介中时更新已存储图像的当前数目。利用这个安排,用户可在执行图像捕获时,考虑到仍可记录在存储媒介中的图像数目。
    根据本发明的第十八方面,根据第十至第十七方面任何一个的图像捕获装置进一步包括显示设备,该显示设备显示每当将图像存储在存储媒介中时所更新的已存储图像的当前数目,并且至少当已存储在存储媒介上的图像数目接近可储存在存储媒介中的图像的最大数目时改变已存储图像的当前数目的显示形式。利用该安排,用户可在执行图像捕获时,考虑到仍可存储在存储媒介中的图像数目。应该注意的是通过改变用于已存储图像的当前数目的指示器的颜色、通过使用于已存储图像的当前数目的指示器闪烁,或者通过其它方法可改变用于已存储图像的当前数目的指示器的形式。
    根据本发明第十九方面的图像处理方法包括步骤:顺序地获取按照连续方式所捕获的图像;对所获取图像中的脸部进行检测;对每个目标帧计算表情变化量,该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化,该目标帧可以是获取帧中的每个或者是获取帧中规则间隔的??; 提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    根据本发明第二十方面的图像处理方法包括步骤:顺序地获取按照连续方式所捕获的图像;对所获取的图像中的脸部进行检测;对每个目标帧计算表情变化量,该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化,该目标帧可以是获取帧的每个或者是获取帧中规则间隔的??;提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    根据本发明的第二十一方面,根据第十九或者第二十方面的图像处理方法,进一步包括步骤:提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者,所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个;以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
    根据本发明的第二十二方面,提供了一种存储图像处理程序的记录媒介。根据第二十二方面的记录媒介上的图像处理程序可使计算机实现下述功能:顺序地获取按照连续方式所捕获的图像;对所获取的图像中的脸部进行检测;对每个目标帧计算表情变化量,该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧中所检测到的脸部之间的表情的变化,该目标帧可以是获取帧的每个或者是获取帧中规则间隔的??;提取所计算的表情变化量大于或等于预定值的目标帧的图像;以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    根据本发明第二十三方面,提供了一种存储图像处理程序的记录媒介。根据根据第二十三方面的记录媒介上的图像处理程序可使计算 机实现下述功能:顺序地获取按照连续方式所捕获的图像;对所获取的图像中的脸部进行检测;对每个目标帧计算表情变化量,该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化,该目标帧可以是获取帧的每个或者是获取帧中规则间隔的??;提取所计算的表情变化量是预定值以及之上的目标帧的图像;以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
    根据本发明的二十四方面,根据第二十二或者第二十三方面的记录在记录媒介上的图像处理程序,进一步可使计算机起下述功能:提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者,所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个;以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
    根据本发明的方面,从按照连续方式所捕获的图像中提取具有较大脸部表情变化的目标帧的图像,并且将所提取的目标帧的图像或者位于所提取目标帧附近的帧的图像存储在存储媒介上。因此,用户可在连续捕获的图像当中存储他们希望记录的脸部的图像(最佳拍摄图像)。此外,可有效地提取最佳拍摄图像。
    附图说明
    图1是示出了根据本发明的图像捕获装置(数字照相机)的实施例的框图;
    图2是示出了与脸部部分的位置相关的脸部特征点的示例的示意图;
    图3是示出了根据本发明的第一实施例的处理的整个流程的流程图;
    图4A、4B、以及4C是用于对目标帧和笑脸模板的脸部特征点的标准化进行描述的示意图;
    图5A、5B、以及5C是示出了平常脸的特征点以及笑脸1和2的特征点的示意图;
    图6是示出了根据本发明的第二实施例的处理的整个流程的流程图;
    图7是示出了用于创建平常脸模板的处理程序的流程图;
    图8是示出了根据本发明的第三实施例的处理的整个流程的流程图;
    图9是用于对脸部的方向(脸方向)进行检测的方法进行描述的示意图;
    图10示出了根据本发明的第四实施例的处理的整个流程的流程图;
    图11是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第一示例的示意图;
    图12A和12B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第二示例的示意图;以及
    图13A和13B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第三示例的示意图。
    具体实施方式
    下面参考附图对根据本发明的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序的优选实施例进行描述。
    [图像捕获装置的配置]
    图1是示出了根据本发明的图像捕获装置(数字照相机)10的实施例的框图。
    数字照相机10具有用于对静止图像和活动图像进行存储并且对该图像进行回放的功能。操作单元12包括电源按钮、快门按钮、模式手柄、变焦键、回放按钮、由上,下,左、右键所组成的多功能十字键、菜单/OK按钮、显示/返回按钮等等。
    通过转动模式手柄,可选择包括有自动图像捕获模式、手动图像捕获模式、人图像捕获模式、风景图像捕获模式和夜景图像捕获模式的许多情形位置的任何一个?;箍裳≡癖痉⒚鞯幕疃枷衲J交蛘咦罴雅纳阃枷癫痘衲J???烀虐磁グǖ卑氚聪驴烀虐磁ナ苯油ú⑶沂故终障嗷?0通过使用自动曝光调节(AE)和自动聚焦调节(AF)来准备图像捕获的开关S1,以及当当完全按下快门按钮时接通并且使数字照相机10捕获图像的开关S2。
    显示单元(液晶监控器)14显示活动图像(通过图像)并且因此用作电子取景器。显示单元14还可在存储之前显示所捕获的图像(预览图像)并且显示从加载到照相机中的诸如存储卡这样的存储媒介16所读取的图像等等。显示单元14还显示当手动设置照相机的操作模式、白平衡、图像中的像素数目、以及灵敏度时所使用的各种形式的菜单屏幕以响应对菜单/OK按钮的操作。显示单元14进一步显示可经由对十字键和菜单/OK按钮的操作而从其中设置手动设置的图形用户界面(GUI)。
    当从操作单元12输入了操作信号时,中央处理单元(CPU)18通过根据照相机控制程序执行处理来执行数字照相机10中的单元的综合控制。CPU18与控制总线20和数据总线22相连。
    除了CPU18之外,控制总线20和数据总线22还与SDRAM(同步动态RAM)24、表情判断单元26、特征点跟踪单元28、脸部检测单元30、EEPROM32、数字信号处理单元34、压缩/解压缩单元36、音频控制单元38、显示控制单元40、以及外部介质控制单元41相连。进一步并且A/D转换电路54与数据总线22相连。
    CPU18从SDRAM24和EEPROM32接收所需数据。EEPROM32将诸如用于固态成像设备的照相机控制程序和故障信息这样的与照相 机控制有关的各种参数存储在其中。EEPROM进一步包含根据本发明的图像处理程序、参考模板、表情模板等等。
    CPU18将存储在EEPROM32中的照相机控制程序调配到SDRAM24中,并且利用作为工作存储器的SDRAM24执行各种处理。
    在数字照相机10中,当将操作单元12的电源按钮切换到ON时,CPU18对该切换进行检测、接通内部电源、并且将数字照相机10置于图像捕获模式的图像捕获等待状态。在图像捕获等待状态下,CPU18总是在显示单元14上显示活动图像(通过图像)。
    用户(摄影师)框定要拍摄的对象并对其进行检查,同时在显示单元14上显示通过图像。用户还可观看所捕获的图像并且设置图像捕获条件。
    当照相机处于普通静止图像捕获模式的图像捕获等待状态下半按下快门按钮时,CPU18对半按进行检测并且执行AE光测量和AF控制。在AE测量期间,数字照相机10根据通过固态图像捕获设备(CCD)50所获取的图像信号的总和或者相似值来测量对象的亮度。通过光测量所获得的值(所测量的光值)用于确定光圈44的光圈值以及图像捕获的快门速度。当捕获图像时,CPU18根据由所测量的光值确定的光圈值通过光圈驱动单元58来驱动光圈44并且通过图像捕获设备驱动单元60来对CCD50上的电荷存储时段(所谓的"电子快门")进行控制以提供利用所测量的光值所确定的快门速度。
    当使用AF控制时,CPU18还可通过使聚焦透镜位置在近景与无限远之间一点一点地移动、对每个透镜位置的通过CCD50而在AF区域中所获得的图像信号的频率分量求和以获得估计值、找到估计值到达最高点的透镜位置、并且使聚焦透镜移动到该透镜位置来执行对比AF。应该注意的是在活动图像模式下,CPU18利用聚焦透镜的位置受 到控制的所谓"波峰跟踪控制"来执行连续AF,以便保持该波峰估计值。
    来自对象的光在穿过包括有聚焦透镜和变焦透镜的成象透镜42之后并且此后穿过光圈44、红外线截止滤波器46、以及光学低通滤波器48而入射到CCD50的光接收面上。
    CCD50是利用提供有预定安排(如Beyer或者蜂窝式安排)的R、G、B颜色滤波器阵列的彩色CCD构造而成的。将入射到CCD50的光接收面上的光转换成其量取决于通过光接收面中的光电二极管的入射光量的信号电荷。根据图像捕获设备驱动单元60所应用的定时信号来读取存储在光电二极管中的信号电荷,并且使其从CCD50顺序输出以作为电压信号(图像信号)。
    模拟信号处理单元52包括CDS(相关双采样)电路和模拟放大器。CDS电路根据CDS脉冲对CCD输出信号执行相关双采样。模拟放大器根据CPU18所应用的图像捕获灵敏度增益来对CDS电路所输出的图像信号进行放大。A/D转换电路54将模拟信号处理单元52所输出的模拟图像信号转换成数字图像信号。通过数据总线22将因而发生的图像信号(R、G、以及B RAW数据)发送到SDRAM24并且将其临时存储在其中。
    脸部检测单元30对通过图像或者活动图像中的人脸进行检测并且将与该脸的位置和大小有关的信息输出到CPU18。更具体地说,脸部检测单元30包括图像比较电路和脸部图像模板(脸部词典)。图像比较电路在示出了通过图像等等的屏幕上对目标区域进行定位,并且将该目标区域中的图像与脸部词典进行比较以寻找相关性。当相关性分数超过预定门限值时,图像比较电路将目标区域指定为脸部区域。脸部检测单元30还通过将脸部区域中的脸部局部与脸部局部词典进行比较来对脸部局部(诸如眼睛、鼻子、嘴、以及眉毛)进行检测。
    在从脸部检测单元30获取脸部区域的位置和大小时,CPU18可使显示单元14显示叠加在通过图像上的环绕所获取的人类对象的脸的脸部检测框。
    按照上述方式所检测到的脸部区域的位置和大小还可用作AF区域以使照相机聚焦于对象脸上或者还可用作AE区域以便对象脸部的亮度是合适的。
    当在根据本发明的最佳拍摄图像捕获模式下捕获图像时表情判断单元26和特征点跟踪单元28进行操作。最佳拍摄图像捕获模式是其中按照活动图像或者连续画面的方式连续捕获帧图像、提取被判断为最佳拍摄图像的帧图像、并且将其存储在存储媒介16上的模式。
    特征点跟踪单元28对每个连续捕获的帧图像的脸部图像的特征点进行检测,并且对脸部检测单元30所检测到的脸部局部中的特征点进行检测。
    如图2所示,在该实施例中,特征点跟踪单元对由眉毛上的4个点、眼睛上的8个点、鼻尖上的1个点、以及嘴上的4个点所组成的总共17个特征点的Pi(xi,yi)(i=1至17)进行检测。特征点跟踪单元28对该序列的每个帧图像中的每个特征点Pi(xi,yi)进行跟踪。
    表情判断单元26计算表示被用作比较的目标的之前与当前帧图像中所检测到的脸部表情变化的表情变化量,并且对该脸部表情进行判断以选择最佳图像。
    为了得到表情变化量,使不强烈地取决于脸部表情(例如眼睛的外边缘以及鼻尖)的当前帧的特征点与之前帧的相应特征点对准(匹配)(位置调节)?;蛘?,通过利用诸如KLT算法(Kanade-Lucas-Tomasi的特征点跟踪算法)的相应点检测技术来跟踪帧之间的特征 点以执行位置调节。此后利用以下公式来计算表情变化量以作为相应特征点之间的差(距离)的总和。
    [公式1]

    应该注意的是虽然通过对相应特征点之间的距离求和来得到公式1中所描述的表情变化量,但是也可使用相应特征点之间的距离的平方之和。
    当按照上面的方式所计算的表情变化量大于或等于预定门限值时,表情判断单元26从目标帧之前和之后获取m帧图像以作为最佳图像候选者。此后表情判断单元26计算,例如,该图像组中的每帧图像的笑容相似度分数并且从该组中提取其笑容相似度分数最高的帧图像以作为最佳图像(最佳拍摄图像)。随后对与最佳拍摄图像的选择有关的详情进行描述。
    数字信号处理单元34起图像处理设备的作用,该图像处理设备包括白平衡调节电路、伽玛校正电路、同步电路、色度/亮度数据产生电路、边缘校正电路、用于插入图像的图像转换电路、以及叠加处理电路。数字信号处理单元34利用SDRAM24根据来自CPU18的命令执行处理。具体地说,从SDRAM24所读取的R、G和B图像信号由白平衡调节电路将数字增益施加到每个R、G和B图像信号上而经历白平衡调节、根据伽玛特性通过伽玛校正电路而经历灰度转换处理、并且通过同步电路而经历同步。在同步过程中,对与单个CCD上的颜色滤波器的安排相关的彩色信号中的时间滞后进行校正以提供同步格式的彩色信号。此后通过色度/亮度数据产生电路将同步的R、G、以及B图像信号转换成亮度信号Y和色度信号Cr和Cb(即YC信号)。Y信号通过边缘校正电路而经历边缘增强处理。数字信号处理单元34将数字信号处理单元34的处理所产生的YC信号返回到SDRAM24。
    在由数字信号处理单元34的处理并且存储在SDRAM24中之后,压缩/解压缩单元36对YC信号进行压缩并且通过外部介质控制单元41将其存储在存储媒介16中以作为预定格式(诸如JPEG(联合图像专家组)格式)的图像文件。存储媒介16可以是诸如可移动的xD-PictureCard(商标)或者SmartMedia(商标)这样的半导体存储器卡、便携式压缩硬盘、磁盘、光盘、光磁盘片等等。
    当对操作单元12的回放按钮进行操作以选择回放模式时,通过外部介质控制单元41来读取存储在存储媒介16中的最后帧的图像文件。对所读取的图像文件的压缩数据进行解压缩以通过压缩/解压缩单元36形成非压缩的YC信号。
    将解压缩的YC信号存储在SDRAM24中(或者附图中未示出的VRAM中)、将其转换成用于通过显示控制单元40来显示的信号格式、并且将其输出到显示单元14。因此,显示单元14显示存储在存储媒介16上的图像文件的最后帧。
    此后,用户按下帧正序导航开关(十字键的右部)以使帧按照正序移动并且按下帧反序导航开关(十字键的左部)以使帧按照反序移动。在帧导航所确定的帧位置上从存储媒介16读取图像文件并且按照上述方式来在显示单元14上对相应应图像进行回放。
    音频控制单元38既可使扬声器39对于照相机的各种操作产生声音且在回放活动图像时产生声音,还可使扬声器39产生声音(诸如快门的滴答声这样的耳朵捕获声音)以表示存储每个最佳拍摄图像的定时。
    <第一实施例>
    下面对用于捕获/存储n个最佳拍摄图像的第一实施例进行描述, 其中预先设置为响应单个图像捕获指令而要存储的最佳拍摄图像数目"n"。
    图3是给出了根据本发明第一实施例的处理的整个流程的流程图。
    当已选择最佳拍摄图像捕获模式作为图像捕获模式并且按下快门按钮时,图像捕获开始(步骤S10)。应该注意的是为响应单个图像捕获指令而要存储的最佳拍摄图像数目"n"可以由默认数目确定或者由用户设置为适当数目(可以是1)。此外,当在最佳拍摄图像捕获模式下捕获图像时,与为活动图像和连续画面一样按照连续方式捕获帧图像。
    该处理将所捕获的帧图像临时存储在SDRAM24中(步骤S12)。接下来,该处理从临时存储在特征点跟踪单元28中的帧图像当中的目标帧图像中的对象脸部提取特征点(步骤S14)。目标帧包括连续捕获的帧图像的每个帧或者是以若干帧为间隔的所选帧。应该注意的是以若干帧为间隔选择目标框幅可比较容易地发现表情变化并且可降低处理负荷。
    此后参考图2所述,该处理提取与的脸部局部的各个位置相对应的特征点Pi(xi,yi)。
    接下来,表情判断单元26通过将从当前目标帧图像所提取的脸部特征点Pi(xi,yi)以及从存储在SDRAM24中的之前目标帧图像所提取的脸部特征点Pi-1(xi-1,yi-1)代入到上述公式1来计算表情变化量(步骤S16)。
    表情判断单元26此后判断所计算的表情变化量是否大于或等于预定门限值(步骤S18)。当表情判断单元26判断为否定时,该处理回到步骤S12。当判断为肯定时,认为对象脸部上的表情已经经历了很大变化,并且该处理转到步骤S20。
    在步骤S20中,该处理提取包括当前目标帧以及当前目标帧之前和之后的m个帧的图像组以作为最佳图像候选者,对于所述当前目标帧表情变化量已被判断为等于或者超过门限值。
    接下来,该处理从在步骤S20所提取的图像组(最佳图像候选者)的2m+1个帧中选择单个最佳图像(最佳拍摄图像)(步骤S22)。
    以下被认为是用于选择最佳拍摄图像的可能方法。
    (1)该处理将最佳图像候选者的脸部与预定表情的模板进行比较,例如将最佳图像候选者的脸部与笑容的笑脸模板进行比较,并且根据比较结果判给最佳图像候选者笑容相似度分数。
    [计算笑容相似度分数]
    首先,该处理将其分数要被估计的目标帧的脸部和笑脸模板的特征点执行标准化处理。如图4A、4B、以及4C所示,利用鼻尖作为参考点,该处理为包含在每个笑脸模板和目标帧脸部的17个特征点的每个特征点计算至各自参考点的距离(D1i,D2i)。该处理为每个特征点计算至参考点(D1i/D2i)的距离比,并且计算所有特征点上的平均比。此后该处理利用该平均比通过按比例缩放目标帧中的脸部的特征点来对目标?。ú渭?A和4B)脸部的特征点的坐标执行标准化处理(即按比例缩放以适合笑脸模板)。
    此后该处理计算标准化目标帧的特征点与笑脸模板的相应特征点之间的距离的平均差,并且判给笑容相似度分数(参见图4B和4C)。应该注意的是目标帧具有的平均差值越小,判给该帧的笑容相似度分数越大。
    该处理按照这种方式判给所有最佳图像候选者笑容相似度分数, 并且选择具有最高笑容相似度分数的最佳图像候选者作为最佳拍摄图像。
    (2)该处理将最佳图像候选者的脸部与笑脸模板进行比较并且根据该比较结果判给每个最佳图像候选者笑容相似度分数。此后该处理选择其中笑容相似度分数大于或等于预定值(缺省值)的最佳图像候选者当中的表情变化量最大的图像以作为最佳拍摄图像。
    如图3所示,当步骤S22的处理选择最佳拍摄图像时,将所选的最佳拍摄图像存储在存储媒介16中。
    接下来,该处理对所存储的最佳拍摄图像进行计数(步骤S24),并且判断所存储的最佳拍摄图像的数目是否到达n(步骤S26)。当该数目没有到达n时,该处理回到步骤S12。当该数目到达n时,该处理结束最佳拍摄图像的捕获。
    应该注意的是需要SDRAM24临时存储计算了其表情变化量的当前目标帧之前和之后的至少m个帧。
    当在步骤S16中计算表情变化量时,优选按照上述方式使之前和之后帧的特征点Pi(xi,yi)和Pi-1(xi-1,yi-1)标准化。该标准化可以与诸如脸部大小这样的因素无关地计算表情变化量。
    应该注意的还有笑容相似度分数并不局限于按照上述方式来计算,而是可以替代为利用平常脸之间的特征量的差来计算。
    该特征量可以是利用特征点的位置、特征点之间的距离、或者脸部中存在/不存在线(皱纹)来表示的。
    图5A给出了平常脸的特征点。图5B和5C分别示出了笑脸1和 2的特征点。
    ●笑脸1
    如图5B所示,与图5A所示的平常脸相比嘴唇的两端提高了,并且在鼻子和嘴唇出现了线(皱纹)以给出具有比平常脸更多笑容的脸部。例如,如果"嘴唇的两端都提高了"和"在脸上出现了线或者线加深了"的每一个被判给1点,那么判给笑脸1的笑容相似度分数是2点。
    ●笑脸2
    在图5C所示的笑脸2中,由于嘴张大了,因此与图5A所示的平常脸相比,该嘴的纵向宽度远大于笑脸1的宽度。同时,由于面颊上升了,因此眼睛的纵向宽度更小。如果"嘴张开"和"眼睛变窄"的每一个被判给1点,那么判给笑脸2的笑容相似度分数是4点。
    通过利用表示重要程度的加权而判给每个特征量加权点,而不是利用统一加权判给点数,分数系统的可靠性增大了。
    <第一实施例的修改>
    在上面所描述的第一实施例中,重复图像捕获和存储直到已存储的最佳拍摄图像达到预置数目"n"。然而,本发明并不局限于被重复的该安排。当指示捕获图像时,也可以重复图像捕获和存储直到存储媒介16的剩余容量耗尽。
    此外,通过提供捕获结束指示设备,可以允许用户在他们选择时结束图像捕获操作。
    例如,利用对捕获结束指示设备的操作,在已捕获了期望表情的脸部(最佳拍摄图像)但是在到达最佳拍摄的记录的设置数目"n"之前或者在存储媒介16的剩余容量耗尽之前,用户可结束图像捕获及其他操作。应该注意的是捕获结束指示设备可以利用相同控制设备作为图 像捕获指示设备(即快门按钮)。在这种情况下,一旦按下快门按钮则指示将执行图像捕获并且在捕获图像的同时再次按下按钮则指示将结束图像捕获。
    在上述第一实施例中,提取其表情变化量大于或等于预定值的目标帧之前的m个帧以及之后的m个帧作为最佳图像候选者。然而,本发明并不局限于这种安排,并且仅包括目标帧之前的m个帧或者目标帧之后的m个帧以及目标帧图像来作为最佳图像候选者也是可接受的。
    此外,在第一实施例中,当从最佳图像候选者中选择最佳拍摄图像时,计算每个最佳图像候选者的笑容相似度分数。然而,可以通过选择具有最大表情变化量的最佳图像候选者作为最佳拍摄图像来选择最佳拍摄图像而无需计算笑容相似度分数。
    <第二实施例>
    图6是给出了根据本发明第二实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例相同的方法的部分被分配给相同的步骤号码,并且省略对这些部分的详细说明。
    在图3所示的第一实施例中,计算目标帧之前和之后的帧中的脸部的表情变化量。图6所示的第二实施例不同之处在于计算连续捕获的目标帧中的脸部的表情变化量,所述目标帧与平常脸模板(参考模板)的脸部相关。
    当通过第一图像捕获指令开始捕获/存储n个最佳拍摄图像(其中"n"是预先设置的)时(步骤S10),创建平常脸模板(步骤S30)。
    图7是示出了用于创建平常脸模板的处理程序的流程图。应该注意的是与图3所示的第一实施例相同的程序的部分被分配给相同的步 骤号码,并且省略对这些部分的详细说明。
    在用于创建平常脸模板的流程图中,提取包括表情变化量较小的脸部的预定数目"k"的帧图像,并且从对于所提取的帧图像的脸部局部的特征点的平均值来创建平常脸模板。
    如图7所示,当用于创建平常脸模板的处理开始时,该处理判断根据从之前和当前帧图像所提取的脸部的特征点所计算的表情变化量是否小于或等于预定门限值(步骤S32)。当表情变化量大于门限值时,该处理重新设置计数到预定数目k的计数器的计数值、清除临时存储在SDRAM24中的帧图像(步骤S34)、并且回到步骤S12。应该注意的是预定数目k可以,例如通过使不变脸部表情必须维持以被指定为平常脸的预定时段除以帧时段而得到的。
    当在步骤S32中判断出表情变化量小于或等于预定门限值时,该处理使计数器的计数加1(步骤S36),并且此后判断当前计数是否大于或等于预定数目k。当当前计数小于预定数目k时,该处理回到步骤S12。当当前计数大于或等于预定数目k时,该处理移动到步骤S39。
    在步骤S39中,该处理计算存储在SDRAM24中的预定数目k(也就是说,k个帧图像)的帧图像中的脸部局部的特征点的平均值,并且将该平均特征点的位置坐标设置为平常脸模板。
    如图6所示,在按照上述方式完成了创建平常脸模板之后,处理开始图像捕获/存储实际最佳拍摄图像。
    在第一实施例(图2)的步骤S16中,处理计算之前和之后帧中的表情变化量。然而,在第二实施例的步骤S16'中,处理计算从输入的目标帧所提取的脸部特征点Pi(xi,yi)与平常脸模板的特征点之间的表情变化量。应该注意的是当在步骤S16'中计算表情变化量时,优 选预先使这两个特征点集标准化。
    利用这个安排,可计算相对平常脸的脸部的表情变化量。此后根据表情变化量最大的目标帧从提取的2m+1个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像),并且将其存储在存储媒介16中。按照与第一实施例相同的方式来执行最佳拍摄图像选择等等。
    <第二实施例的修改>
    在上述第二实施例中,在开始捕获和记录实际最佳拍摄图像之前创建平常脸模板。然而,也可以预先创建平常脸模板并且将其存储在EEPROM32中。当预先创建平常脸模板时,在创建处理中使用无表情的脸部数据库。
    或者,为每个要捕获的人类对象记录平常脸模板,并且在开始捕获最佳拍摄图像之前读出给定拍摄的对象的平常脸模板。
    另一可能性是从多个对象的平常脸创建平均平常脸模板并且将其存储在EEPROM32上。
    更进一步的可能性是根据各种对象属性创建平常脸模板并且将其存储在EEPROM32中??悸怯米鞫韵笫粜缘奶卣靼ㄐ员?、年龄、成熟度(孩子或者成人)、以及种族。
    应该注意的是平常脸模板不必是利用数字照相机10创建的,并且可以在运送之前将其存储在EEPROM32中或者根据外部源的输入而存储。
    <第三实施例>
    图8是给出了根据本发明第三实施例的处理的整个流程的流程图。 应该注意的是与图3所示的第一实施例共享的过程的部分被分配给相同的步骤号码,并且省略对这些部分的详细说明。
    在图8所示的第三实施例中,第一实施例的处理补充有步骤S40的处理。此外,步骤S22'提供了与步骤S22的最佳拍摄图像选择方法不同的处理程序。
    在步骤S40中,处理判断每个最佳图像候选者中的脸部方向(脸部的方向)。
    [计算脸部方向分数]
    如图9所示,右眼的内端点表示为"a"并且左眼的内端点表示为"b"。线ab与平行于鼻子的鼻梁且垂直于线ab而延伸的线之间的交叉点表示c。
    通过将距离ac与距离bc进行比较来执行评分。
    该处理根据距离之间的比率或者根据距离差来计算分数(脸部方向分数)。当距离ac和距离bc的值彼此接近(接近相等)时,判断出脸部接近正面的脸(脸部差不多面向前方)并且向该脸部判给较高分数。当仅可提取一个眼睛时,该处理判断出脸部处于侧面并且判给分数"0"。
    另外,该处理使用包括有与0°相对应的面向正面的脸部、与90°相对应的侧面脸部、以及以10°为间隔的这两者之间的脸部的脸部词典,判断每个帧中的脸部与角度词典中的脸部之间的匹配程度是否很高,并且根据匹配程度判给分数。
    回到图8,可知在步骤S22'中处理从在步骤S20所提取的2m+1个帧图像(最佳图像候选者)选择单个最佳图像(最佳拍摄图像)。在 图3所示的第一实施例中,只根据笑容相似度分数或者根据笑容相似度分数连同表情变化量来选择最佳拍摄图像。然而,在步骤S22'中,处理判给的分数是每个最佳图像候选者的笑容相似度分数与脸部方向分数的总和,并且选择具有最高结果分数的最佳图像候选者作为最佳拍摄图像。
    或者,处理从具有大于或等于预定值的结果分数的最佳图像候选者当中选择最佳拍摄图像。
    在步骤S22'中,处理此后将所选最佳拍摄图像存储在如上所述的存储媒介16中。
    <第三实施例的修改>
    在上述第三实施例中,使用脸部方向分数来选择最佳拍摄图像。然而,取代脸部方向分数或者除了脸部方向分数之外,可判断对象眼睛的方向。在这种情况下,当对象眼睛更直接地看向照相机时,在评分中分数变得较高,并且该分数(对象眼睛方向分数)可用于选择最佳拍摄图像。
    为了判断对象眼睛的方向,该处理对在眼睛区域中瞳孔的位置进行检测。例如,当脸部面向前并且瞳孔位置位于眼睛区域中心时,判断出对象眼睛看向照相机。因此,该处理可根据脸部方向和瞳孔在眼睛区域中的位置判断对象眼睛的方向。
    笑容相似度分数、脸部方向分数、对象眼睛方向分数、以及表情变化量中的任何一个可用于从最佳图像候选者当中选择最佳拍摄图像?;蛘?,可适当结合两个或更多个分数并且用于选择。
    除了笑脸模板之外,可制备其他脸部表情模板。处理此后选择最接近最佳图像候选者的表情模板并且根据所选表情模板的脸部表情的 相似程度来判给每个最佳候选者图像分数。
    <第四实施例>
    图10是示出了根据本发明第四实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例相同的程序的部分被分配给相同的步骤号码,并且省略对这些部分的详细说明。
    在图10所示的第四实施例中,第一实施例的处理补充有步骤S50的处理。此外,步骤S22"提供了与步骤S22的最佳拍摄图像选择方法不同的处理程序。
    在步骤S50中,当在帧图像中检测到多个面部时,处理选择典型脸部。该处理从由脸部检测单元30所检测到的多个脸部当中选择最大的脸部作为典型脸部?;蛘?,该处理判给每个面部区域点数来确定每个条件的重要性并且使用具有最大点数总和的脸部作为典型脸部,所述条件是从脸部亮度、位置、大小、以及脸部清晰度当中选择的一个或多个。
    仅对在步骤S50所选的典型脸部执行步骤S14至S18的处理。
    在步骤S22"中,处理利用下述之一从在步骤S20所提取的2m+1个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像)。
    (1)该处理挑选包含有最大数目的具有笑容相似度分数至少为门限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同数目的笑脸时,该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为最佳拍摄图像。
    (2)该处理也可以利用来挑选包含有最大数目的具有笑容相似度分数至少为门限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同 数目的笑脸时,该处理挑选其中典型脸部具有最大表情变化量的帧作为最佳拍摄图像。
    在上面所描述的(1)和(2)中,除了各自的脸部之外,还必须计算除了典型脸部之外的脸部的笑容相似度分数。
    (3)该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为最佳拍摄图像。
    (4)该处理挑选其中典型脸部具有至少为门限值的笑容相似度分数的帧,并且从这些帧当中挑选具有典型脸部中的最大表情变化量的帧作为最佳拍摄图像。
    在上面所描述的(3)和(4)中,不必计算除了典型脸部之外的脸部的笑容相似度分数,并且该处理类似于第一实施例的步骤S22。
    应该注意的是在按照第三实施例和第三实施例的修改示例中所描述的方式考虑了脸部方向分数和对象眼睛方向分数之后选择最佳拍摄图像。
    <第五实施例>
    下面描述了当在最佳拍摄图像捕获模式下捕获图像时的用户界面。
    因为在照相机侧确定最佳拍摄图像捕获模式下的最佳拍摄图像的存储定时,因此利用声音或者显示指示器向用户通知已存储了图像。
    图11示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的示例。除了显示通过图像之外,显示单元14还显示可存储的最佳拍摄(BS)的最大数目(100)和已存储的最佳拍 摄的当前数目(8)。
    该安排可使用户看到仍可存储多少最佳拍摄图像。此外,当获得新的最佳拍摄时对已存储的最佳拍摄的当前数目的计数可使用户看到当存储最佳拍摄时的定时。
    图12A和12B示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的第二示例。
    图12A和12B所示的显示单元14显示的屏幕显示了最佳拍摄的当前数目以及直通图像(pass-through image)。此外,指示器的颜色根据已存储的最佳拍摄的当前数目而变化。
    具体地说,指示器的颜色逐步变化,当已存储的最佳拍摄的当前数目是最佳拍摄(BS)的最大数目的很小比例时指示器颜色是绿色,当当前数目大约是最大数目的一半时是黄色,并且当当前数目接近最大数目时是红色。
    在图12A所示的示例中,因为假如最佳拍摄(BS)的最大数目是"100",那么当已存储了八个最佳拍摄时以绿色显示数字"8"(参见图12A)并且当已存储了98个最佳拍摄时以红色显示"98"(参见图12B)。
    应该注意的是,本发明并不局限于根据由已存储的最佳拍摄的当前数目所构成的最佳拍摄的最大数目的比例而为已存储的最佳拍摄的数目改变指示器的颜色??梢越龅币汛娲⒌淖罴雅纳愕牡鼻笆拷咏畲笫渴笔怪甘酒鞲谋溲丈?。此外,本发明并不局限于改变指示器的颜色。例如,已存储的最佳拍摄的当前数目可以断续地闪烁。只要当当前数目接近最大数目时以显示已存储的最佳拍摄的当前数目的方式存在变化,则提供任何指示器都是可接受的。
    图13A和13B示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的第三示例。
    图13A所示的显示单元14的显示屏在小窗口中显示存储在存储媒介16中的最近的最佳拍摄的尺寸减小的图像以及通过图像。
    图13B所示的显示单元14的显示屏在小窗口中显示存储在存储媒介16中的最近五个最佳拍摄的尺寸减小的图像以及通过图像。当记录了新的最佳拍摄图像时,更新在显示单元14的显示屏上所显示的尺寸减小的最佳拍摄图像。
    应该注意的是在显示单元14的显示屏上所显示的尺寸减小的最佳拍摄图像的数目并不局限于当前实施例的数目。
    每当存储最佳拍摄图像时,音频控制单元38通过扬声器39产生声音(诸如快门的滴答声的耳朵捕获声音)以表示存储最佳拍摄图像的时刻。
    可以将已存储的最佳拍摄图像的数目、已存储图像的显示、以及在存储时刻的耳朵捕获声音进行组合可以改善可用性。
    <修改示例>
    在该实施例中,虽然数字照相机10用作示例,但是本发明可适用于监控照相机和移动电话中的照相机。此外可根据本实施例,制备用于使个人计算机等等起到图像处理设备的作用的图像处理程序、可将该图像处理程序安装在计算机上、并可使该计算机执行程序。当将该程序安装在计算机上时,可使用记录该程序的记录媒介。
    例如,可使用诸如被捕获为视频、TV图像等等的活动图像的连续拍摄的图像作为输入图像,从该输入图像中提取最佳拍摄图像,并且 将该最佳拍摄存储为静止图像。
    此外,本发明还可是上述实施例的适当组合。
    应该注意的是虽然已根据本发明对图像处理装置、图像捕获装置、图像处理方法、图像处理程序、以及记录媒介进行了详细的描述,但是本发明并不局限于这些示例并且在不脱离本发明的范围或者精神的情况下可按照多种方式对这些示例进行改善和修改。

    关于本文
    本文标题:图像处理装置、图像捕获装置、图像处理方法及记录媒介.pdf
    链接地址://www.4mum.com.cn/p-6143873.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 安徽时时快3奖金 赌场网玩法规则 香港神童一肖彩图 重庆时时提前3分钟开奖 pk10两码精准计划 大乐透基本走图进30期 2卦网正版一肖包平特 幸运飞艇助彩计划 重庆时时开奖结果500 排列三稳赚的投注技巧 手脚并用游戏规则 时时5星一期在线计划 稳赚不赔投注法 广东11选5计划软件新版 重庆时时在线预测软件 pk10最牛稳赚单双大小在线计划