• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 51
    • 下载费用:30 金币  

    重庆时时彩代理师傅: 图像处理装置、图像处理方法和程序.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201310136760.0

    申请日:

    2013.04.19

    公开号:

    CN103379291A

    公开日:

    2013.10.30

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):H04N 5/262申请公布日:20131030|||公开
    IPC分类号: H04N5/262; G06T5/50; G06T3/40 主分类号: H04N5/262
    申请人: 索尼公司
    发明人: 木村笃史
    地址: 日本东京
    优先权: 2012.04.26 JP 2012-100620
    专利代理机构: 中国国际贸易促进委员会专利商标事务所 11038 代理人: 马景辉
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201310136760.0

    授权公告号:

    |||

    法律状态公告日:

    2015.12.16|||2013.10.30

    法律状态类型:

    发明专利申请公布后的视为撤回|||公开

    摘要

    本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置,包括:接缝基准确定处理单元,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及接缝确定处理单元,只在基于所述接缝基准确定处理单元确定的所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

    权利要求书

    权利要求书
    1.  一种图像处理装置,包括:
    接缝基准确定处理单元,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及
    接缝确定处理单元,只在基于所述接缝基准确定处理单元确定的所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

    2.  根据权利要求1所述的图像处理装置,
    其中,由所述接缝基准确定处理单元确定的所述接缝基准用作线性基准线,所述线性基准线垂直于对一系列帧图像数据进行图像拍摄时的扫动方向。

    3.  根据权利要求1所述的图像处理装置,
    其中,所述接缝基准确定处理单元通过使反映所述被摄体信息的一维成本函数最优化来确定所述接缝基准。

    4.  根据权利要求1所述的图像处理装置,
    其中,所述接缝确定处理单元通过使反映所述被摄体信息的二维成本函数最优化来确定所述接缝。

    5.  根据权利要求4所述的图像处理装置,
    其中,所述接缝是不确定形状的线。

    6.  根据权利要求1所述的图像处理装置,
    其中,所述确定区域是相邻两个帧图像数据的重叠区域中的一个 区域,该区域落入分别在对一系列帧图像数据进行图像拍摄时的扫动方向上和其相反方向上与作为所述接缝基准的线相距预定距离的范围内。

    7.  根据权利要求6所述的图像处理装置,
    其中,可变化地设置将用于设置所述确定区域的所述预定距离。

    8.  根据权利要求1所述的图像处理装置,还包括:
    图像合成单元,基于所述接缝确定处理单元确定的每个接缝来合成每个帧图像数据,以产生使用所述n个帧图像数据的全景图像数据。

    9.  根据权利要求8所述的图像处理装置,
    其中,所述图像合成单元对相邻两个帧图像数据的范围执行混合处理,以合成所述两个帧图像数据,所述两个帧图像数据的所述范围落入分别在对一系列帧图像数据进行图像拍摄时的扫动方向上和其相反方向上与作为所述接缝的线相距预定距离的范围内。

    10.  根据权利要求1所述的图像处理装置,
    其中,在将用于产生全景图像的一系列n个帧图像数据的输入处理中,所述被摄体信息检测单元检测帧图像数据的被摄体信息,并且
    其中,在所述输入处理中,所述接缝基准确定处理单元顺序地执行处理以针对每组m+1个帧图像数据确定m个或更少的接缝基准,m是小于n的自然数。

    11.  根据权利要求10所述的图像处理装置,
    其中,每当所述接缝基准确定处理单元执行用于确定m个或更少接缝基准的处理时,所述接缝确定处理单元执行用于在基于每个确 定的接缝基准设置的确定区域内确定每个接缝的处理。

    12.  根据权利要求1所述的图像处理装置,还包括:
    被摄体信息检测单元,检测将用于产生全景图像的一系列n个帧图像数据的被摄体信息。

    13.  根据权利要求1所述的图像处理装置,
    其中,所述接缝基准确定处理单元使用第一分辨率的图像数据来确定所述接缝基准,并且
    所述接缝确定处理单元使用分辨率比所述第一分辨率的图像数据高的图像数据来确定所述接缝。

    14.  根据权利要求12所述的图像处理装置,
    其中,所述被摄体信息检测单元包括低分辨率被摄体信息检测单元和高分辨率被摄体信息检测单元,所述低分辨率被摄体信息检测单元检测低分辨率图像数据的被摄体信息,所述高分辨率信息检测单元检测高分辨率图像数据的被摄体信息,
    其中,所述接缝基准确定处理单元使用所述低分辨率被摄体信息检测单元得到的被摄体信息,针对帧图像数据确定所述接缝基准,并且
    所述接缝确定处理单元使用所述高分辨率被摄体信息检测单元得到的被摄体信息,针对至少帧图像数据的所述确定区域内的图像确定所述接缝。

    15.  一种图像处理方法,包括:
    接缝基准确定处理,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及
    接缝确定处理,只在基于所述接缝基准确定处理中确定的所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

    16.  一种使运算处理装置执行以下处理的程序:
    接缝基准确定处理,其使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及
    接缝确定处理,只在基于所述接缝基准确定处理中确定的所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

    说明书

    说明书图像处理装置、图像处理方法和程序
    技术领域
    本发明涉及用于产生全景图像的图像处理装置和图像处理方法并且涉及用于实现该图像处理装置和图像处理方法的程序。
    背景技术
    如在日本特许专利公开No.2010-161520(US2010/0171810A1)中描述的,已知由多个图像产生单个全景图像的图像处理。
    例如,用户在水平扫动相机的同时拍摄多个图像(帧图像数据),并且将这些图像合成来得到所谓的全景图像。
    这里,“扫动”是指为了得到用于产生全景图像的多个帧图像数据,当拍摄图像时通过图像拍摄设备的旋转运动来改变图像拍摄方向的操作。例如,当沿着水平方向改变图像拍摄方向时,扫动方向是水平方向。
    发明内容
    当产生全景图像时,确定相邻的拍摄图像之间的接缝,以合成图像。
    就确定接缝以合成图像而言,存在下列问题。
    在通过合成多个拍摄图像(多个帧图像数据)来产生全景图像的处理中,如果在将要拍摄的场景中存在移动被摄体,则该移动被摄体的一部分被断开或变得模糊,这造成图像的破绽和图像质量的降低。
    因此,在过去,已经提出了一种方法,其中在已经检测到移动被摄体之后,确定用于形成全景图像的接缝,以避开移动被摄体。
    在KenSho Iiyoshi和Wataru Mihashi的“Image mosaic generation method for generating panoramic image(用于产生全景图 像的图像拼接产生方法)”(图像实验室,日本工业出版有限公司(2008年6月))中描述的方法中,提出一种使用图论中的最短路径问题的解决方法的方法作为确定用于合成图像的接缝的方法。在这个方法中,由在两个相邻帧的重叠区域中已经计算出的成本值,计算最低成本的接缝。在移动被摄体中设置高成本并且在静止被摄体中设置低成本以生成图,并且确定最低成本的接缝。因此,可以按高精度确定具有给定形状的接缝,而没有使移动被摄体断开。
    然而,用于确定接缝的处理负荷较高,并且可能需要充足的资源如增大的计算能力和存储器容量。
    同时,在日本特许专利公开No.2009-268037(US2009/0290013A1)中,与过去相比,通过将二维被摄体信息(像素值、移动被摄体检测、面部检测、身体检测等)投影到一维扫动轴上,保持被摄体信息所需的存储器减少。另外,提出了以下方法:在垂直于扫动轴的方向上确定帧之间的连线(直线),而不使移动被摄体断开,从而抑制了在全景图像中移动被摄体被断开和因重叠造成的移动被摄体的模糊的风险,并且与二维搜索相比,处理的计算复杂度降低。
    另外,在这种方法中,还解决了用于防止多个接缝彼此相交的限制变得复杂以及计算成本增加的这类缺点。
    然而,在这种方法中,因为接缝限于垂直于扫动方向的直线,所以接缝搜索的灵活性低,并且在许多情况下,找不到不使移动被摄体断开的接缝。
    根据本发明的实施方式,就上述缺点而言,在产生全景图像的过程中,可以设置具有高度灵活性的接缝而不增加处理负担。
    根据本发明的实施方式,提供了一种图像处理装置,所述图像处理装置包括:接缝基准确定处理单元,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及接缝确定处理单元,只在基于所述接缝基准确定处理单元确定的所述接缝基准设置的 确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。
    根据本发明的实施方式,提供了一种图像处理方法,所述图像处理方法包括:接缝基准确定处理,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及接缝确定处理,只在基于所述接缝基准确定处理中确定的所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。
    根据本发明的实施方式,提供了一种致使运算处理装置执行以上处理的程序。
    根据本发明的这些技术,为了确定用于合成两个帧图像数据的接缝,首先,确定将用作接缝基准的基准线。然后,基于接缝基准设置确定区域。例如,接缝基准可以是用于粗略选择其中不存在移动被摄体的部分等的线。然后,确定区域可以是其中例如接缝基准用作中心线的区域。这个确定区域是其中两个帧图像数据彼此重叠(也就是说,可以针对其搜索接缝)的最大范围的区域的一部分。然后,只在确定区域内,基于被摄体信息确定接缝。通过只限于确定区域内,即使通过二维成本函数计算等搜索不确定形状线状的接缝,处理负担也没有过度增加,并且有效搜索变得可能。
    根据本发明的技术,在产生全景图像的过程中,变得可以按高精度和高灵活度设置接缝,而通过减少存储器容量和计算成本,不增加处理负担。结果,可以用高速处理实现高质量的全景图像。
    附图说明
    图1是根据本发明的实施方式的图像拍摄设备的框图;
    图2是在全景图像拍摄过程中得到的一组图像的描述性图示;
    图3是在全景图像拍摄过程中的帧图像数据中的接缝的描述性图示;
    图4是全景图像的描述性图示;
    图5是根据实施方式的执行全景合成处理的图像处理装置的描述性图示;
    图6是根据实施方式的成本函数(cost function)的描述性图示;
    图7是根据实施方式的反映成本函数的空间条件的描述性图示;
    图8是根据实施方式的各帧之间的成本函数的关系的描述性图示;
    图9是根据实施方式的接缝基准和确定区域的描述性图示;
    图10是根据实施方式确定的接缝的描述性图示;
    图11是根据实施方式的二维搜索的描述性图示;
    图12是根据实施方式的混合处理的描述性图示;
    图13是根据实施方式的以可变方式设置确定区域的例子的描述性图示;
    图14是根据实施方式的以不对称方式设置确定区域的例子的描述性图示;
    图15是根据实施方式的图像处理的另一个例子的描述性图示;
    图16是根据实施方式的全景合成处理例子I的流程图;
    图17是根据实施方式的全景合成处理例子II的流程图;
    图18是根据实施方式的在输入处理中确定接缝基准的描述性图示;
    图19是根据实施方式确定接缝基准之后的存储区域的描述性图示;
    图20是根据实施方式的全景合成处理例子III的流程图;以及
    图21是根据实施方式的计算装置的框图。
    具体实施方式
    下文中,将参照附图详细描述本发明的优选实施方式。注意的是,在本说明书和附图中,用相同的基准标号表示具有基本相同功能 和结构的结构元件,并且省略对这些结构元件的重复说明。
    本领域的技术人员应该理解,可以根据设计要求和其它因素出现子合成形式和变化形式,只要它们落入所附权利要求书或其等同物的范围内。
    下文中,将按以下次序描述实施方式。注意的是,在实施方式中,包括本发明的实施方式的图像处理装置的图像拍摄设备将被作为例子示出。
    <1.图像拍摄设备的构造>
    <2.全景合成功能的概述>
    <3.实施方式的全景合成算法>
    <4.确定区域的设置例子>
    <5.低分辨率图像/高分辨率图像的使用>
    <6.全景合成处理例子I>
    <7.全景合成处理例子II>
    <8.全景合成处理例子III>
    <9.程序和计算装置的应用>
    <10.修改例>
    <1.图像拍摄设备的构造>
    图1示出包括本发明的实施方式的图像处理装置的图像拍摄设备1的构造例子。
    图像拍摄设备1包括镜头单元100、图像拍摄装置101、图像处理单元102、控制单元103、显示单元104、存储器单元105、记录装置106、操作单元107和传感器单元108。
    镜头单元100收集被摄体的光学图像。镜头单元100具有根据来自控制单元103的指令调节焦距、物距、光圈等使得可以得到合适图像的机构。
    图像拍摄装置101执行光电转换,将镜头单元100收集的光学图像转换成电信号。具体地,由CCD(电荷耦合器件)图像传感器、 CMOS(互补金属氧化物半导体)图像传感器等实现图像拍摄装置101。
    图像处理单元102由取样电路、A/D转换电路、图像处理电路等构成,取样电路对来自图像拍摄装置101的电信号取样,A/D转换电路将模拟信号转换成数字信号,图像处理电路对数字信号执行预定的图像处理。这里,图像处理单元102被示出为执行获得通过图像拍摄装置101的图像拍摄得到的帧图像数据的处理以及合成为全景图像的处理,随后将描述这些处理。
    图像处理单元102不仅包括专用硬件电路而且还包括CPU(中央处理单元)和DSP(数字信号处理器),并且能够进行软件处理来响应灵活的图像处理。
    控制单元103由CPU和控制程序构成并且控制图像拍摄设备1的每个单元。其控制程序实际被存储在存储器单元105中并且由CPU执行。
    本实施方式中的用于合成为全景图像的处理(随后要描述的全景合成处理I、II、III等)由控制单元103和图像处理单元102执行。随后将描述处理的细节。
    显示单元104由D/A转换电路、视频编码器和显示装置构成,D/A转换电路将已经过图像处理单元102处理并且被存储在存储器单元105中的图像数据转换成模拟数据,视频编码器将模拟图像信号编码成在后续阶段适于显示装置的格式的视频信号,显示装置显示与所输入的视频信号对应的图像。
    显示装置例如由LCD(液晶显示器)、有机EL(电致发光)面板等实现并且还具有作为取景器的功能。
    存储器单元105由半导体存储器如DRAM(动态随机存取存储器)构成,经过图像处理单元102处理的图像数据、控制单元103中的控制程序、各种数据等被暂时记录在存储器单元105中。
    记录装置106由记录介质(如半导体存储器(例如,闪存存储器)、磁盘、光盘和磁光盘)以及用于记录介质的记录回放系统电路 /机构构成。
    在图像拍摄设备1进行图像拍摄时,记录装置106将已经被图像处理单元102编码成JPEG(联合图像专家小组)格式并且已经被存储在存储器单元105中的JPEG图像数据记录在记录介质中。
    在回放时,记录介质中存储的JPEG图像数据被加载到存储器单元105上,并且由图像处理单元102对其执行解码处理。经解码的图像数据可以在显示单元104中显示或者可以通过外部接口(未示出)输出到外部装置。
    操作单元107包括硬件按键如快门按钮和输入装置如操作盘和触摸面板。操作单元107检测拍摄者(用户)的输入操作并且将该输入操作传送到控制单元103??刂频ピ?03根据用户的输入操作确定图像拍摄设备1的操作并且控制各个单元来执行合适的操作。
    传感器单元108由陀螺仪传感器、加速度传感器、磁场传感器、GPS(全球定位系统)传感器等构成并且检测各种信息。这些信息作为元数据被添加到拍摄图像数据并且还被用于各种图像处理和控制处理。
    图像处理单元102、控制单元103、显示单元104、存储器单元105、记录装置106、操作单元107和传感器单元108通过总线109相互连接并且相互交换图像数据、控制信号等。
    <2.全景合成功能的概述>
    随后,将描述图像拍摄设备1中包括的全景合成功能的概述。
    本实施方式的图像拍摄设备1可以通过对多个静止图像(帧图像数据)执行合成处理来产生全景图像,多个静止图像是当拍摄者在将图像拍摄设备1绕旋转轴旋转移动的同时拍摄图像而得到的。
    图2A示出在全景图像拍摄过程中的图像拍摄设备1的移动。在拍摄全景图像时,期望的是,在拍摄图像时旋转的中心位于被称为节点(对于镜头是唯一的并且不造成视差)的点处,使得远距离视图和短程视图之间的视差在合成图像时不会造成接缝处不自然。
    在全景图像拍摄时图像拍摄设备1的旋转运动被称为“扫动”。
    图2B是通过布置改变通过扫动图像拍摄设备1得到的多个静止图像的情形的概念图示。在通过图像拍摄得到的静止图像之中,以图像拍摄的时间次序从时间0到时间(n-1)拍摄的帧图像数据被示出为帧图像数据FM#0、FM#1、…、FM#(n-1)。当要由n个静止图像产生全景图像时,对如图中所示连续拍摄的一系列n个帧图像数据FM#0至FM#(n-1)执行合成处理。
    如图2B中所示,因为通常要求每个拍摄的帧图像数据具有与相邻的帧图像数据重叠的部分,所以可能需要合适地设置图像拍摄设备1拍摄每个帧图像数据的时间间隔和拍摄者扫动速度的上限值。
    如此布置的一组帧图像数据具有大量的重叠部分。因此,在每个帧图像数据中,可能需要确定用于最终全景图像的区域?;痪浠敖?,就是要确定全景合成处理过程中图像之间的接缝。
    图3A和图3B示出接缝SM的例子。
    如图3A中所示,接缝可以是垂直于扫动方向的直线,或者如图3B中所示,接缝可以是非直线的(例如,弯曲的)。
    在图3A和图3B中,接缝SM0指示帧图像数据FM#0和FM#1之间的接缝,接缝SM1指示帧图像数据FM#1和FM#2之间的接缝,…,并且接缝SM(n-2)指示帧图像数据FM#(n-2)和FM#(n-1)之间的接缝。
    这些接缝SM0至SM(n-2)用作相邻图像被合成时其间的接缝,因此每个帧图像数据中的带阴影部分变成最终全景图像中不使用的图像区域。
    另外,当执行全景合成时,在某些情况下,为了降低接缝周围图像的不自然程度,还对接缝附近的图像区域执行混合处理。随后在图12中将描述混合处理。
    存在通过在大范围上执行混合处理来连接各个帧图像数据的共有部分的情况或者从共有部分中针对每个像素选择对全景图像做出贡献的像素的情况。在这些情况下,尽管接缝不是清晰地存在,但这种大 范围的连接部分也可以被视为广义上的接缝。
    另外,如图2B中所示,作为布置各个帧图像数据的结果,通常不仅观察到扫动方向上的略微移动而且还观察到垂直于扫动的方向上的略微移动。这是由于拍摄者在扫动时的手部抖动等而出现的移动。
    通过确定每个帧图像数据的接缝,通过对其边界区域执行混合处理进行连接,并且最后在考虑到手部抖动量的情况下在垂直于扫动的方向上修剪不必要部分,可以得到如图4A中所示的扫动方向是长边方向时具有广视野角度的全景图像。
    在图4A中,不确定形状的垂直线指示接缝,在这种状态下,n个帧图像数据FM#0至FM#(n-1)分别连接于接缝SM0至SM(n-2),以产生示意性示出的全景图像。
    注意的是,尽管下文中将描述细节,但作为本实施方式中的用于确定接缝的处理,在第一阶段中,首先确定如在图4B中用作直线基准线的接缝基准aSM0至aSM(n-2)。然后,在第二阶段中,搜索各个接缝基准aSM0至aSM(n-2)的周围区域,以确定如图4A中所示的具有不确定形状的线的接缝SM0至SM(n-2)。
    <3.实施方式的全景合成算法>
    现在,将详细描述本实施方式的图像拍摄设备1中的全景合成处理。
    图5示出在作为功能构造的用于全景合成处理的图像处理单元102和控制单元103中执行的处理和由这些功能构造执行的处理。
    如用虚线指示的,这些功能构造包括被摄体信息检测单元20、接缝确定处理单元21、图像合成单元22、全景合成准备处理单元23和接缝基准确定处理单元24。
    在全景图像产生过程中要使用的一系列n个帧图像数据的输入处理中,被摄体信息检测单元20检测每个帧图像数据的被摄体信息。
    在这个例子中,被摄体信息检测单元20执行移动被摄体检测处 理202和检测/识别处理203。
    接缝基准确定处理单元24执行处理(接缝基准确定处理207),以使用已经由被摄体信息检测单元20检测的被摄体信息,得到用作确定相邻帧图像数据之间的接缝SM的基准线的接缝基准aSM(aSM0至aSM(n-2))。
    接缝确定处理单元21执行处理(接缝确定处理205),以使用已经由被摄体信息检测单元20检测的被摄体信息,只在基于已经由接缝基准确定处理单元24确定的相邻帧图像数据之间的接缝基准aSM设置的确定区域内,确定相邻帧图像数据之间的重叠范围内的相邻帧图像数据之间的接缝SM。
    图像合成单元22执行接合处理206,通过根据已经由接缝确定处理单元21确定的接缝SM0至SM(n-2)合成每个帧图像数据FM#0至FM#(n-1),使用n个帧图像数据来产生全景图像数据。
    全景合成准备处理单元23执行例如预处理200、图像注册处理201和再投影处理204作为以高精度执行全景合成的准备处理。
    为了实现本实施方式的操作,优选地包括被摄体信息检测单元20、接缝基准确定处理单元24、接缝确定处理单元21和图像合成单元22。然而,可以由外部装置执行图像合成单元22中的处理或被摄体信息检测单元20中的处理,在这种情况下,本实施方式的图像处理装置至少包括接缝基准确定处理单元24和接缝确定处理单元21。
    换句话讲,在图像处理装置被嵌入图像拍摄设备1中或者图像处理装置在随后将描述的信息处理装置(如计算装置)中实现或者图像处理装置被实现为单个装置的情况下,图像处理装置包括接缝确定处理单元21和接缝基准确定处理单元24。在一些情况下,图像处理装置还包括图像合成单元22和被摄体信息检测单元20中的一者或两者。
    将描述每个处理。
    要经受预处理200的输入图像组包括在拍摄者用图像拍摄设备1执行全景图像拍摄的同时顺序得到的帧图像数据FM#0、FM#1、 FM#2、…
    首先,全景合成准备处理单元23对通过拍摄者的全景图像拍摄操作拍摄得到的图像(每个帧图像数据)执行全景合成处理的预处理200。假定这里要输入的图像已经受与正常图像拍摄类似的图像处理。
    输入的图像已受到根据镜头单元100的特性产生的像差的影响。具体地,镜头的失真像差不利地影响图像注册处理201并且降低布置的精度。另外,失真像差还造成合成全景图像中在接缝周围有人工痕迹。因此,在预处理200中校正失真像差。校正失真像差可以使得移动被摄体检测处理202和检测/识别处理203中的精度提高。
    随后,全景合成准备处理单元23对已经经受预处理200的帧图像数据执行图像注册处理201。
    在全景合成过程中,多个帧图像数据经受向单一坐标系的坐标变换,并且这个单一坐标系将被称为全景坐标系。
    图像注册处理201是其中输入两个连续的帧图像数据并且执行在全景坐标系上的布置的处理。通过对两个帧图像数据的图像注册处理201得到的信息只是两个图像坐标之间的相对关系。然而,通过选择多个图像坐标系中的一个(例如,第一帧图像数据的坐标系)并且将其固定到全景坐标系上,所有帧图像数据的坐标系可以被转换成全景坐标系。
    将在图像注册处理201中执行的具体处理被大致地分成以下两个处理:
    1.检测图像中的本地移动
    2.由以上得到的有关本地移动的信息,得到在整个图像中的全
    局移动
    在上述1的处理中,通常使用
    ·块匹配
    ·特征点提取和特征点匹配如Harris、Hessian、SIFT、SURF、FAST等
    来得到图像中的特征点的本地矢量。
    在上述2的处理中,当通过上述1的处理得到的本地矢量组作为输入时,使用稳健估计如
    ·最小二乘法
    ·M估计法(M-estimator)
    ·最小平方中值法(LMedS)
    ·RANSAC(随机抽样一致)
    来得到描述两个坐标系之间的关系的最佳仿射变换矩阵或投影变换矩阵(对应性)。在本说明书中,这种信息被称为图像注册信息。
    全景合成准备处理单元23执行再投影处理204。
    在再投影处理204中,整个帧图像经受基于通过图像注册处理201得到的图像注册信息向单个平面或单个弯曲表面(如圆柱形表面或球形表面)上的投影处理。同时,移动被摄体信息和检测/识别信息也经受向同一平面或弯曲表面上的投影处理。
    在考虑到像素处理被最优化的情况下,可以执行帧图像数据的再投影处理204作为接合处理206的前段处理或作为接合处理206的一部分。另外可选择地,这可以只在例如作为预处理200的一部分的图像注册处理201之前执行。更简单地,该处理本身可以不执行并且可以被看作圆柱形投影处理的近似。
    被摄体信息检测单元20对已经经受预处理200的每个帧图像数据执行移动被摄体检测处理202和检测/识别处理203。
    在全景合成处理中,由于其本质是合成多个帧图像数据,如果在要拍摄的场景中存在移动被摄体,则移动被摄体的一部分被断开或模糊,从而造成图像的破绽且图像质量降低。因此,优选的是在已经检测到移动被摄体之后,确定全景中的接缝以避开移动被摄体。
    移动被摄体检测处理202是其中输入两个或更多个连续的帧图像数据并且检测移动被摄体的处理。在具体的处理例子中,当实际上已经根据通过图像注册处理201得到的图像注册信息而布置的两个帧图像数据之间的像素差值等于或大于阈值时,判定该像素是移动被摄 体。
    另外可选择地,可以使用在图像注册处理201中已经用稳健估计判定为异常值的特征点信息来进行判定。
    在检测/识别处理203中,检测所拍摄的帧图像数据中的人、动物等的面部或身体的位置信息。人和动物有可能是移动被摄体。即使他们没有移动,当全景中所确定的接缝位于该被摄体上时,通常造成与其它被摄体相比视觉上感到不舒服,因此优选的是确定接缝以避开这些被摄体。也就是说,通过检测/识别处理203得到的信息用于补偿来自移动被摄体检测处理202的信息。
    接缝基准确定处理207和接缝确定处理205是用于用来自再投影处理204的图像数据、来自图像注册处理201的图像注册信息、来自移动被摄体检测处理202的移动被摄体信息和来自检测/识别处理203的检测/识别信息作为输入,以更少的破绽为全景图像确定合适的接缝SM。
    此时,在接缝基准确定处理207中,最佳接缝基准aSM被确定作为垂直于扫动方向的直线基准线。
    另外,在接缝确定处理205中,通过在确定区域(即接缝基准确定处理207中确定的接缝基准aSM的周围区域)内进行搜索,确定不确定形状线的最佳接缝SM。
    以此方式,执行两阶段的处理,其中,首先确定最佳基准线用作接缝基准aSM并且随后在基于该基准线的确定区域内确定不确定形状线的最佳接缝SM。
    这里,接缝基准aSM可以据说是简单得到的接缝。从这个意义上来看,可以说,这个两阶段处理是首先简单地确定直线接缝并在此后在该直线接缝的周围区域用作确定区域的情况下以高精度设置接缝。也就是说,根据图像内容确定最佳的最终接缝(不确定形状线的接缝),而不管最终接缝是直线还是非直线的。
    将描述由接缝基准确定处理单元24进行的接缝基准确定处理207的具体处理。
    首先,将参照图6描述重叠区域中的成本函数的定义。
    在全景坐标系中,扫动方向上的坐标轴是x轴,并且垂直于x轴的轴是y轴。假设在ak≤x≤bk的区域中在时刻k拍摄的帧图像数据FM#(k)和在时刻k+1拍摄的帧图像数据FM#(k+1)彼此重叠,如图6A中所示。
    成本函数fk(x)被定义为重叠区域(ak至bk)中的来自移动被摄体检测处理202的移动被摄体信息和来自检测/识别处理203的检测/识别信息被合适地赋予权重并且所有这些信息在已经在x轴方向上投影之后被整合。
    也就是说,
    [等式1]
    fk(x)=ΣiΣymoi(x,y)&CenterDot;wmoi(x,y)+ΣiΣydetj(x,y)&CenterDot;wdeti(x,y)]]>
    在上式中,定义为
    ·moi=0、1:移动被摄体检测信息(0≤i≤Nmo-1)
    ·wmoi:移动被摄体检测信息的加权函数(0≤i≤Nmo-1)
    ·detj=0、1:检测/识别信息(0≤j≤Ndet-1)
    ·wdetj:检测/识别信息的加权函数(0≤j≤Ndet-1)
    这意味着,成本函数值越高,这一行上的移动被摄体(一个或多个)和被摄体(一个或多个)如人体越多。如上所述,为了使全景图像中的破绽最少,将确定最终接缝SM(和接缝基准aSM)以避开这些被摄体。因此,可以针对接缝基准的位置,选择其中成本函数值低的x坐标值。
    通常,对一侧具有几个或几十个像素的每个块,执行移动被摄体检测处理202和检测/识别处理203,因此成本函数fk(x)是其中x由整数值定义的离散函数。
    当例如移动被摄体检测信息的加权函数wmoi是移动被摄体的移动量大小时,其中被摄体移动量较大的区域不太可能被用作接缝SM(和接缝基准aSM)。
    图6A示出帧图像数据FM#(k)和FM#(k+1)的重叠区域(ak至 bk)中的移动被摄体信息和检测/识别信息的可应用像素块。在这种情况下,例如,在x轴上在ak≤x≤bk的范围内通过上述的成本函数fk(x)(等式1)得到的成本值如图6B中所示。
    具有最低成本值的x坐标值(xk)用作适于作为两个帧图像数据FM#(k)和FM#(k+1)之间的接缝SM(和接缝基准aSM)的位置。
    在接缝基准确定处理207中,使用如上述的成本函数,计算适于用作接缝基准aSM的x坐标值。
    要认识到,这里现在为止给出的描述只是针对两个帧图像数据之间的成本函数中观察到的情况。如图4中所述,通过将n个帧图像数据FM#0至FM#(n-1)连接于接缝SM0至SM(n-2),产生全景图像。在这种情况下,可能需要将接缝SM0至SM(n-2)的合成最优化。例如,将合成最优化,使得不会在图4A中发生接缝SM2出现在接缝SM1左边的这种情况。
    就本实施方式而言,接缝确定处理单元21进行的接缝确定处理205在如上所述的基于接缝基准aSM的确定区域内确定接缝SM。也就是说,在基于接缝基准aSM0至aSM(n-2)中的每一个的确定区域内,确定接缝SM0至SM(n-2)中的每一个。
    因此,为了将接缝确定处理205中得到的最终接缝SM0至SM(n-2)的合成最优化,可以把各个帧图像数据之间将得到的接缝基准aSM0至aSM(n-2)的合成最优化。
    因此,在接缝基准确定处理单元24进行的接缝基准确定处理207中,不是简单地确定两个帧图像数据之间的接缝基准。随后将对此进行详细描述。
    考虑到,根据检测器类型(如用于面部检测或人体检测)改变检测/识别信息的加权函数wdetj,或者使加权函数wdetj是根据检测到的坐标进行检测或改变使得成本函数值被调节时的可靠性(分数值)。
    另外,在移动被摄体检测处理202和检测/识别处理203的检测精确度和可靠性不同的情况下,与具有较低检测精确度和较低可靠性 的加权函数相比,具有较高精确度和较高可靠性的加权函数可以被设置得较高,以将检测精确度和可靠性反映到成本函数上。
    以此方式,在接缝基准确定处理单元24中,成本函数fk(x)可以用作反映被摄体信息可靠性的函数。
    另外,接缝基准确定处理单元24可以使成本函数成为反映图像空间条件的成本函数f'k(x)。
    也就是说,尽管在上述(等式1)中成本函数fk(x)只由移动被摄体信息和检测/识别信息定义,但新成本函数f'k(x)是由相对于成本函数fk(x)的g(x,fk(x))定义的。
    [等式2]
    f'k(x)=g(x,fk(x))
    使用新的成本函数f'k(x)使得可以调节不能仅使用移动被摄体信息和检测/识别信息来表示的空间成本值。
    通常,图像周围部分的图像质量往往会次于其中心部分的图像质量,这是由于镜头像差的影响。因此,期望图像的周围部分尽可能不用于全景图像。为此目的,可以在重叠区域中心的附近确定接缝。
    因此,可以使用如下所示的g(x,fk(x))定义成本函数f'k(x)。
    [等式3]
    fk,(x)=g(x,fk(x))=t0&CenterDot;|x-bk-ak2|&CenterDot;fk(x)+t1]]>
    在上式中,t0和t1是正的常数值。
    将在图7中示意性描述反映空间条件的成本函数f'k(x)。
    图7A示出重叠区域(ak至bk)中通过上述(等式1)的成本函数fk(x)得到的成本值。尽管在图6B中用曲线示出成本值,但实际上如图7中所示成本值呈现为柱状图形式,因为成本函数fk(x)是其中x是用整数值定义的离散函数。
    在这种情况下,因为在图中成本值是x坐标值的xp至xq范围内的最小值,所以坐标值xp至xq的范围内的任何x坐标值可以用作接缝基准。然而,如上所述,期望接缝基准aSM(和最后的最终 接缝SM)尽可能位于重叠区域中心的附近。
    上述(等式3)的项t0﹒|x-(bk-ak)/2|意味着提供如图7B中所示的系数。也就是说,该项是这样一种系数,距离图像的中心越近成本变得越低。这里,(等式3的)t1是用于防止在成本函数fk(x)得到的成本值是0(其中不存在移动被摄体等的部分)的情况下根据系数消除成本值之差的偏离值。
    重叠区域(ak至bk)中通过上式(等式3)的成本函数f'k(x)得到的成本值证实是如图7C中所示,因为最终反映了如图7B中的系数值。然后,选择坐标值xp作为接缝基准aSM。也就是说,该函数使得尽可能在重叠区域中心的附近确定最终接缝SM。
    例如,通过如上式中合适地设计成本函数,可以在考虑到各种条件的情况下选择最佳接缝基准aSM。
    到现在为止,已经描述了可以得到成本函数值变成最小值的位置以确定两个帧图像数据的重叠区域中的最佳接缝基准aSM。
    随后,将描述当合成n(n>2)个帧图像数据时得到接缝基准aSM0至aSM(n-2)的最佳合成的方法。
    当考虑的是n个帧图像数据FM#0至FM#(n-1)时,重叠区域的数量是n-1,并且将定义的成本函数的数量也是n-1。
    图8示出对于考虑n个帧图像数据的情况的成本函数的关系。也就是说,图8示出帧图像数据FM#0和FM#1之间的成本函数f0、帧图像数据FM#1和FM#2之间的成本函数f1、…和帧图像数据FM#(n-2)和FM#(n-1)之间的成本函数fn-2。
    为了全景合成n个帧图像数据并且总体地选择最佳接缝,可以得到使[等式4]
    F(x0,x1,&CenterDot;&CenterDot;&CenterDot;,xn-2)=Σk=0n-2fk(xk)]]>
    最小化的x0、x1、…和xn-2。
    这里,xk是满足以下条件的整数:
    ·xk-1+α≤xk≤xk+1-α(接缝的限制)
    ·ak≤xk≤bk(成本函数的范围)
    这里,α是定义相邻接缝基准aSM(或接缝SM)的最小间隔的常数值。
    用于使上式(等式4)最小化的问题通常被称为合成最优化问题,并且已知的是以下的求解方法。
    ·得到精确解的求解方法
    -分支限界方法
    -记忆法
    -动态规划法
    -图像分割
    ·得到近似解的求解方法
    -本地搜索方法(登山法)
    -模拟退火算法
    -禁忌搜索
    -遗传算法
    可以通过上述方法中的任一种解决(等式4)的最小化问题。
    通过上述处理,可以确定作为垂直于扫动方向的直线的最佳接缝基准aSM0至aSM(n-2)。
    这里,已经讨论了其中相对于将被全景合成的所有帧图像数据FM#0至FM#(n-1)分别得到相邻帧图像数据之间的n-2个接缝基准aSM0至aSM(n-2)。这个方法将被用于随后将描述的作为具体处理例子的全景合成处理例子I中。
    然而,在全景合成处理例子II和III中,对于将被用于全景图像产生的一系列n个帧图像数据的输入处理中的每组(m+1)个帧图像数据(这里,m<n),通过最佳位置确定处理得到接缝基准aSM0至aSM(m-1),其中最佳位置确定处理使用被摄体信息检测单元20检测到的被摄体信息。然后,在一系列帧图像数据的输入处理中顺序执行用于确定m个或更少接缝基准的处理。
    以此方式,当对m+1个帧图像数据顺序执行用于得到m个接缝 基准的处理(这里,m<n)时,可以得到使上式(等式4)最小化的m个接缝基准(例如,x0、x1、……和xm)。
    在图9中示出如上所述由接缝基准确定处理单元24确定的接缝基准aSM的例子和基于接缝基准aSM的确定区域AR1的例子。
    图9示出帧图像数据FM#(k)和FM#(k+1)的重叠区域(ak至bk)中的接缝基准aSM(k)。在这种情况下,假设已经设定成本函数fk(x),并且通过上式(等式4)的合成最优化,将x坐标值(xk)最终确定为两个帧图像数据FM#(k)和FM#(k+1)之间的接缝基准aSM(k)。
    接缝基准aSM(k)是如图中所示的垂直于扫动方向(x轴方向)的直线。
    然后,例如,在扫动方向及其相反方向上距离用作接缝基准aSM(k)的线的预定距离β内的范围,即,x坐标值的范围从(xk-β)至(xk+β)的阴影区域被定义为确定区域AR1。
    在通过接缝确定处理单元21进行的接缝确定处理205中,只针对于这个确定区域AR1执行二维成本搜索,以确定最终接缝SM。
    现在,将描述接缝确定处理205中的具体处理。
    考虑到,在直线接缝(也就是说,用作接缝基准aSM的直线)的邻近区域附近,存在没有断开移动被摄体并且作为全景图像破绽较少的不确定形状的接缝。因此,在接缝确定处理205中,只在接缝基准aSM附近的确定区域AR1内部分地进行搜索,并且确定最佳的不确定形状接缝SM。
    在图10A中示出不确定形状接缝SM的例子。在确定区域AR1内确定该接缝SM。
    在针对帧之间的整个重叠区域(ak至bk)执行最优化的情况下,如此得到的不确定形状接缝SM是相对于不确定形状接缝的足够精度的近似解。
    也就是说,在没有在整个重叠区域(ak至bk)上进行搜索的情况下,通过将搜索收窄至范围从(xk-β)至(xk+β)的确定区域AR1内, 可以在大大减小处理负担的同时,以不亚于在整个重叠区域(ak至bk)上进行搜索的情况的精度的精度来确定接缝。
    这里,仍然通过确定区域AR1内的二维成本搜索得到确定的接缝SM,因此将被确定为最终接缝SM的线的形状是不确定的。例如,它可以是如图10A中的蛇形曲线或者可以是如图10B中所示的折线。另外,它可以是如图10C中的直线或者可以是如图10D中的其中曲线部分和直线部分相连的线。
    现在,将描述用于得到确定区域AR1内的最佳不确定形状接缝SM的方法。
    成本函数gk(x,y)被定义为,作为
    确定区域AR1的(xk-β)至(xk+β)中的来自移动被摄体检测处理202的移动被摄体信息和来自检测/识别处理203的检测/识别信息被分别合适地赋予权重。
    与上述接缝基准确定处理207的情况下的成本函数不同,不执行一维投影,因此它是两个变量的函数。
    也就是说,
    [等式5]
    gk(x,y)=Σimoi(x,y)&CenterDot;wmoi(x,y)+Σidetj(x,y)&CenterDot;wdeti(x,y)]]>
    在上式中,定义为
    ·moi=0、1:移动被摄体检测信息(0≤i≤Nmo-1)
    ·wmoi:移动被摄体检测信息的加权函数(0≤i≤Nmo-1)
    ·detj=0、1:检测/识别信息(0≤j≤Ndet-1)
    ·wdetj:检测/识别信息的加权函数(0≤j≤Ndet-1)
    另外,作为另一个成本函数,可以选择确定区域AR1中的像素亮度差的绝对值。也就是说,
    [等式6]
    gk(x,y)=|Ik(x,y)-Ik+1(x,y)|]]>
    这里,Ik(x,y)是帧FM#(K)中在全景坐标(x,y)处的像素的亮度 值。
    关于这些成本函数,通常已知的作为用于得到使成本最小化的不确定形状路径的方法是
    ·动态规划法
    ·图像分割法
    并且可以通过得到伪多项式时间得到精确解。
    通过上述处理,在两个帧之间的重叠区域中,可以确定极其接近最佳的接缝SM。
    图11示出用于用具有两个变量的函数通过目标搜索得到接缝SM的处理的图像。图11是示意图,其中垂直轴指示用作确定区域AR1的x坐标范围和y坐标范围中的每个像素的成本值。
    使成本最小化的不确定形状路径是遵循图11中示出的图中的低谷部分的路径。也就是说,该路径是用粗虚线示出的接缝SM(k)。
    通常,用针对两个帧的整个重叠区域搜索不确定形状接缝的方法,可能需要保持大范围的二维成本函数,因此所使用的存储器量增加。另外,因为搜索范围广,所以计算成本也增加。
    另外,在多个重叠区域本身相互重叠的情况下,所得到的不确定形状接缝可以相互相交,在这种情况下,可能需要执行异常处理或者可能需要应用复杂限制。
    相反,用本实施方式的方法,因为只在作为直线接缝得到的接缝基准aSM附近的确定区域AR1内进行二维搜索,所以用于保持成本函数的存储器的量以及计算成本较少。另外,如果当得到接缝基准aSM时的限制α和当得到最终接缝SM时的限制β之间的关系被设置为α≥β,则没有多个不确定形状接缝SM相互相交的那种风险,因此处理得以简化。
    结果,处理速度提高。
    在图5中的图像合成单元22中,执行接合处理206。
    在接合处理206中,最终,使用有关在接缝确定处理205中确定的接缝SM0至SM(n-2)和帧图像数据FM#0至FM#(n-1)的所有的信 息,产生全景图像。
    在这种情况下,尽管相邻的帧图像数据可以简单地连接于接缝处,但优选的是执行混合处理以提高图像质量。
    在图12中将描述混合处理的例子。图12示意性示出将合成的帧图像数据FM#(k)和FM#(k+1)。用粗线示出确定的接缝SM(k)。
    这里,帧图像数据FM#(k)和FM#(k+1)沿着y轴的重叠区域的范围是y1至y2。
    另外,其中y坐标=y1的接缝SM的x坐标值是x1,其中y坐标值=y2的接缝SM的x坐标值是x2。
    图像合成单元22对图示为阴影部分的混合区域BL执行混合处理,以合成两个帧图像数据,因此接缝处的不自然程度降低,所述阴影部分在扫动方向及其相反方向上与用作接缝SM的线相距预定距离γ的范围内。
    至于y坐标值=y1,x1-γ至x1+γ的范围落入混合区域BL内。至于y坐标值=y2,x2-γ至x2+γ的范围落入混合区域BL内。
    关于除了以上之外的区域(重叠区域的不带阴影部分),像素值只是被复制或者只是执行在全景坐标系上重新取样,并且合成所有的图像。
    通过以下的计算执行混合处理。
    [等式7]
    PIk(x,y)=γ+xk-x2γ&CenterDot;Ik(x,y)+γ-xk+x2γ&CenterDot;Ik+1(x,y)]]>
    PIk(x,y):全景图像在全景坐标(x,y)处的像素值
    Ik(x,y):帧图像数据FM#(k)在全景坐标(x,y)处的像素值
    也就是说,可以相对于阴影的混合区域BL内的y1至y2中的每个y坐标执行上式(等式5)的计算,以执行混合处理。
    通过上述由图像合成单元22进行的接合处理206,可以由n个帧图像数据得到全景合成图像。
    <4.确定区域的设置例子>
    现在,将描述设置确定区域AR1的各种例子。
    如图9中所示,考虑到,将确定区域AR1设置成沿着x轴在±方向上与接缝基准aSM相距距离β的范围内的区域。
    可以假设这个距离β的各种具体设置例子。例如,β的值可以是固定值或者可以被变化地设置。
    如果距离β被设置成固定的像素数量PX,则一旦确定了接缝基准aSM,确定区域AR1就被唯一地确定为与接缝基准aSM的x坐标值x相距±PX的范围。也就是说,它的范围是(xk-PX)至(xk+PX)。
    然而,在这种情况下,确定区域AR1的x坐标范围(xk-PX)至(xk+PX)可以变得等于或大于帧的重叠区域(ak至bk)。如果是这种情况,则确定区域AR1是帧的整个重叠区域(ak至bk),但是在这种情况下,要开始进行的确定区域AR1是小区域,因此在接缝确定处理205中进行二维成本搜索的处理不高。
    距离β可以例如被设置为重叠区域(ak至bk)的预定百分比的值。例如,当重叠区域(ak至bk)的距离的10%处的值被设置为β时,预定区域AR1是重叠区域(ak至bk)的20%的区域,其中接缝基准aSM用作中心线。
    另外,可以这样构造,使得用户可以任意设置或选择其中距离β是固定像素数量的情况下的值或者其中距离β被设置成重叠区域(ak至bk)的预定百分比的值的情况下的值。因为确定区域AR1被设置得越小,接缝确定处理205中的计算负担变得越轻并且处理速度提高。然而,随着确定区域AR1变得更宽,接缝SM的精度增加。因此,有利的是,允许用户能够根据处理速度优先还是接缝质量优先来任意设置。
    另外,根据确定的接缝基准aSM的可靠性,距离β的值可以有所不同。
    图13A示出其中减小β值以使确定区域AR1较小的状态,并且图13C示出其中β值增大以使确定区域AR1较宽的状态。以此方式,通过变化距离β的值,允许确定区域AR1被最优化。
    例如,假定重叠区域(ak至bk)中的成本值如图13B中所示。 在这种情况下,作为成本最低的情况下的最小值的x坐标值(xk)和作为次最小值的x坐标值(ck)之间的差Q相对较大。在这种成本分布的情况下,x坐标值(xk)及其附近的值最适于作为接缝的可能性高,并且可以说,设置x坐标值(xk)使其用作接缝基准aSM得到高可靠性。然后,即使当如图13A中所示β值减小以使确定区域AR1较小时,可以确定高精度的接缝SM的可能性也高。在这种情况下,有利的是,接缝确定处理205中的计算负??梢越档?。
    另一方面,假定重叠区域(ak至bk)中的成本值如图13D中所示平滑地分布。如果是这种情况,与其它x坐标值相比,作为成本最低的情况下的最小值的x坐标值(xk)不是特征坐标值,并且x坐标值(xk)及其附近的值最适于作为接缝的可靠性低。在这种情况下,为了确保接缝SM的精度,考虑如图13C中增大β值以使确定区域AR1更宽,即使计算负?;嵩黾?。
    另外,尽管确定区域AR1已经被设置为±β(以接缝基准aSM为中心线),但确定区域AR1可以是与接缝基准aSM水平不对称的区域。
    图14A示出其中与x坐标值(xk)处的接缝基准aSM相距-β1和+β2的范围被设置为确定区域AR1的例子。
    确定区域AR1只是用于搜索高精度的接缝SM的区域,并且将用作确定区域AR1的范围不需要用接缝基准aSM作为其中心。例如,假定重叠区域(ak至bk)中的成本值如图14B中分布,其中,朝向x坐标值(xk)的ak侧,成本往往会更低。在这种情况下,设置如β1>β2中的值,并且如图14A中,朝向ak侧,确定区域AR1变宽。然后,执行对接缝SM的搜索允许接缝SM的精度进一步增加。
    另外,图14C示出其中接缝基准aSM被确定为靠近重叠区域(ak至bk)中的ak侧边缘的位置的情况。
    在这种情况下,确定区域AR1的左边缘自然地被限制为x坐标值=ak。因此,考虑到,如在β3<β4中,确保朝向bk侧,确定区域AR1更宽,使得搜索接缝SM的范围没有变得过小。
    到现在为止,已经示出确定区域AR1的设置例子,但除了以上之外,可以考虑确定区域AR1的多种设置例子。
    <5.低分辨率图像/高分辨率图像的使用>
    这里,将描述其中从不同分辨率的图像得到的被摄体信息被用于接缝基准确定处理207和接缝确定处理205的例子。
    例如,在接缝基准确定处理207中,使用从低分辨率图像得到的被摄体信息,确定接缝基准aSM。
    同时,在接缝确定处理205中,使用从高分辨率图像得到的被摄体信息,确定接缝SM。
    据此,所使用的存储器量和计算成本可以减少,而性能没有降低。
    在这种情况下,考虑到,图像处理装置采用图15中示出的构造来取代图5中的构造。
    与图5类似,图15中的构造包括全景合成准备处理单元23、被摄体信息检测单元20、接缝基准确定处理单元24、接缝确定处理单元21和图像合成单元22。在这种构造中,被摄体信息检测单元20包括检测低分辨率图像数据中的被摄体信息的低分辨率被摄体信息检测单元20L和检测高分辨率图像数据中的被摄体信息的高分辨率被摄体信息检测单元20H。
    低分辨率被摄体信息检测单元20L和高分辨率被摄体信息检测单元20H中的每个执行图5中描述的移动被摄体检测处理202和检测/识别处理203。
    从全景合成准备处理单元23向低分辨率被摄体信息检测单元20L供应低分辨率帧图像数据DL。
    同时,全景合成准备处理单元23将高分辨率帧图像数据DH供应到接缝基准确定处理单元24、接缝确定处理单元21、图像合成单元22和高分辨率被摄体信息检测单元20H。
    针对低分辨率帧图像数据DL,低分辨率被摄体信息检测单元20L执行移动被摄体检测处理202和检测/识别处理203,以将被摄体 信息供应到接缝基准确定处理单元24。
    针对帧图像数据DH,接缝基准确定处理单元24使用低分辨率被摄体信息检测单元20L得到的被摄体信息来确定接缝基准aSM。然后,有关接缝基准aSM的信息(或者有关确定区域AR1的信息)被传到接缝确定处理单元21和高分辨率被摄体信息检测单元20H。
    高分辨率被摄体信息检测单元20H只在确定区域AR1的范围内对高分辨率帧图像数据DH执行被摄体信息检测,即移动被摄体检测处理202和检测/识别处理203。然后,被摄体信息被输出到接缝确定处理单元21。
    接缝确定处理单元21使用来自高分辨率被摄体信息检测单元20H的被摄体信息在确定区域AR1的范围内执行二维成本函数处理,从而确定接缝SM,所述确定区域AR1是基于接缝基准确定处理单元24确定的接缝基准aSM。
    图像合成单元22的接合处理与图5中的相同。
    通过执行这种处理,例如,在有效地使用低分辨率被摄体信息检测单元20L的同时,用于确定接缝SM的所使用的存储器量和计算成本可以降低,而没有损失接缝SM的确定精度。至于确定接缝基准aSM,即使它是粗略的,也可以保持精度,因为用来自第二级接缝确定处理单元21中的高分辨率图像的被摄体信息执行接缝搜索。
    注意的是,还可以考虑使用低分辨率帧图像数据检测被摄体信息的其它例子。
    例如,在图5中的构造中,全景合成准备处理单元23可以将低分辨率帧图像数据只供应到被摄体信息检测单元20。也就是说,将用低分辨率帧图像数据执行被摄体信息检测单元20中的移动被摄体检测处理202和检测/识别处理203.
    使用被作为结果得到的被摄体信息,由接缝基准确定处理单元24执行接缝基准确定处理207并且由接缝确定处理单元21执行接缝确定处理205。
    这样做,所使用的存储器量和计算成本可以进一步减少。
    随后,将描述接缝基准确定处理207和接缝确定处理205中使用不同分辨率的图像的例子。也就是说,不同分辨率的图像不仅用于被摄体信息检测而且用于接缝基准aSM和接缝SM的确定处理本身。
    接缝基准确定处理单元24使用第一分辨率的图像数据(低分辨率帧图像数据DL)确定接缝基准aSM。同时,接缝确定处理单元21使用分辨率比第一分辨率的图像数据高的帧图像数据DH确定接缝SM。
    例如,如图15中用虚线Z示出的,低分辨率帧图像数据DL被供应到接缝基准确定处理单元24。
    相对于帧图像数据DL,接缝基准确定处理单元24使用由低分辨率被摄体信息检测单元20L得到的被摄体信息确定接缝基准aSM。然后,有关接缝基准aSM的信息(或有关确定区域AR1的信息)被传送到接缝确定处理单元21和高分辨率被摄体信息检测单元20H。
    高分辨率被摄体信息检测单元20H、接缝确定处理单元21和图像合成单元22中的处理与以上相同。
    也就是说,在这个例子中,低分辨率帧图像数据DL不仅用于检测被摄体信息而且用于接缝基准确定处理。
    通过这种处理,在有效使用低分辨率被摄体信息检测单元20L的同时,用于确定接缝SM的计算成本和所使用的存储器量可以减少,而没有损失接缝SM的确定精度。至于确定接缝基准aSM,即使它是使用低分辨率帧图像数据DL而粗略执行的,也可以保持精度,因为使用来自第二级接缝确定处理单元21中的高分辨率图像的被摄体信息并且使用高分辨率帧图像数据DH执行接缝搜索。
    还可以考虑其中不同分辨率的图像用于接缝基准aSM和接缝SM的确定处理本身的其它例子。
    例如,在图5中的构造中,低分辨率帧图像数据DL被供应到接缝确定处理单元21,并且使用低分辨率帧图像数据DL确定接缝基准aSM。同时,高分辨率帧图像数据DH被供应到接缝确定处理单 元21,并且可以使用高分辨率帧图像数据DH确定接缝SM。
    为了总结以上内容,下面的例子可以被假定为使用低分辨率帧图像数据的例子。
    ·低分辨率帧图像数据用于检测将用于确定接缝基准aSM的被摄体信息。
    ·低分辨率帧图像数据用于检测将既用于确定接缝基准aSM又用于确定接缝SM的被摄体信息。
    ·使用低分辨率帧图像数据确定接缝基准aSM。
    通过以上内容,用于确定接缝SM的计算成本和所使用的存储器量可以减少,而没有降低接缝SM的确定精度。
    <6.全景合成处理例子I>
    以下,将描述用图5或图15中示出的功能构造执行本实施方式的全景合成处理例子。
    首先,将参照图16描述全景合成处理例子I。图16(和随后将描述的图17和图20)是其中多个控制元件被添加到主要在图5中示出的每个功能构造中执行的处理元件的流程图。在图16的处理中,在下面对与图5的处理元件具有相同名字的处理的描述中,只是额外描述了图5的对应处理,并且省去了重复部分和对其的详细描述。
    步骤F100的图像拍摄是指其中以全景图像拍摄模式拍摄一个静止图像并且将这个静止图像作为图像拍摄设备1内的单个帧图像数据。也就是说,通过控制单元103进行的控制,图像拍摄装置101中得到的图像拍摄信号经受图像处理单元102进行的图像拍摄信号处理,以变成单个帧图像数据。
    帧图像数据可以原样被提供给图像处理单元102中的全景合成处理(图5中每个单元在步骤F101之后的处理),或者一旦进入存储器单元105,就随后作为一个帧图像数据被提供给图像处理单元102中的全景合成处理。
    在由图像处理单元102和控制单元103实现的图5中的每个单元(全景合成准备处理单元23、被摄体信息检测单元20、接缝基准确 定处理单元24、接缝确定处理单元21、图像合成单元22)中,根据基于步骤F100输入的帧图像数据执行步骤F101之后的处理。
    在步骤F101中,全景合成准备处理单元23执行预处理(图5中的预处理200)。
    在步骤F102中,全景合成准备处理单元23执行图像注册处理(图5中的图像注册处理201)。
    在步骤F103中,被摄体信息检测单元20执行移动被摄体检测处理(图5中的移动被摄体检测处理202)。
    在步骤F104中,被摄体信息检测单元20执行检测/识别处理(图5中的检测/识别处理203)。
    在步骤F105中,全景合成准备处理单元23执行再投影处理(图5中的再投影处理204)。
    在步骤F106中,直至步骤F105的处理数据被暂时保存在存储器单元105中。也就是说,将用于全景合成的处理数据(如图像的像素信息、图像注册信息、移动被摄体检测信息、检测/识别信息等)被暂时保存。另外,帧图像数据本身也被暂时保存在存储器单元105中,如果此时还未被保存的话。
    这是其中全景合成准备处理单元23和被摄体信息检测单元20暂时存储要传送到接缝确定处理单元21的各种数据和图像的处理。
    重复上述处理,直到在步骤F107中确定图像拍摄完成为止。
    当图像拍摄完成并且确?;竦糜糜诓巴枷竦膎个帧图像数据FM#0至FM#(n-1)及其被摄体信息等时,处理前进至步骤F108。
    在步骤F108中,接缝基准确定处理单元24执行确定接缝基准aSM0至aSM(n-2)的处理(图5中的接缝基准确定处理207)。
    也就是说,设置帧图像数据FM#0和FM#1之间的成本函数f0、帧图像数据FM#1和FM#2之间的成本函数f1、…和帧图像数据FM#(n-2)和FM#(n-1)之间的成本函数fn-2。
    然后,得到使上式(等式4)最小化的x0、x1、…和xn-2。
    得到的x0、x1、…和xn-2被确定为接缝基准aSM0至aSM(n-2)的x坐标值。
    随后,在步骤F109至F111中,接缝确定处理单元21执行确定接缝SM0至SM(n-2)的处理(图5中的接缝确定处理205)。
    首先,在步骤F109中,接缝确定处理单元21设置变量M=0。然后,在步骤F110中,接缝确定处理单元21在基于接缝基准aSM(M)的确定区域AR1内执行确定接缝SM(M)的处理。
    首先,因为变量M=0,所以执行计算,以得到确定区域AR1内的使(等式5)或(等式6)的二维成本函数的成本最小化的路径,该确定区域AR1是基于用作帧图像数据FM#0和FM#1的重叠区域中的接缝基准aSM0的x坐标值x0设置的,并且确定接缝SM0。
    然后,接缝确定处理单元21执行步骤F110中的处理,同时在步骤F112中将变量M加1,直到步骤F111中变量M变成M≥(n-2)为止,也就是说,直到所有接缝SM0至SM(n-2)的计算结束为止。也就是说,接缝SM被顺序确定为接缝SM1、SM2、SM3、…。
    一旦确定了接缝SM(n-2),处理从步骤F111前进至F113。
    在步骤F113中,图像合成单元22执行接合处理206。也就是说,帧图像数据被连接于对应的接缝SM0至SM(n-2)。当连接它们时,还执行混合处理。
    以此方式,产生如图4A中所示的单个全景图像数据。
    如上所述,根据图16中的全景合成处理例子I,首先得到垂直于扫动方向的直线接缝基准aSM0至aSM(n-2),然后在基于对应的接缝基准aSM0至aSM(n-2)的确定区域内,确定不确定形状线的接缝SM0至SM(n-2)。
    通过这两阶段的处理,变得可以以高精度和高灵活度设置接缝,因减小了存储器容量并降低了计算成本而没有增加处理负担。结果,可以用高速处理实现高质量全景图像。
    <7.全景合成处理例子II>
    将参照图17描述实施方式的全景合成处理例子II。
    在全景合成处理例子II中,被摄体信息检测单元20将在用于产生全景图像的一系列n个帧图像数据的输入处理中检测帧图像数据的被摄体信息。然后,在帧图像数据的输入处理中,接缝基准确定处理单元24针对每组(m+1)个(这里,m<n)帧图像数据,顺序执行用于确定l(小于或等于m)个接缝基准aSM(m≥l:l大于或等于1)的处理。
    也就是说,在完成全部n个帧图像数据的输入之前,顺序地执行接缝基准确定处理207。
    在这种情况下,通过得到(m+1)个帧图像数据的组中的每个接缝,将确定整体考虑到多个帧图像数据的接缝基准。
    另外,针对已确定接缝基准aSM的帧图像数据,确定此后明显不用于全景合成的图像部分。
    例如,在图9中示出的两个帧图像数据FM#(k)和FM#(k+1)之间的关系中,当确定接缝基准aSM(k)时且当确定确定区域AR1时,范围从帧图像数据FM#(k)的x坐标值(xk+β)至x坐标值(bk)的图像变得不必要。同时,至于帧图像数据FM#(k+1),范围从x坐标值(xk-β)至x坐标值(ak)的图像变得不必要。以此方式,当与确定接缝基准aSM相关联地确定确定区域AR1时,在各个帧图像数据中,确定此后变得不必要的区域。因此,只有必要的图像部分被存储作为将用于后续全景合成的图像数据,而不存储不必要的部分。据此,在处理过程中将存储的图像量可以减少。
    在图17中,因为步骤F200至F206与图16中的步骤F100至F106相同,所以将省略对其的描述。
    然后,在图17中的处理中,针对步骤F200中得到的帧图像数据的每个输入,重复步骤F201至F206,直到在步骤F207中未确定的接缝基准aSM的数量达到或超过m。
    接缝基准确定处理单元24根据步骤F207中的确定执行处理。
    也就是说,在步骤F207中,当确定未确定的接缝基准aSM已经达到或超过m时,也就是说,当已经被暂时存储并且其中还未确 定的接缝基准aSM的帧图像数据的数量变成m+1时,在步骤F208中,接缝基准确定处理单元24针对m个接缝通过上述方法执行(等式4)的最优化。在通过最优化得到的m个解之中,确定从图像拍摄开始依次的l(l≤m)个接缝基准aSM。
    另外,在步骤F209中,接缝基准确定处理单元24将其中已经确定接缝基准aSM的帧图像数据存储在存储器单元105中。
    在这种情况下,因为已经确定接缝基准aSM并且已经确定确定区域AR1,所以对最终的全景图像没有贡献的像素数据部分不需要被保存,并且可以只保存必要部分。因此,帧图像数据中不必要的图像数据部分被删除。
    重复上述步骤F200至F209中的处理,直到步骤F210中判定完成图像拍摄为止。在步骤F210中判定完成图像拍摄是其中控制单元103执行判定以确定是否完成全景图像拍摄模式下的图像拍摄的处理。将完成的图像拍摄的条件包括:
    ·拍摄者松开快门按钮;
    ·完成特定视场角度下的图像拍摄;
    ·所拍摄图像的数量已超过特定数量;
    ·在垂直于扫动方向的方向上的手部抖动量已超过特定量;以及
    ·其它误差。
    将参照图18和图19描述上述步骤F207、F208和F209中的处理。
    这里,作为一个例子,步骤F207中的未确定的接缝基准aSM的数量的确定标准被设置为m=5。另外,在步骤F208中将确定的接缝的数量被设置为l=1。
    图18示出将顺序输入的帧图像数据FM#0、FM#1、…。
    因为在输入第五帧图像数据FM#4之前在步骤F200中输入第一帧图像数据FM#0之后的时间段内,未确定的接缝基准aSM的数量是4或更少,所以针对各个帧图像数据(FM#0至FM#4)的每个输入,重复步骤F201至F206。
    在输入第六(也就是说,第m+1个)帧图像数据FM#5并且处理到达步骤F206的时刻,在步骤F207中,未确定的接缝基准的数量是5。因此,未确定的接缝基准的数量变得≥m,并且处理前进至步骤F208。
    在这种情况下,在步骤F208中,接缝基准确定处理单元24通过使用各个帧图像数据的通过移动被摄体检测处理202(步骤F203)和检测/识别处理203(步骤F204)检测到的被摄体信息的最佳位置确定处理,相对于(m+1)个帧图像数据的组(也就是说,帧图像数据FM#0至FM#5),得到相邻帧图像数据之间的m个接缝基准aSM0至aSM4。然后,确定l个(例如,1个)接缝基准aSM。
    此时的最佳位置确定处理是用于使帧图像数据FM#0和FM#1之间、帧图像数据FM#1和FM#2之间、帧图像数据FM#2和FM#3之间、帧图像数据FM#3和FM#4之间和帧图像数据FM#4和FM#5之间的五个接缝基准aSM0至aSM4最优化的处理。也就是说,通过上式(等式4),将通过上式(等式1)的成本函数fk(或者上式(等式3)的f'k)得到的针对各个相邻帧图像数据的五个接缝基准aSM0至aSM4最优化。
    然后,在被最优化的五个接缝基准aSM0至aSM4之中,例如确定按照升序的l个(例如,一个)接缝基准aSM0。
    图19A是示意图。尽管图19A示出被叠加在全景坐标上的帧图像数据FM#0至FM#5,但通过上式(等式4)将要用作各个相邻帧图像数据之间的接缝基准aSM0至aSM4的x坐标值x0至x4最优化。
    然后,领头的一个接缝基准aSM0被确定为x坐标值x0。
    在步骤F209中,保存其中已经确定接缝基准的帧图像数据,但是在这种情况下,如图19B中所示保存帧图像数据FM#0的一部分。也就是说,由于确定了接缝基准aSM0并且确定了用于作为下一个处理的接缝确定的确定区域AR1,帧图像数据FM#0的图像区域被划分成区域Au和区域ANU,区域Au有可能用于全景图像并且区 域ANU被确定不用于全景图像。在步骤F209中,可以只保存区域AU。
    然后,此时可以删除在步骤F206中已经被暂时保存的帧图像数据FM#0的整个图像数据。
    如上所述,例如,在第一步骤F208和F209中,针对如图18A中所示的帧图像数据FM#0至FM#5优化五个接缝基准aSM0至aSM4,确定一个接缝基准,也就是说,帧图像数据FM#0和FM#1之间的接缝基准aSM0,并且保存必要图像区域。
    此后,输入后一帧图像数据FM#6,并且执行步骤F201至F206。
    在上述的第一步骤F208中,只已确定一个接缝基准aSM0,因此在已输入帧图像数据FM#6之后在步骤F207中的未确定的接缝基准的数量是5。
    因此,此时,如图18B中所示,在步骤F208中,针对帧图像数据FM#1至FM#6优化五个接缝基准aSM1至aSM5,并且确定一个接缝基准,也就是说,帧图像数据FM#1和FM#2之间的接缝基准aSM1。然后,在步骤F209中,保存帧图像数据FM#1的必要图像区域。
    类似地,在输入帧图像数据FM#7之后,如图18C中所示,在步骤F208中,针对帧图像数据FM#2至FM#7优化五个接缝基准aSM2至aSM6,并且确定一个接缝基准,也就是说,帧图像数据FM#2和FM#3之间的接缝基准aSM2。然后,在步骤F209中,保存帧图像数据FM#2的必要图像区域。
    以此方式,接缝基准确定处理单元24通过最佳位置确定处理,针对每组(m+1)个帧图像数据,得到相邻帧图像数据之间的m个接缝基准aSM的每个,并且在帧图像数据的输入处理中,顺序地执行确定l(小于或等于m)个接缝基准aSM的处理。
    这里,尽管在l=1时确定一个接缝基准,但当m=5时,将被确定的接缝基准的数量l也可以是2至5。
    继续图17中的步骤F200至F209中的处理,直到步骤F210中判定完成图像拍摄为止。
    一旦完成图像拍摄,在步骤F211中,接缝基准确定处理单元24用与以上类似的方式确定此时未确定的接缝基准aSM。结果,针对总共n个帧图像数据FM#0至FM#(n-1)确定如图4B中所示的整个接缝基准aSM0至aSM(n-2)。
    随后,在步骤F212至F215中,接缝确定处理单元21执行确定接缝SM0至SM(n-2)的处理(图5中的接缝确定处理205)。
    首先,在步骤F212中,接缝确定处理单元21设置变量M=0。然后,在步骤F213中,接缝确定处理单元21在基于接缝基准aSM(M)的确定区域AR1内执行确定接缝SM(M)的处理。
    首先,因为变量M=0,所以执行计算,以得到确定区域AR1内的使(等式5)或(等式6)的二维成本函数中的成本最小化的路径,该确定区域AR1是基于帧图像数据FM#0和FM#1的重叠区域用作接缝基准aSM0的x坐标值x0设置的,并且确定接缝SM0。
    然后,接缝确定处理单元21执行步骤F213中的处理,同时在步骤F215中将变量M增大,直到步骤F214中变量M变成M≥(n-2)为止,也就是说,直到所有接缝SM0至SM(n-2)的计算结束为止。也就是说,接缝SM被顺序确定为接缝SM1、SM2、SM3、…。
    一旦确定接缝SM(n-2),处理从步骤F214前进至F216。
    在步骤F216中,图像合成单元22执行接合处理206。也就是说,帧图像数据被连接于各个接缝SM0至SM(n-2)。当连接它们时,还执行混合处理。
    以此方式,产生如图4A中所示的单个全景图像数据。
    同样,就图17中的全景合成处理例子II而言,首先得到垂直于扫动方向的直线接缝基准aSM0至aSM(n-2),然后在基于各个接缝基准aSM0至aSM(n-2)的确定区域AR1内,确定不确定形状线状的接缝SM0至SM(n-2)。通过这两阶段的处理,变得可以以高精度和高灵活度设置接缝,因减小了存储器容量并降低了计算成本而没有增 加处理负担。结果,可以用高速处理实现高质量全景图像。
    另外,根据图17中的全景合成处理例子II,顺序地执行接缝基准确定处理207,而不用等待所有帧图像数据的图像拍摄结束。
    然后,当在步骤F206中暂时保存帧图像数据时,至多只对m+1个帧图像数据保存整个图像数据。至于n-m-1个帧图像数据,可以只保存有可能对全景图像有贡献的那部分的像素数据,并且所需的存储器量大大减少。
    例如,就通常的全景合成处理而言,不仅通过成本函数确定两个帧图像数据之间的接缝,为了在考虑到所有帧图像数据的情况下将每个接缝最优化,在输入全部n个帧图像数据之后,将确定每个接缝(这里所指的接缝对应于本实施方式中的接缝基准aSM)。
    然后,在处理过程中完成对所有图像的图像拍摄之前,可能需要保存n个帧图像数据,因此用于暂时保持数据的存储器量增加。具体地,随着分辨率变高且单个帧图像数据的数据大小增加,可能需要用于存储n个帧图像数据的存储器量变得巨大。这导致存储器的使用效率降低。另外,在具有有限存储器的嵌入式装置中,可能不能实现,除非采取对策,比如,降低拍摄图像的分辨率或者减少拍摄图像的数量。
    另一方面,就全景合成处理例子II而言,如上所述,所需的存储器量大大减少。因此,即使用具有非常有限存储器的图像拍摄设备1等,也变得可能产生高质量全景合成图像,而没有降低分辨率或者减少拍摄图像的数量。
    也就是说,如果按照本实施方式执行全景合成处理例子II,则逐渐由其中已完成图像拍摄、注册和处理(如各种检测处理)的小数量的图像(m+1个:例如,几个)的组确定接缝基准aSM,并且通过重复以上过程,渐进地确定整个全景图像的接缝基准aSM。因此,可以删除已经变得不必要的图像数据,并且可以大大提高存储器的使用效率。具体地,在其中所安装的存储器受到限制的嵌入式装置中,过去可能难以实现的高清晰度和广视场角度下的全景合成变得可能。
    然后,在考虑到整体多个帧图像数据的同时,针对(m+1)个帧图像数据的组,得到最佳接缝基准aSM。不确定形状线状的最终接缝SM0至SM(n-2)位于在考虑到整体多个帧图像数据的情况下已经确定的接缝基准aSM0至aSM(n-2)附近。结果,所确定的接缝SM0至SM(n-2)被合适地定位。
    <8.全景合成处理例子III>
    将参照图20描述实施方式的全景合成处理例子III。
    在全景合成处理例子III中,不仅执行图像接缝基准确定处理而且执行接缝确定处理和已经确定接缝SM的图像的接合处理,而不用等待所有图像的拍摄完成。
    就全景合成处理例子III而言,在全景图像产生中要使用的一系列n个帧图像数据的输入处理中,被摄体信息检测单元20检测帧图像数据的被摄体信息。
    另外,在帧图像数据的输入处理中,接缝基准确定处理单元24针对每组(m+1)个(这里,m<n)帧图像数据,顺序执行用于确定l(小于或等于m)个接缝基准aSM(m≥l:l大于或等于1)的处理。
    以上过程与上述全景合成处理例子II相同。
    然而,在全景合成处理例子III中,接缝确定处理单元21额外执行处理,从而每当接缝基准确定处理单元24执行用于确定m个或更少接缝基准aSM的处理时,接缝确定处理单元21在基于确定的接缝基准aSM设置的确定区域AR1内确定接缝SM。
    另外,图像合成单元22顺序执行其中已经确定接缝SM的帧图像数据的接合处理。
    在图20中,因为步骤F300至F308与图17中的步骤F200至F208相同,所以将省略对其的重复描述。
    就图20而言,每当在步骤F308中接缝基准确定处理单元24确定l个接缝基准aSM时,在步骤F309中接缝确定单元21执行处理以确定l个接缝SM。也就是说,执行计算,以在基于确定的接缝基 准aSM的确定区域AR1内针对(等式5)或(等式6)的二维成本函数得到使成本最小化的路径。
    另外,在步骤F310中,图像合成单元22执行接合处理。
    重复以上处理,直至图像拍摄完成为止。
    在步骤F311中判定图像拍摄完成之后,在步骤F312中接缝基准确定处理单元24确定剩下的接缝基准aSM。然后,在步骤F313中,基于确定的接缝基准aSM,接缝确定处理单元21执行处理以确定接缝SM。
    此后,在步骤F314中,图像合成单元22基于剩下的确定的接缝执行接合处理,以完成全景图像数据。
    同样,通过图20中的处理,可以得到与图17中的处理效果类似的效果。就图20中的处理而言,保存将用于n-m-1个帧图像数据的全景图像中的像素部分的图像数据(图17中的处理的一部分)变得不必要,并且可以进一步减少存储器量。
    另外,因为甚至在拍摄图像的同时开始接合处理,所以可以进一步缩短整个全景合成处理的时间。
    <9.程序和计算装置的应用>
    到现在为止,已经描述了包括图5或图15的图像处理装置的图像拍摄设备10的实施方式。然而,还可以用硬件或者用软件执行上述全景合成处理。
    实施方式的程序是致使运算处理装置如CPU(中央处理单元)和DSP(数字信号处理器)执行以上实施方式中描述的处理的程序。
    也就是说,这个程序致使运算处理装置执行接缝基准确定处理,在接缝基准确定处理中,使用将用于产生全景图像的一系列n个(n是等于或大于2的自然数)帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述接缝基准用于确定所述相邻两个帧图像数据之间的接缝。
    另外,该程序致使运算处理装置执行接缝确定处理,在接缝确定 处理中,使用相邻两个帧图像数据的被摄体信息,在基于接缝基准确定处理中确定的接缝基准设置的确定区域内,确定相邻两个帧图像数据之间的接缝。
    这里,该程序还可以致使运算处理装置执行被摄体信息检测,以检测将用于产生全景图像的一系列n个帧图像数据的被摄体信息。
    具体地,实施方式的程序可以是致使运算处理装置执行图16、图17或图20中示出的全景合成处理的程序。
    通过这种程序,可以使用运算处理装置实现执行上述全景合成处理的图像处理装置。
    这种程序可以预先被记录在作为嵌入装置如计算装置中的记录介质的HDD上,或者被记录在具有CPU的微计算机内的ROM等上。
    另外可选择地,程序可以被暂时或永久地存储(记录)在可移动记录介质如柔性盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、蓝光盘、磁盘、半导体存储器和存储卡中。这种可移动记录介质可以被设置为所谓的封装软件。
    另外,这种程序可以被从可移动记录介质安装在个人计算机等上,并且还可以通过网络如LAN(局域网)和互联网从下载站点下载。
    另外,这种程序适于广泛分发实施方式的图像处理装置。例如,通过将程序下载到个人计算机、便携式信息处理装置、移动电话、游戏控制台、视频装置、PDA(个人数字助理)等上,这种便携式信息处理装置等可以用作本发明的实施方式的图像处理装置。
    例如,在图21中示出的计算装置中,可以执行与实施方式的图像拍摄设备1中的全景合成处理类似的处理。
    在图21中,计算装置70的CPU71按照ROM72中记录的程序或者从存储器单元78加载到RAM73上的程序,执行各种处理。在CPU71执行各种处理时可能必须的数据等还可以合适地被存储在RAM73上。
    CPU71、ROM72和RAM73通过总线74相互连接。总线74还连接到输入/输出接口75。
    输入单元76、输出单元77、存储器单元78和通信单元79连接到输入/输出接口75。输入单元76由键盘、鼠标等构成。输出单元77由诸如CRT(阴极射线管)、LCD、有机EL面板等的显示器、扬声器等构成。存储器单元78由硬盘等构成。通信单元79由调制解调器等构成。通信单元79通过包括互联网的网络执行通信处理。
    驱动器80还合适地连接到输入/输出接口75??梢贫橹?1如磁盘、光盘、磁光盘或半导体存储器被合适地安装到驱动器80,并且从其读取的计算机程序被合适地安装到存储器单元78上。
    就由软件执行上述全景合成处理而言,从网络或记录介质安装构成软件的程序。
    例如,如图21中所示,这个记录介质由可移动介质81构成,可移动介质81由磁盘(包括软盘)、光盘(包括蓝光盘(R))、CD-ROM(光盘-只读存储器)和DVD(数字多功能盘)、磁光盘(包括迷你盘)或半导体存储器构成,所述半导体存储器被与装置主体分开地分配以向用户传递程序并且上面记录有程序。另外可选择地,记录介质由分配给用户的、预先被嵌入装置主体中并且上面记录有程序的ROM72、存储器单元78中包括的硬盘等构成。
    用这种计算装置70,当通过通信单元79进行的接收操作或者驱动器80(可移动介质81)或存储器单元78中的重放操作而输入用于产生全景图像的n个帧图像数据FM#0至FM#(n-1)时,CPU71基于程序实现图5或图15的功能并且执行上述全景合成处理。
    据此,由输入的n个帧图像数据FM#0至FM#(n-1)产生单个全景图像数据。
    <10.修改>
    到现在为止,已经描述了实施方式,但是可以考虑根据本发明的实施方式的图像处理装置的各种修改。
    有利的是,将根据本发明的实施方式的图像处理装置安装在(除 了上述图像拍摄设备1和计算装置70外)配备有图像拍摄功能的移动电话、游戏控制台和视频装置、没有图像拍摄功能但具有输入帧图像数据的功能的移动电话、游戏控制台、视频装置和信息处理装置中。
    例如,就没有图像拍摄功能的装置而言,通过对输入的一系列帧图像数据执行如图16、图17或图20中的处理,可以实现产生上述效果的全景合成处理。
    另外,在帧图像数据与被摄体信息一起被输入其中的装置中,至少不需要执行移动被摄体检测处理202。
    也就是说,当本发明的实施方式的图像处理装置被嵌入图像拍摄设备1中、被实现在信息处理装置如计算装置70中、或者甚至被实现为单个装置时,这种图像处理装置包括接缝确定处理单元21和接缝基准确定处理单元24。另外,图像处理装置还可以包括图像合成单元22和被摄体信息检测单元20。
    另外,在实施方式中,尽管接缝基准aSM被设置为垂直于扫动方向的直线并且由此在简化接缝基准确定处理方面是有利的,但料想到,接缝基准aSM被设置为倾斜且不垂直于扫动方向的直线或非直线。
    另外,在图10中的描述中,接缝SM的最终是不确定形状的线,但是接缝SM可以按期望被设置成曲线,或者按期望被设置成折线或直线。例如,通过在减少二维目标搜索的取样点之后连接线段来设置多边形接缝SM,可以简化接缝确定处理。
    另外,本技术还可以如下地构造。
    (1)一种图像处理装置,包括:
    接缝基准确定处理单元,使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息,确定将用作基准线的接缝基准,所述基准线用于确定所述相邻两个帧图像数据之间的接缝,n是等于或大于2的自然数;以及
    接缝确定处理单元,只在基于所述接缝基准确定处理单元确定的 所述接缝基准设置的确定区域内,使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。
    (2)根据(1)所述的图像处理装置,
    其中,由所述接缝基准确定处理单元确定的所述接缝基准用作线性基准线,所述线性基准线垂直于对一系列帧图像数据进行图像拍摄时的扫动方向。
    (3)根据(1)或(2)所述的图像处理装置,
    其中,所述接缝基准确定处理单元通过使反映所述被摄体信息的一维成本函数最优化来确定所述接缝基准。
    (4)根据(1)至(3)中的任一项所述的图像处理装置,
    其中,所述接缝确定处理单元通过使反映所述被摄体信息的二维成本函数最优化来确定所述接缝。
    (5)根据(4)所述的图像处理装置,
    其中,所述接缝是不确定形状的线。
    (6)根据(1)至(5)中的任一项所述的图像处理装置,
    其中,所述确定区域是相邻两个帧图像数据的重叠区域中的一个区域,该区域落入分别在对一系列帧图像数据进行图像拍摄时的扫动方向上和其相反方向上与作为所述接缝基准的线相距预定距离的范围内。
    (7)根据(6)所述的图像处理装置,
    其中,可变化地设置将用于设置所述确定区域的所述预定距离。
    (8)根据(1)至(7)中的任一项所述的图像处理装置,还包括:
    图像合成单元,基于所述接缝确定处理单元确定的每个接缝来合成每个帧图像数据,以产生使用所述n个帧图像数据的全景图像数据。
    (9)根据(8)所述的图像处理装置,
    其中,所述图像合成单元对相邻两个帧图像数据的范围执行混合处理,以合成所述两个帧图像数据,所述两个帧图像数据的所述范围 落入分别在对一系列帧图像数据进行图像拍摄时的扫动方向上和其相反方向上与作为所述接缝的线相距预定距离的范围内。
    (10)根据(1)至(9)中的任一项所述的图像处理装置,
    其中,在将用于产生全景图像的一系列n个帧图像数据的输入处理中,所述被摄体信息检测单元检测帧图像数据的被摄体信息,并且
    其中,在所述输入处理中,所述接缝基准确定处理单元顺序地执行处理以针对每组m+1个帧图像数据确定m个或更少的接缝基准,m是小于n的自然数。
    (11)根据(10)所述的图像处理装置,
    其中,每当所述接缝基准确定处理单元执行用于确定m个或更少接缝基准的处理时,所述接缝确定处理单元执行用于在基于每个确定的接缝基准设置的确定区域内确定每个接缝的处理。
    (12)根据(1)至(11)中的任一项所述的图像处理装置,还包括:
    被摄体信息检测单元,检测将用于产生全景图像的一系列n个帧图像数据的被摄体信息。
    (13)根据(1)至(12)中的任一项所述的图像处理装置,
    其中,所述接缝基准确定处理单元使用第一分辨率的图像数据来确定所述接缝基准,并且
    所述接缝确定处理单元使用分辨率比所述第一分辨率的图像数据高的图像数据来确定所述接缝。
    (14)根据(12)所述的图像处理装置,
    其中,所述被摄体信息检测单元包括低分辨率被摄体信息检测单元和高分辨率被摄体信息检测单元,所述低分辨率被摄体信息检测单元检测低分辨率图像数据的被摄体信息,所述高分辨率信息检测单元检测高分辨率图像数据的被摄体信息,
    其中,所述接缝基准确定处理单元使用所述低分辨率被摄体信息检测单元得到的被摄体信息,针对帧图像数据确定所述接缝基准,并 且
    所述接缝确定处理单元使用所述高分辨率被摄体信息检测单元得到的被摄体信息,针对至少帧图像数据的所述确定区域内的图像确定所述接缝。
    本发明包含与2012年4月26日在日本专利局提交的日本优先权专利申请JP2012-100620中公开的主题相关的主题,该专利申请的全部内容由此以引用方式并入。

    关 键 词:
    图像 处理 装置 方法 程序
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:图像处理装置、图像处理方法和程序.pdf
    链接地址://www.4mum.com.cn/p-5779412.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03