• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 36
    • 下载费用:30 金币  

    重庆时时彩赢遍天下: 成像系统、成像装置、计算机程序和系统.pdf

    关 键 词:
    成像 系统 装置 计算机 程序
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201580025123.3

    申请日:

    2015.05.13

    公开号:

    CN106464804A

    公开日:

    2017.02.22

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):H04N 5/232申请日:20150513|||公开
    IPC分类号: H04N5/232; G03B15/00; G03B37/00; G06T3/60; H04N5/225 主分类号: H04N5/232
    申请人: 株式会社理光
    发明人: 山本英明
    地址: 日本东京都
    优先权: 2014.05.15 JP 2014-101058; 2015.02.06 JP 2015-021878; 2015.04.20 JP 2015-085601
    专利代理机构: 北京市柳沈律师事务所 11105 代理人: 安之斐
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201580025123.3

    授权公告号:

    |||

    法律状态公告日:

    2017.03.22|||2017.02.22

    法律状态类型:

    实质审查的生效|||公开

    摘要

    成像系统包括成像单元、检测单元、记录单元、校正单元和视频产生单元。所述成像单元捕获多个帧的图像。所述检测单元检测所述成像单元相对于参考方向的倾斜。所述记录单元记录所述检测单元检测到的倾斜的时间序列数据。所述校正单元基于所述记录单元记录的倾斜的时间序列数据,将倾斜校正应用于所述成像单元捕获的每一帧的图像。所述视频产生单元基于所述校正单元校正的每一帧的图像产生视频数据。

    权利要求书

    1.一种成像系统,包括:
    成像单元,其用于捕获多个帧的图像;
    检测单元,其用于检测所述成像单元相对于参考方向的倾斜;
    记录单元,其用于记录所述检测单元检测到的倾斜的时间序列数据;
    校正单元,其用于基于所述记录单元记录的倾斜的时间序列数据,将倾斜校正应用于
    所述成像单元捕获的每一帧的图像;以及
    视频产生单元,其用于基于所述校正单元校正的每一帧的图像产生视频数据。
    2.如权利要求1所述的成像系统,进一步包括:
    视频压缩单元,其用于将所述成像单元捕获的多个帧的图像压缩为视频格式的数据;
    输出单元,其用于输出所述视频压缩单元压缩后的视频格式的图像数据和所述记录单
    元记录的倾斜的时间序列数据;
    读取单元,其用于读取所述输出单元输出的视频格式的图像数据和所述倾斜的时间序
    列数据;以及
    恢复单元,其用于从所述读取单元读取的视频格式的图像数据中恢复每一帧的图像,
    其中,
    所述校正单元基于所述读取单元读取的倾斜的时间序列数据,将倾斜校正应用于所述
    恢复单元恢复的每一帧的图像。
    3.如权利要求1所述的成像系统,进一步包括:
    输出单元,其用于输出所述成像单元捕获的多个帧的图像和所述记录单元记录的倾斜
    的时间序列数据;以及
    读取单元,其用于读取所述输出单元输出的多个帧的图像和所述倾斜的时间序列数
    据,其中,
    所述校正单元基于所述读取单元读取的倾斜的时间序列数据,将倾斜校正应用于所述
    读取单元读取的每一帧的图像。
    4.如权利要求2或3所述的成像系统,其中,所述成像单元、所述检测单元、所述记录单
    元和所述输出单元包括在成像装置中,所述记录单元、所述校正单元和所述视频产生单元
    包括在与所述成像装置分离的图像处理装置中。
    5.如权利要求1到4中任何一个所述的成像系统,其中,
    所述成像单元包括第一广角成像光学系统和第二广角成像光学系统,
    所述成像单元捕获的多个帧的成像包括由所述第一广角成像光学系统捕获的第一局
    部图像和由所述第二广角成像光学系统捕获的第二局部图像,
    所述校正单元包括:
    修正单元,其用于根据所述倾斜来修正转换数据,所述转换数据准备用以将所述第一
    局部图像和所述第二局部图像转换为球面坐标系中的数据;以及
    全向图像产生单元,其用于使用所述修正单元修正的转换数据,将所述第一局部图像
    和所述第二图像转换为所述球面坐标系中的数据,并且产生全向图像,以及
    所述视频数据是所述全向图像的视频数据。
    6.如权利要求1到5中任何一个所述的成像系统,其中,在执行所述倾斜校正时,所述校
    正单元在存储器中加载多个帧中的一些帧的图像,所述多个帧中的一些帧的图像基于构成
    全部视频数据的多个帧的起始帧。
    7.如权利要求1到6中任何一个所述的成像系统,其中,
    所述参考方向是垂直方向,以及
    所述校正单元执行所述倾斜校正,使得所述校正单元校正后的每一帧的图像的天顶方
    向与垂直线一致。
    8.如权利要求1到7中任何一个所述的成像系统,其中,所述检测单元包括加速度传感
    器。
    9.一种捕获图像的成像装置,所述成像装置包括:
    成像单元,其用于捕获多个帧的图像;
    检测单元,其用于检测所述成像单元相对于参考方向的倾斜;
    记录单元,其用于记录所述检测单元检测到的倾斜的时间序列数据;
    第一输出单元,其用于输出所述成像单元捕获的每一帧的图像;以及
    第二输出单元,其用于输出所述记录单元记录的倾斜的时间序列数据;其中,
    基于所述第二输出单元输出的倾斜的时间序列数据,在倾斜方面校正所述第一输出单
    元输出的每一帧的图像。
    10.一种用于实现产生图像的图像处理装置的计算机程序,所述计算机程序使得计算
    机用作:
    第一读取单元,其用于读取成像装置捕获的包括多个帧的图像的图像数据;
    第二读取单元,其用于读取所述成像装置相对于参考方向的倾斜的时间序列数据,所
    述倾斜的时间序列数据对应于所述图像数据并且已由所述成像装置记录;
    校正单元,其用于基于所述第二读取单元读取的倾斜的时间序列数据,将倾斜校正应
    用于所述第一读取单元读取的图像数据中包括的每一帧的图像;以及
    视频产生单元,其用于基于所述校正单元校正的每一帧的图像产生视频数据。
    11.一种成像装置,包括:
    成像单元,其用于对被摄体成像,并且输出其多个图像;
    检测单元,其用于检测所述被摄体成像时的倾斜;
    视频产生单元,其用于从所述图像中产生视频;以及
    输出单元,其用于输出关于所述倾斜的信息和所述视频。
    12.如权利要求11所述的成像装置,其中,所述输出单元输出构成所述视频的图像和在
    捕获每个图像时关于倾斜的信息,以使得彼此相关联。
    13.如权利要求11或12所述的成像装置,包括多个成像单元,其中,
    所述视频产生单元产生从各个成像单元输出的多个图像的视频;并且
    所述输出单元输出所述视频。
    14.一种系统,包括:
    成像单元,其用于对被摄体成像,并且输出其多个图像;
    检测单元,其用于检测所述被摄体成像时的倾斜;
    图像转换单元,其用于根据所述倾斜转换所述图像;以及
    视频产生单元,其用于从转换后的图像中产生视频。
    15.如权利要求14所述的系统,包括多个成像单元,其中,
    所述图像转换单元转换从所述成像单元输出的图像;并且
    所述视频产生单元从每一个均通过将转换后的图像当中的、在同一时刻由所述成像单
    元已经捕获的图像组合为一个图像而获得的图像中产生视频。

    说明书

    成像系统、成像装置、计算机程序和系统

    技术领域

    本发明涉及成像系统,更具体地,涉及用于产生图像的成像系统、成像装置、计算
    机程序和系统。

    背景技术

    近年来,可以利用一次拍摄来捕获半球或全球视野的静态图像的相机已经投入实
    际使用中??梢圆痘袢蚓蔡枷竦氖殖质匠叽绲南嗷彩强捎玫?。这种手持式尺寸的相
    机的机身易于倾斜,从而具有在响应于相机机身倾斜时的拍摄校正其倾斜后显示所捕获的
    静态图像的功能的相机是已知的。

    日本专利申请特开No.2013-214947(专利文档1)作为校正静态图像的倾斜的技术
    是已知的。为了获得具有正确垂直方向的静态图像,专利文档1公开了具有两个鱼眼镜头的
    静态图像捕获设备的配置,其中根据在静态图像捕获设备中提供的用于获得相对于垂直方
    向的倾斜度的加速度传感器检测到的倾斜角度,计算将鱼眼图像转换为常规图像的参数。

    除了用于静态图像的相机之外,使用超广角镜头可以在其中将宽范围存储为视频
    图像的相机也已经得到开发。

    在根据传统技术捕获视频图像的相机之中,具有减小与手的运动相关联的模糊的
    功能的相机是已知的。然而,当在相机机身倾斜的同时捕获视频图像的时候,其垂直方向不
    同于视频图像捕获设备的天顶方向,从而产生问题。具体地,当观看者观看在相机机身倾斜
    的同时所捕获的视频图像时,如果在保持垂直方向与原始方向一致的同时视野发生改变,
    则出现复杂的旋转,因此可能带给观看者诸如3D眩晕之类的不舒适感觉。专利文档1的传统
    技术是用于应对静态图像的技术,而不是使得能够形成具有正确垂直方向的视频图像的技
    术。由于这种问题,期望开发这样的技术:通过该技术,无论相机的倾斜状态如何,均产生具
    有正确垂直方向的全向视频。

    发明内容

    鉴于上述传统技术中所要改善的上述要点,已经做出了本发明,本发明的目标是
    要提供使得能够检测图像捕获单元相对于参考方向的倾斜并且产生根据检测到的倾斜在
    倾斜方面得到校正的视频数据的成像系统、成像装置、计算机程序和系统。

    根据一实施例,成像系统包括成像单元、检测单元、记录单元、校正单元和视频产
    生单元。所述成像单元捕获多个帧的图像。所述检测单元检测所述成像单元相对于参考方
    向的倾斜。所述记录单元记录所述检测单元检测到的倾斜的时间序列数据。所述校正单元
    基于所述记录单元记录的倾斜的时间序列数据,将倾斜校正应用于所述成像单元捕获的每
    一帧的图像。所述视频产生单元基于所述校正单元校正的每一帧的图像产生视频数据。

    附图说明

    图1是构成根据本发明一实施例的全向视频成像系统的全向相机的剖面视图。

    图2A和2B是根据所述实施例的全向视频成像系统的硬件配置图。

    图3是在根据所述实施例的全向视频成像系统中实现的全向视频成像和记录功能
    有关的主要功能框图。

    图4是图示构成根据所述实施例的全向视频成像系统的全向相机执行的成像处理
    的流程图。

    图5A和5B是所述实施例中使用鱼眼镜头说明全向相机中的投影关系的图。

    图6是说明所述实施例中全向相机的倾斜的示意图。

    图7是图示构成根据所述实施例的全向视频成像系统的图像处理装置执行的记录
    处理的流程图。

    图8是说明本发明优选实施例中进行校正时仅在RAM中加载构成视频的一些帧的
    图像的配置的图。

    图9是图示构成根据所述实施例的全向视频成像系统的图像处理装置执行的转换
    的流程图。

    图10A是说明用平坦表面表示全向图像格式的情况的图。

    图10B是说明用球体表面表示全向图像格式的情况的图。

    图11是说明所述实施例中全向相机中的成像元件获得的图像和图像处理装置产
    生的图像的图。

    图12A和12B是说明所述实施例中用于全向图像的转换表格的图。

    图13是说明所述实施例中对于用于全向图像的转换表格的修正的操作流程的流
    程图。

    图14A是使用相机坐标系说明用于全向图像的垂直方向校正计算的图。

    图14B是使用全局坐标系说明用于全向图像的垂直方向校正计算的图。

    图15是说明倾斜校正前视频的各帧的图。

    图16是说明倾斜校正后视频的各帧的图。

    具体实施方式

    下面描述实施例。然而,本发明不限于下面描述的实施例。将使用全向相机和全向
    视频成像系统作为成像装置和成像系统的示例描述下面的实施例,其中所述全向相机包括
    含有光学系统中两个鱼眼镜头的成像机身,所述全向视频成像系统包括全向相机和与全向
    相机分离的图像处理装置。

    总体配置

    下面参照图1、图2A和图2B,描述全向视频成像系统的总体配置。图1是根据本实施
    例的构成全向视频成像系统100的全向相机110的剖面图。图1中图示的全向相机110包括:
    成像机身12;外壳14,其容纳成像机身12和诸如控制器和电池之类的组件;快门按钮18,其
    提供在外壳14上。

    图1中图示的成像机身12包括两个成像光学系统20A和20B以及两个成像元件22A
    和22B(如,电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器)。成像光学
    系统20中的每一个均配置为例如由六组中的七个元件组成的鱼眼镜头。在图1图示的实施
    例中,上面提到的鱼眼镜头具有大于180度(=360度/n,其中光学系统的数目为n=2)的全
    视角,优选地具有185度或更大的视角,更优选地具有190度或更大的视角。成像光学系统20
    中的一个与成像元件22中的一个的这种广角组合称为广角成像光学系统。

    两个成像光学系统20A和20B的光学元件(透镜、棱镜、滤镜和孔径光阑)设为具有
    与成像元件22A和22B的位置关系。更具体地,进行定位使得成像光学系统20A和20B中每一
    个的光学元件的光轴位于与光接收区域正交的对应一个成像元件22的光接收区域的中心
    部分,并且使得光接收区域用作对应一个鱼眼镜头的成像表面。

    在图1图示的实施例中,成像光学系统20A和20B具有相同的规格,并且在彼此相反
    的方向上组合,使得其光轴彼此一致。成像元件22A和22B将接收到的光的分布转换为图像
    信号,并且依次将各图像帧输出到控制器上的图像处理单元。尽管将在稍后描述,但是将各
    个成像元件22A和22B所捕获的图像送往图像处理装置150并加以组合,使得在4π球面度的
    立体角上产生图像(下文称为“全向图像”)。通过对可从拍摄位置观看到的所有方向进行拍
    摄,获得所述全向图像。全向视频是从全向图像的连续帧获得的。尽管描述假设这里描述的
    实施例产生全向图像和全向视频,然而实施例也可以产生通过仅在水平面上360度拍摄而
    获得的所谓的全景图像和所谓的全景视频。

    图2A图示根据本实施例的构成全向视频成像系统100的全向相机110的硬件配置。
    全向相机110包括中央处理单元(CPU)112、只读存储器(ROM)114、图像处理块116、视频压缩
    块118、经由DRAM接口120连接的动态随机存取存储器(DRAM)132、经由外部传感器接口124
    连接的加速度传感器136。

    CPU 112控制全向相机110的各组件的操作和总体操作。ROM 114在其中存储用CPU
    112可解码的代码所描述的控制程序和各种参数。图像处理块116连接到两个成像元件130A
    和130B(对应于图1中的成像元件22A和22B),并且接收相应成像元件130A和130B捕获的图
    像的图像信号。图像处理块116例如包括图像信号处理器(ISP),并且将例如阴影校正、拜尔
    内插、白平衡校正和伽马校正应用于从成像元件130A和130B接收到的图像信号。

    视频压缩块118是用于压缩和扩展视频(如MPEG-4AVC/H.264格式的视频)的编解
    码块。DRAM 132在应用各种类型的信号处理和图像处理时提供用于临时存储数据的存储区
    域。加速度传感器136检测沿着三个轴的加速度分量。检测到的加速度分量用于检测垂直方
    向,以将天顶校正(zenith correction)应用于全向图像。

    全向相机110还包括外部存储单元接口122、通用串行总线(USB)接口126和串行块
    128。外部存储单元接口122连接到外部存储单元134。外部存储单元接口122控制对于外部
    存储单元134(如插入在存储卡槽中的存储卡)的读取和写入。USB接口126连接到USB连接器
    138。USB接口126控制与经由USB连接器138连接的外部设备(如个人计算机)的USB通信。串
    行块128控制与外部设备(如个人计算机)的串行通信,并且连接到无线网络接口卡(NIC)
    140。

    当通过电源开关的操作打开电源时,上面提到的控制程序加载到主存储器中。CPU
    112跟踪读取到主存储器中的程序,以控制设备的各部分的操作,并将控制所需的数据临时
    存储到存储器中。该操作实现稍后描述的全向相机110的功能单元和处理。

    图2B图示根据本实施例的构成全向视频成像系统100的图像处理装置150的硬件
    配置。图2B图示的图像处理装置150包括CPU 152、RAM 154、硬盘驱动器(HDD)156、输入设备
    158(如鼠标和键盘)、外部存储单元160、显示器162、无线NIC 164和USB连接器166。

    CPU 152控制图像处理装置150的各组件的操作和总体操作。RAM 154提供CPU 152
    的工作区。HDD 156在其中存储操作系统和运行根据本实施例的图像处理装置150中的处理
    的控制程序(如应用程序),操作系统和控制程序均写为CPU 152可解码的代码。

    输入设备158是诸如鼠标、键盘、触摸板和触摸屏之类的输入设备,并且提供用户
    接口。外部存储单元160是例如安放在存储卡槽中的可拆卸记录介质,并且记录各种类型的
    数据(如视频格式的图像数据和静态图像数据)。显示器162在屏幕上显示响应于用户操作
    再现的全向视频。无线NIC 164建立用于与外部设备(如全向相机110)的无线通信的连接。
    USB连接器166提供与外部设备(如全向相机110)的USB连接。

    当电源施加到图像处理装置150并且其电源打开时,控制程序从ROM或HDD 156读
    出,并且加载到RAM 154中。CPU 152跟踪读取到RAM 154中的控制程序,以控制装置的各部
    分的操作,并将控制所需要的数据临时存储到存储器中。该操作实现稍后描述的图像处理
    装置150的功能单元和处理。

    全向视频成像和记录功能

    下面参照图3到图16,描述根据本实施例的全向视频成像系统100提供的全向视频
    成像和记录功能。图3图示根据本实施例的与全向视频成像系统100中实现的全向视频成像
    和记录功能有关的主功能块200。

    如图3所示,全向相机110的功能块210包括成像单元212、视频压缩单元214、倾斜
    检测单元216、倾斜记录单元218和输出单元220;以及图像处理装置150的功能块250包括读
    取单元252、图像恢复单元254、倾斜获取单元256、倾斜校正单元258和视频产生单元264。

    首先描述全向相机110的功能块。成像单元212包括上面描述的两个广角成像光学
    系统,并且控制两个成像元件130A和130B依次捕获连续帧的图像。成像元件130A和130B中
    的每一个捕获的图像是实质上包括视野中全天球的半球的鱼眼图像,并且构成全向图像的
    局部图像。在下面,成像元件130A和130B中每一个捕获的图像可以称为局部图像。

    视频压缩单元214包括视频压缩块118,并且将成像单元212成像的连续帧压缩为
    预定视频格式的图像数据。视频压缩格式的示例包括而不限于各种视频压缩格式,如
    H.264/MPEG-4AVC(Advanced Video Coding,高级视频编码)、H.265/HEVC(High
    Efficiency Video Coding,高效率视频编码)、JPEG(Motion Joint Photographic
    Experts Group,运动联合图像专家组)和Motion JPEG 2000。

    基于Motion JPEG的格式是用于将视频表达为连续静态图像的格式??梢酝ü?br />用这些格式中的一个格式获得高质量的视频。H.264/MPEG-4AVC格式和H.265/HEVC格式允
    许沿着时间轴的压缩,从而提供高处理效率,因此使得减轻了写入到外部存储单元时对于
    延迟的要求。手持的全向相机110需要是紧凑的并且低成本的,因而几乎不能包括高性能硬
    件。因此,优选实施例可以优选地采用允许沿着时间轴压缩和比特率减小的H.264/MPEG-
    4AVC格式或H.265/HEVC格式。

    在这里描述的实施例中,成像单元212独立地输出由两个成像元件130A和130B在
    同一时刻捕获的两个鱼眼图像,视频压缩单元214从独立的两个鱼眼图像的帧中独立地产
    生视频格式的两个相应的图像数据。图像数据的表示格式不具体受限。在另一实施例中,成
    像单元212可以是通过结合两个成像元件130A和130B捕获的两个鱼眼图像而形成的单个图
    像,视频压缩单元214将包括两个鱼眼图像的图像的帧压缩为视频格式的图像数据。

    倾斜检测单元216包括加速度传感器136,并且检测全向相机110相对于预定参考
    方向的倾斜。预定参考方向典型地是作为重力加速度作用的方向的垂直方向。倾斜检测单
    元216将三轴加速度传感器136的加速度分量的信号输出到倾斜记录单元218。倾斜记录单
    元218与视频格式的图像数据的帧同步地对从倾斜检测单元216接收到的加速度分量的信
    号进行采样,并且获得相对于预定参考方向的倾斜角度。倾斜记录单元218接着以与视频格
    式的图像数据的帧速率相同的速率,将倾斜角度记录为时间序列数据。

    在这里描述的实施例中,描述假设倾斜角度一一对应视频格式的图像数据中的各
    帧,并且各帧和倾斜角度彼此同步地存储。然而,存储倾斜角度的速率不需要与帧速率相
    同,如果不相同,则仅需以帧速进行重新采样,以获得与各帧一一对应的倾斜角度。

    DRAM 132临时保存上面已描述的视频压缩单元214产生的视频格式的两个相应的
    图像数据和倾斜记录单元218记录的倾斜角度数据。当DRAM 132中保存的视频格式的两个
    相应的图像数据和倾斜角度数据中的每一个的尺寸达到适当的写入尺寸时,输出单元20将
    两个相应的图像数据和倾斜角度数据作为两个视频文件230和倾斜角度文件240分别写入
    至外部存储单元134。在完成拍摄后,两个视频文件230和倾斜角度文件240关闭,由此全向
    相机110执行的处理结束。

    外部存储单元134从全向相机110卸下并安放到图像处理装置150上。随后描述图
    像处理装置150。读取单元252从安放在图像处理装置150上的外部存储单元160读取由全向
    相机110写入的两个视频文件230和倾斜角度文件240。将读取的两个视频文件230发送至图
    像恢复单元254。将读取的倾斜角度文件240发送至倾斜获取单元256。代替利用外部存储单
    元134加载和卸载,图像处理装置150可以经由全向相机110中包括的USB接口从安放在全向
    相机110上的外部存储单元134读取由全向相机110写入的两个视频文件230和倾斜角度文
    件240。

    图像恢复单元254使用与每个读取的视频文件230对应的预定编解码器来对每一
    个读取的视频文件230进行解码,从而恢复构成视频的静态图像的各帧,以将各帧提供给倾
    斜校正单元258。倾斜获取单元256从读取的倾斜角度文件240获得与图像恢复单元254恢复
    的相应帧对应的倾斜角度,并且将倾斜角度提供给倾斜校正单元258。

    倾斜校正单元258基于与从倾斜获取单元256接收到的相应帧对应的倾斜角度,校
    正图像恢复单元254恢复的静态图像的相应帧的倾斜,并且将鱼眼图像转换为全向图像。倾
    斜校正单元258更具体地包括转换表格修正单元260和全向图像产生单元262。

    图像处理装置150提前准备转换表格,所述转换表格用于通过将两个成像元件
    130A和130B捕获的两个鱼眼图像(其作为视频文件的各帧传送到图像处理装置)转换为球
    面坐标系中的图像以生成全向图像。转换表格由制造商等例如基于相应透镜光学系统的设
    计数据,根据预定投影模型而提前创建,并且在全向相机110的直接向上方向与垂直线一致
    的假设条件下是准备用于将鱼眼图像转换为全向图像的数据。在这里描述的实施例中,如
    果全向相机110倾斜使得直接向上方向不与垂直线一致,则转换数据根据倾斜加以修正,使
    得反映天顶校正。

    视频格式的相应图像数据中包括的局部图像由二维成像元件(光接收区域为其每
    一个提供一定量的区域)捕获,并且是用平面坐标系(x,y)表示的图像数据(参照图5B,图11
    所示的第一局部图像和第二局部图像)。相比于这些图像,使用转换表格进行天顶校正后的
    校正图像是用球面坐标系(其是具有半径为1和两个偏转角θ和φ的极坐标系)中表示的全
    向图像格式的图像数据(参照图10A和10B以及图11所示的全向图像)。

    转换表格可以存储在视频文件中并在读取视频文件时获得,或者可以提前从全向
    相机110下载到图像处理装置150??商娲?,转换表格按照如下这样获得:在图像处理装置
    中提前准备用作所有单独全向相机的公共基础的转换表格;将用于获得对于单独全向相机
    110唯一的转换表格的差异数据写入视频文件;在读取视频文件时恢复唯一的转换表格。

    根据获取的倾斜角度,转换表格修正单元260修正上面描述的转换表格,使得图像
    的天顶方向(指向观看者正上方点的方向)与检测到的垂直线(在重力作用的垂直方向上形
    成的直线)一致。结果,通过使用修正的转换表格将鱼眼图像转换为全向图像,产生全向图
    像使得反映将天顶方向与倾斜对应的垂直线对准的校正。全向图像产生单元262使用转换
    表格修正单元260修正的转换表格,以将每个恢复的帧对应的两个局部图像转换为反映天
    顶校正的全向图像,并且将全向图像的每个帧输出到视频产生单元264。转换表格修正单元
    260和全向图像产生单元262校正图像,使得校正后的每个帧的图像的天顶方向与垂直方向
    一致。

    基于倾斜校正单元258校正的每一帧的全向图像,视频产生单元264将各帧编码为
    预定的视频压缩格式以产生最终的视频数据,并且将最终的视频数据写为视频文件270。视
    频文件270为全向图像的视频数据。预定的视频压缩格式可以是包括上述格式的任何格式。

    当观看视频文件时,基于产生的视频数据,全天球指定的特定视野中的图像被再
    现并且通过显示应用加以显示。在产生的视频数据中,图像的天顶方向固定到垂直线。为
    此,当在观看视频数据的同时改变显示的视野时,仅出现跟随视野的改变的旋转。结果,减
    少了包括视野改变和倾斜的复杂旋转,从而减小诸如3D眩晕之类的不舒适感觉的可能性。

    下面参照图4和图7单独描述根据本实施例的全向相机110执行的处理和图像处理
    装置150执行的处理的细节。图4是图示根据本实施例的构成全向视频成像系统100的全向
    相机110执行的成像处理的流程图。图4所示的处理响应于命令(如按下全向相机110的视频
    拍摄按钮)从步骤S100开始,以开始成像。在步骤S101,全向相机110的成像单元212从成像
    元件130A和130B读取一个帧的两个图像数据。

    图5A和5B是使用一个鱼眼镜头说明全向相机110中的投影关系的图。在本实施例
    中,利用一个鱼眼镜头拍摄的图像是通过拍摄相对于拍摄地点基本上半球的方位范围所获
    得的图像。如图5A所示,鱼眼镜头产生具有与相对于光轴的入射角φ对应的图像高度h的图
    像。图像高度h和入射角φ之间的关系由根据预定的投影模型的投影函数来确定。投影函数
    依据鱼眼镜头的特性而改变。对于基于称作等距投影方案的投影模型的鱼眼镜头,投影函
    数用下面的表达式(1)表示,其中f是焦距。

    h=f×φ (1)

    上述投影模型的其他示例包括中心投影方案(h=f·tanφ)、立体投影方案(h=
    2f·tan(φ/2))、等立体角投影方案(h=2f·sin(φ/2))和正交投影方案(h=f·sinφ)。
    在任一方案中,与相对于光轴的入射角φ和焦距f对应地确定所形成图像的图像高度h。本
    实施例采用称作圆形鱼眼镜头(其具有比图像的对角线更短的图像圆直径)的配置。如图5B
    所示,从该镜头获得的局部图像是通过投影基本上半球的拍摄范围所获得的包括整个图像
    圆的平面图像。

    在这里描述的实施例中,一帧的两个图像数据是包括整个图像圆的、由两个成像
    元件130A和130B捕获并且通过投影基本上半球的拍摄范围所获得的两个平面图像(图11的
    第一局部图像和第二局部图像)。

    再次参照图4,在步骤S102,全向相机110将图像处理应用于成像单元212捕获的一
    帧的两个图像数据,并且将结果存储在DRAM 132中。首先,全向相机110例如将光学黑校正、
    缺陷像素校正、线性校正和阴影处理应用于从成像元件130A和130B获取的拜尔原始图像。
    然后,全向相机110应用白平衡处理、伽马校正、拜尔内插、YUV转换、边缘增强处理和色彩校
    正。

    在步骤S103,全向相机110的倾斜记录单元218与拍摄的帧同步地检测倾斜角度,
    并且将倾斜角度存储在存储器中。

    图6是说明本实施例中的全向相机110的倾斜的示意图。在图6中,垂直方向与全局
    坐标系中x、y、z三维正交坐标轴的z轴一致。当该方向与图6所示的全向相机110的直接向上
    方向一致时,其意味着相机没有倾斜。全向相机110在该方向不与其直接向上方向一致时倾
    斜。

    具体地,来自重力矢量的倾斜角度(下文称为倾斜角度β)和xy平面中的入射角α
    (下文称为倾斜角度α)是使用加速度传感器的输出从下面的表达式(2)获得的。在该表达式
    中,Ax是相机坐标系中加速度传感器136的输出的x0轴方向分量的值;Ay是相机坐标系中加
    速度传感器136的输出的y0轴方向分量的值;以及Az是相机坐标系中加速度传感器136的输
    出的z0轴方向分量的值。在步骤S103,从加速度传感器136的输出的相应轴方向上的各分量
    的值获得倾斜角度α和β,并且存储结果。



    再次参照图4,在步骤S104,全向相机110将所获取的一帧的两个图像数据提供给
    视频压缩单元214,并且将视频格式的图像数据写入存储器。在步骤S105,全向相机110确定
    是否需要写入视频。如果确定达到预定的写入大小并因此需要写入视频(步骤S105处的
    “是”),则处理转移至步骤S106。在步骤S106,全向相机110的输出单元220将DRAM 132中存
    储的视频格式的两个图像数据记录至外部存储单元134作为两个视频文件。如果确定尚未
    到达预定的写入大小并因此无需写入视频(步骤S105处的“否”),则处理直接前进到步骤
    S107。

    在步骤S107,全向相机110确定是否需要写入倾斜角度数据。如果确定达到预定的
    写入大小并因此需要写入倾斜角度数据(步骤S107处的“是”),则处理转移至步骤S108。在
    步骤S108,全向相机110的输出单元220将DRAM 132中存储的倾斜角度数据记录至外部存储
    单元134作为倾斜角度文件。如果确定尚未到达预定的写入大小并因此无需写入倾斜角度
    数据(步骤S107处的“否”),则处理直接前进到步骤S109。

    在步骤S109,全向相机110确定是否完成拍摄。如果确定用户尚未命令完成拍摄并
    且拍摄尚未完成(步骤S109处的“否”),则处理循环回到步骤S101,并且处理下一帧。如果确
    定已经从用户接收到完成拍摄的命令并且完成拍摄(步骤S109处的“是”),则处理进行到步
    骤S110。

    在步骤S110,全向相机110在视频文件中写入图像处理装置150转换图像所需要的
    额外信息,并且在步骤S111,全向相机110执行的成像处理结束。转换图像所需要的额外信
    息是用于图像处理装置150恢复符合已拍摄视频的特定全向相机110的转换表格的数据。额
    外信息可以是转换表格自身,或者是与标准转换表格对应的每个单独全向相机的转换表格
    的差异数据,或者可以是用于标识出多个预先定义的转换表格之中的相关转换表格的标识
    信息。

    图7是图示根据本实施例的构成全向视频成像系统100的图像处理装置150执行的
    记录处理的流程图。在用于在图像处理装置150上产生全向视频的应用中,指定视频文件和
    倾斜角度文件;发出命令以开始编码和记录;并且响应于该命令,图7所示的记录处理从步
    骤S200开始。

    在图像处理装置150中,在步骤S201,读取单元252从外部存储单元160读出两个视
    频文件,并且图像恢复单元254恢复预定数目帧的两个图像数据。在图像处理装置150中,在
    步骤S202,读取单元252从外部存储单元160读取倾斜角度文件,并且倾斜获取单元256获取
    与上面恢复的预定数目的帧中相应那些帧对应的倾斜角度。

    将构成视频文件230的所有帧加载至RAM 154导致过量存储器的使用。为了避免这
    个问题,优选实施例可以配置为:当进行校正时,仅将基于构成整个视频文件的帧的起始帧
    的一些帧的图像数据和倾斜角度数据加载到RAM 154。如果采用允许沿着时间轴压缩的诸
    如MPEG-4AVC格式之类的格式,则各帧以GOP(group of picture,画面组)为单位(如图8所
    示)或者以根据与GOP的构思相同的构思所涉及的另一单位高效地加载至存储器。

    GOP包括I画面、P画面和B画面。I画面是用作再现的开始点并且通过帧内预测编码
    进行编码的画面。P画面是通过帧间预测从在先I画面或在先P画面进行编码的画面。B画面
    是通过帧间预测使用在先(前向)画面或在后(后向)画面、或者在先和在后(双向)画面两者
    进行编码的画面。GOP包括至少一个I画面,使得通过以GOP为单位加载帧以便最小化加载的
    帧的数目,可以恢复预定数目帧的静态图像。

    再次参照图7,在步骤S203,图像处理装置150从视频文件读取额外信息,并且准备
    对于已拍摄视频文件的全向相机110唯一的转换表格。在步骤S204,基于所获取的倾斜角度
    和读取的额外信息,图像处理装置150将转换应用于从相应视频文件恢复的预定数目的帧
    的相应的图像数据。

    图9是图示根据本实施例的、构成全向视频成像系统100的图像处理装置150执行
    的转换的流程图。图9所示的转换在图7所示的步骤S204被调用,并且从步骤S300开始。在步
    骤S301到S307的循环中,在逐帧的基础上执行步骤S302到S306的处理。

    在步骤S302,图像处理装置150设置与帧对应的倾斜角度α和β。在步骤S303,图像
    处理装置150的转换表格修正单元260根据获取的倾斜角度α和β修正转换表格。对于转换表
    格的修正将在稍后详细描述。

    在步骤S304,图像处理装置150接收帧的两段恢复的图像数据。在步骤S305,图像
    处理装置150的全向图像产生单元262使用修正后的转换表格以转换帧的两段恢复的图像
    数据(每一个均包括鱼眼图像),并且产生两段校正的图像数据(两个全向图像,每一个均覆
    盖与两个相应鱼眼图像对应的一个半球)。在步骤S306,图像处理装置150组合帧的两段校
    正的图像数据(每一个均覆盖对应一个半球),以产生最终的图像数据(全向图像)。

    图10A是说明用平坦表面表示全向图像格式的情况的图,图10B是说明用球体表面
    表示全向图像格式的情况的图。如图10A所示,全向图像的格式表示这样的图像:其在平坦
    表面中展开时,具有从0°到360°的水平角范围和从0°到180°的垂直角范围中的角坐标对应
    的像素值。角坐标对应于图10B所示的球体表面上的相应坐标点,并且类似于地球仪上的纬
    度和经度坐标。

    通过使用投影函数f(h=f(θ))(如使用图5A和5B描述的投影函数),利用鱼眼镜头
    拍摄的图像的平面坐标值和全向图像的球面坐标值之间的关系可以彼此相关联。由此通过
    转换和结合(组合)利用鱼眼镜头拍摄的两个局部图像,可以形成图10A和10B所示的全向图
    像。

    下面描述使用利用鱼眼镜头实际拍摄的图像产生全向图像的处理。图11是这样的
    图:其说明成像元件130A和130B通过根据本实施例的全向相机110中的两个鱼眼镜头捕获
    的图像,并且说明通过利用转换表格转换被捕获图像并且将两个转换的图像组合在一起而
    在根据本实施例的图像处理装置150中产生的图像。

    在图11中,成像元件130A和130B通过两个鱼眼镜头拍摄的局部图像首先通过参照
    图9描述的步骤S305处的处理(即,使用修正后的转换表格进行的图像转换)而转换为两个
    全向图像。此时,用符合全向图像格式的表示格式(即,以对应于图10A和10B的表示格式)来
    表示图像。

    通过图9所示的步骤S306处的处理(即,通过两个图像的转换之后的图像组合处
    理)产生图11所示的最终的全向图像。具体地,使用重叠部位作为用以创建最终全向图像的
    线索,将每一个均覆盖对应一个半球的两个全向图像彼此叠加和组合。

    图11还图示局部图像中的像素的位置和全景图像中与之对应的像素的位置之间
    的对应关系。当全向相机110正确地置于垂直方向上并没有倾斜地拍摄照片,并且全向相机
    110的直接向上方向沿着垂直线时,仅仅校正失真可以获得拍摄者识别为天顶和水平线的
    与实际那些一致的图像,如图11所示。此时,在全向图像中,水平线位于每个局部图像的中
    心,并且还位于与地球仪的中纬线对应的位置。

    再次参照图9,在处理从步骤S301到S307的循环中出来时,当前处理在步骤S308结
    束,并且处理返回到图7所示的调用处理。

    再次参照图7,在步骤S205,图像处理装置150的视频产生单元264对预定数目帧的
    转换图像数据进行编码,以产生在倾斜方面得到校正的视频数据,并且将视频数据写入全
    向图像的视频文件270。在步骤S206,图像处理装置150确定是否达到读取的视频文件230的
    最后一帧。如果确定尚未达到最后一帧(步骤S206处的“否”),则处理循环返回到步骤S201,
    并且处理下一帧组。如果确定达到最后一帧(步骤S206处的“是”),则处理转移到步骤S207,
    并且记录处理结束。

    优选在步骤S204和步骤S205之间执行诸如用于降低时间噪声的图像处理、用于例
    如降低由于视频压缩编解码和轮廓的模糊所导致的噪声(包括蚊式噪声和块状噪声)的图
    像校正、用于修正色调的处理之类的处理。由此可期望最终图像的画质的改变。

    下面参照图12A到图14B,描述根据全向相机110的记录的倾斜角度来修正用于本
    实施例中全向图像的转换表格的处理。

    图12A和12B是说明用于本实施例中全向图像的转换表格的图。图12A是说明表示
    转换前后图像坐标值的矩阵的转换表格的图。图12B是说明转换后图像的坐标值和转换前
    图像的坐标值之间的关系的图。

    如图12A所示,对于转换后图像的每一个坐标值,图9所示的步骤S303处描述的图
    像转换使用的转换表格包括转换后图像的坐标值(θ,φ)(pix(代表“像素”))、以及与转换
    后图像的坐标值对应的转换前图像的坐标值(x,y)(pix)的数据集合。在这里描述的实施例
    中,转换表格图示为具有表格式数据结构。然而,转换表格不需要具有表格式数据结构。即,
    转换表格仅需要是转换数据。

    转换后图像可以根据图12A所示的转换表格从捕获的局部图像(转换前图像)生
    成。具体地,如图12B所示,通过参照与坐标值(θ,φ)(pix)对应的转换前图像的坐标值(x,
    y)(pix)处的像素值,转换表格(图12A)中给出的转换前后之间的对应关系允许生成转换后
    图像的每一个像素。

    在假设全向相机110的直接向上方向与垂直线一致的情况下,失真校正反映到修
    正前的转换表格。在根据倾斜角度修正转换表格后,天顶校正反映在转换表格中,使得全向
    相机110的直接向上方向与垂直线一致。

    图13是说明对于用以本实施例中的全向图像的转换表格的修正的操作流程的流
    程图。图13所示的修正在图9所示的步骤S303被调用,并且从步骤S400开始。

    在图13中,在步骤S401,图像处理装置150的转换表格修正单元260获取与要处理
    的帧对应的倾斜角度(α,β)。在步骤S402,图像处理装置150的转换表格修正单元260将输入
    值(θ1,φ1)设置到转换表格。在图13中,依赖于坐标系的参数值(θ,φ)对于相机坐标系表
    示为(θ0,φ0),对于全局坐标系表示为(θ1,φ1),以便彼此区分。即,在步骤S402设置全局
    坐标系中的参数(θ1,φ1)。

    在步骤S403,图像处理装置150的转换表格修正单元260执行垂直方向校正计算,
    以将全局坐标系中的输入值(θ1,φ1)转换为相机坐标系中的(θ0,φ0)。

    将描述垂直方向校正计算。图14A是使用相机坐标系说明用于全向图像的垂直方
    向校正计算的图,图14B是使用全局坐标系说明用于全向图像的垂直方向校正计算的图。

    在图14A和图14B中,三维正交坐标和球面坐标在全局坐标系中分别表示为(x1,
    y1,z1)和(θ1,φ1),三维正交坐标和球面坐标在相机坐标系中分别表示为(x0,y0,z0)和(θ
    0,φ0)。

    垂直方向校正计算使用下面的表达式(3)到(8),将球面坐标(θ1,φ1)变换为球面
    坐标(θ0,φ0)。首先,为了校正倾斜,需要使用三维正交坐标来应用旋转变换。因此,使用下
    面的表达式(3)到(5)将球面坐标(θ1,φ1)变换为三维正交坐标(x1,y1,z1)。

    x1=sin(φ1)cos(θ1) (3)

    y1=sin(φ1)sin(θ1) (4)

    z1=cos(φ1) (5)


    φ0=Arccos(z0) (7)


    然后,使用倾斜角度(α,β),执行上面提到的旋转坐标变换(上述表达式(6)),以将
    全局坐标系(x1,y1,z1)转换为相机坐标系(x0,y0,z0)?;谎灾?,上述表达式(6)给出倾斜角
    度(α,β)的定义。

    表达式(6)意味着全局坐标系首先围绕z轴旋转α,然后围绕x轴旋转β,以产生相机
    坐标系。最后,上面给出的表达式(7)和(8)用于在相机坐标系中将三维正交坐标(x0,y0,
    z0)转换为球面坐标(θ0,φ0)。

    下面描述垂直方向校正计算的另一实施例。又一实施例中的垂直方向校正计算可
    以使用下面的表达式(9)到(16)将球面坐标(θ1,φ1)转换为球面坐标(θ0,φ0)。该又一实
    施例可以增加垂直方向校正计算的速度。上面的转换等式(3)到(8)重写为上面的表达式
    (9)到(16)。

    x1'=sin(φ1)cos(θ1) (9)

    y1'=sin(φ1)sin(θ1) (10)

    z1'=cos(φ1) (11)


    φ0'=Arccos(z0') (13)


    θ0=θ0'-α (15)

    φ0=φ0' (16)

    即,围绕z轴的旋转α和γ等同于球面坐标(θ,φ)的θ的旋转。因而,可以在不变换
    到正交坐标系的情况下通过简单的加减实现旋转变换。结果,仅围绕x轴旋转β的旋转变换
    涉及使用正交坐标系的变换。这导致更高的计算速度。

    在上面描述的实施例中,垂直方向校正计算变换坐标。然而,在又一实施例中,通
    过根据倾斜角度(α,β)存储多个转换表格使得每一个表格具有与其他表格的那些值不同的
    值,消除了垂直方向校正计算的处理,从而速度可以得到进一步增加。即,在原理上用三维
    实数矢量表示倾斜角度(α,β)的同时,仅针对特定的倾斜角度(α,β)准备转换表格,并且采
    用具有与检测到的倾斜角度(α,β)最近的值的表格,使得可以在所有的情况下执行变换???br />替代地,可以高效地执行内插计算,其中提取出具有接近检测到的倾斜角度(α,β)的值的多
    个表格,并且这些值根据接近性进行加权或者取差。因此,可以仅通过内插计算(其为相当
    简单计算的计算)校正转换表格,使得计算所需要的处理量可以得到降低。

    再次参照图13,在步骤S404,图像处理装置150的转换表格修正单元260随后使用
    修正前的转换表格以将相机坐标系中的转换坐标(θ0,φ0)变换到转换前图像的坐标值(x,
    y)。该运算基于这样的假设:已经提前准备转换表格,以产生在相机不倾斜的条件下创建的
    正确全向图像。

    在步骤S405,图像处理装置150的转换表格修正单元260存储全局坐标系中的输入
    值(θ1,φ1)和已经最终计算出的修正前的坐标值(x,y),作为修正后的转换表格的对应坐
    标的集合。

    在步骤S406,图像处理装置150确定是否存在未处理的输入值(θ1,φ1),即,是否
    存在全局坐标系中修正前与之对应的坐标值(x,y)尚未予以计算的输入值(θ1,φ1)。如果
    确定存在这样的值(步骤S406处的“是”),则处理循环回到步骤S402,使得将全局坐标系中
    的输入值(θ1,φ1)设置为接下来的值。

    如果确定不存在这样的值(步骤S406处的“否”),则处理转移到步骤S407以结束处
    理,并且返回到图9中所示的调用处理。在这种情况下,已经计算出与全向图像格式中的相
    应像素对应的校正前的坐标值(x,y),其每一个在全局坐标系中具有输入值(θ1,φ1)的坐
    标值。

    下面参照图11、图15和图16,描述特定处理校正倾斜所获得的视频的帧。图15是图
    示倾斜校正前的视频(使用未修正的转换表格转换全向图像)的各帧的图,图16是图示倾斜
    校正后的视频(使用修正的转换表格转换全向图像)的各帧的图。图11图示全向相机110未
    倾斜使得直接向上方向与垂直线一致的情况,图15和图16图示全向相机110倾斜使得直接
    向上方向与垂直线不一致的情况。

    如上所述,当全向相机110正确地置于垂直方向时,可以捕获图像使得拍摄者识别
    为天顶和水平线的与实际的那些一致,如图11所示。如果相机可以安放在固定设备上并且
    使用水平仪等在姿势方面加以调节以捕获图像,则全向相机110可以在正确定位于垂直方
    向的同时捕获图像。

    然而,一般而言,当人持有的相机捕获图像时,以正确表达的其水平方向和垂直方
    向捕获图像是困难的。如果在没有倾斜校正的情况下通过倾斜的相机机身捕获图像,则各
    个图像的天顶方向彼此不同,并且水平线如图15所示那样失真。此时,局部图像的中心线与
    全向图像的中纬线一致,但是拍摄者识别为水平线的东西失真为全向图像中的曲线。如果
    没有校正的视频观看为图15中所示那样,则由于垂直方向和全向相机110的中心轴之间差
    异,观看期间改变视野导致诸如3D眩晕之类的不舒服感觉。

    与此对照,本实施例通过如下方式如图16所示那样获得?。涸谧凰兄〉耐枷?br />之后对图像数据进行编码,使得向上垂直方向与向上天顶方向一致?;谎灾?,拍摄者识别为
    水平线的东西被表示为局部图像中的曲线,但是与全向图像中的中纬线一致。以此方式转
    换图像可以形成在观看期间改变视野时不会带给用户诸如3D眩晕之类的不自然感觉的全
    向视频。

    根据上述实施例,可以提供使得能够检测图像捕获单元相对于参考方向的倾斜、
    生成根据检测到的倾斜在倾斜方面得到校正的视频数据的成像系统、成像装置、计算机程
    序和系统。

    根据本实施例的全向视频成像和记录功能以与记录视频图像的帧的频率相同的
    频率存储全向相机110的倾斜角度与视频图像的各个帧相关联的倾斜角度数据作为单独的
    文件。在倾斜角度文件的数据与帧同步时,在参照倾斜角度文件的数据的同时在每个帧中
    校正倾斜,并且视频图像得到再次显示和编码。结果,可以获得垂直方向正确的全向视频数
    据,因而,可以提供在用户改变视野时不会导致诸如3D眩晕之类的不舒服感觉或不自然感
    觉的全向视频数据。

    在静态图像的情况下,显示应用可以通过如下这样解决该问题:显示图像时考虑
    倾斜角度的校正以形成视野,使得倾斜校正是不必要的。然而,在视频数据的情况下,显示
    的画面总是典型地以15-30帧/秒进行改变,使得在观看期间解决该问题是困难的。如上所
    述,对提前校正倾斜角度的全向视频编码以产生视频文件,使得优选地显示全向视频,而不
    会带给观看者诸如3D眩晕之类的不舒服感觉。

    上述实施例将已经通过具有大于180°的视角的透镜光学系统捕获的两个局部图
    像进行叠加和组合。然而,可以将另一实施例应用于已经通过一个或更多个透镜光学系统
    捕获的三个或更多个局部图像的叠加和组合。尽管上面已经通过使用鱼眼镜头的成像系统
    的示例的方式描述了实施例,然而实施例可以应用于使用超广角透镜的全向视频成像系
    统。

    在上述实施例中,被捕获的帧的图像临时压缩为视频格式的图像数据,并且压缩
    后的视频格式的图像数据和倾斜的时间序列数据从全向相机110输出。图像处理装置150读
    取已经输出的视频格式的图像数据和倾斜的时间序列数据,从读取出的视频格式的图像数
    据恢复每个帧的图像,并且将倾斜校正应用于恢复的每个帧的图像。

    然而,另一实施例可以直接输出静态图像的连续帧作为组,而不把帧压缩为视频
    格式的图像数据。具体地,在另一实施例中,全向相机110输出各帧的图像和倾斜的时间序
    列数据。图像处理装置150可以读取从全向相机110输出的各帧的图像和倾斜的时间序列数
    据,并且将倾斜校正应用于已经读取出的每个帧的图像。

    此外,在上述实施例中,全向相机110经由外部存储单元将视频文件和倾斜角度文
    件传送到图像处理装置150。然而,用于传送视频数据和倾斜角度数据的方法不受限。全向
    相机110可以通过诸如上述USB连接或无线LAN连接之类的通信工具,将视频数据和倾斜角
    度数据传送到图像处理装置150。

    此外,在上述实施例中,从全向相机110的各个成像元件130A和130B捕获的图像创
    建视频格式的图像数据,并且图像处理装置150将图像组合在一起。然而,本发明不限于这
    种配置。具体地,全向相机110可以如上述那样提前组合已通过成像元件130A和130B捕获的
    图像,并从组合后的图像产生视频格式的图像数据,并且图像处理装置150可以处理所产生
    的数据。在这种情况下,图像处理装置无需组合图像。

    另外,以上实施例已经描述了全向视频成像系统包括作为单独机身的全向相机
    110和图像处理装置150。然而,本发明不限于这种配置。即,全向视频成像系统可以包括作
    为一个机身的全向相机110和图像处理装置150。在这种情况下,可以将公共CPU配置为用作
    CPU 112和CPU 152。用于数据传输的总线142和总线168中的每一个用一条线构成,并且硬
    件组件通过公共总线连接。这种配置消除了使用外部存储单元、或者有线或无线通信工具
    传输数据的需求。此外,在这种情况下,无需单独地记录视频文件和倾斜角度文件。代之,当
    已经获得倾斜角度和与之对应的图像时,可以产生倾斜根据倾斜角度得到校正(转换)的图
    像数据,并且视频数据可以从图像数据产生,并且记录至DRAM 132、RAM 154或HDD 156,或
    者显示在显示器162上。

    此外,在上述实施例中,当垂直方向与全向相机110的直接向上方向一致时,确定
    图像未倾斜。然而,本发明不限于此标准。代之垂直方向,例如,可以将水平方向或另一期望
    方向设置为参考方向,并且可以基于指定主体(如全向相机110或者成像元件130A或130B)
    相对于参考方向的倾斜来校正图像的倾斜。尽管上述实施例使用加速度传感器检测倾斜,
    然而,另一倾斜传感器(如加速度传感器和地磁传感器的组合)可以例如检测全向相机110、
    固定到全向相机110的成像元件130A或130B、或传感器自身的倾斜。

    可以通过以legacy编程语言(如汇编语言、C,C++,C#或)或面向对象的编程
    语言所写的计算机可执行程序实现上述功能单元。程序可以通过存储在计算机可读记录介
    质(如ROM、EEPROM、EPROM、闪存、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝牙盘、SD
    卡、MO盘)中或者通过电通信线路加以分发。上述所有或一些功能单元例如可以实现在诸如
    现场可编程们阵列(FPGA)之类的可编程器件(PD)或专用集成电路(ASIC)上。为了在PD上实
    现这种功能单元,可以使用存储例如以硬件描述语言(HDL)、非常高速的集成电路硬件描述
    语言(VHDL)或Verilog HDL所写的数据的记录介质来分发要下载到PD的电路配置数据(比
    特流数据)。

    上述配置使得可以检测图像捕获单元相对于参考方向的倾斜,并且产生根据检测
    到的倾斜在倾斜方面得到校正的视频数据。

    尽管已经针对特定实施例描述了本发明以便完整清楚的公开,然而所附权利要求
    并不由此受限,而是要解释为包括本领域技术人员可想到的合理落入这里阐述的基本教导
    内的所有变型和可替代构造。

    附图标记列表

    12 成像机身

    14 外壳

    18 快门按钮

    20 成像光学系统

    22 成像元件

    100 全向视频成像系统

    110 全向相机

    112 CPU

    114 ROM

    116 图像处理块

    118 视频压缩块

    120 DRAM接口

    122 外部存储单元接口

    124 外部传感器接口

    126 USB接口

    128 串行块

    130 成像元件

    132 DRAM

    134 外部存储单元

    136 加速度传感器

    138 USB连接器

    140 无线NIC

    142 总线

    150 图像处理装置

    152 CPU

    154 RAM

    156 HDD

    158 输入设备

    160 外部存储单元

    162 显示器

    164 无线NIC

    166 USB连接器

    168 总线

    200 功能块

    210 功能块

    212 成像单元

    214 视频压缩单元

    216 倾斜检测单元

    218 倾斜记录单元

    220 输出单元

    230 视频文件

    240 倾斜角度文件

    250 功能块

    252 读取单元

    254 图像恢复单元

    256 倾斜获取单元

    258 倾斜校正单元

    260 转换表修正单元

    262 全向图像产生单元

    264 视频产生单元

    270 视频文件

    引用列表

    专利文献

    专利文档1:日本专利申请特开No.2013-214947

    关于本文
    本文标题:成像系统、成像装置、计算机程序和系统.pdf
    链接地址://www.4mum.com.cn/p-6014143.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • ui时时彩计划软件 北京pk10冠军一码计划 后一五码倍投 江西时时软件手机版 彩票计划软件破解版 pk10在线人工计划技巧 天津时时开奖结果表龙虎 88期一肖中平特 pc大小单双稳赚技巧 广东时时走势图百度百度贴吧 彩神软件靠谱吗 定位独胆规律 玩时时彩龙虎怎么稳赚 北京pk10有反水吗 北京pk计划软件安卓版 时时彩总和大小怎么分