• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 21
    • 下载费用:30 金币  

    重庆时时彩个位彩经网: 自适应低光识别.pdf

    关 键 词:
    自适应 识别
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201580025872.6

    申请日:

    2015.05.15

    公开号:

    CN106464806A

    公开日:

    2017.02.22

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):H04N 5/232申请日:20150515|||公开
    IPC分类号: H04N5/232; H04N5/265; H04N5/33; G06F17/30; G06T5/50 主分类号: H04N5/232
    申请人: 谷歌技术控股有限责任公司
    发明人: 吉里·斯拉比; 威廉·S·皮尔斯; 劳伦斯·A·维利斯
    地址: 美国加利福尼亚州
    优先权: 2014.05.21 US 14/283,276
    专利代理机构: 中原信达知识产权代理有限责任公司 11219 代理人: 李佳;穆德骏
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201580025872.6

    授权公告号:

    |||

    法律状态公告日:

    2017.03.22|||2017.02.22

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本文献描述了用于实现自适应低光识别的技术(300,500)和装置(102,700)。这些技术(300,500)和装置(102,700)使得计算设备捕捉人的红外(IR)影像并且基于多个人的先前捕捉的IR影像,确定人的身份。然后,检索所识别的人的可见光影像并且与IR影像结合来提供该人的合成影像,并且将其呈现给用户。通过这样做,用户能更容易识别该人,特别是在低光条件下。

    权利要求书

    1.一种方法,包括:
    经由设备的启用红外的传感器,捕捉(302)人的红外IR影像;
    基于所述IR影像和一个或多个人的先前捕捉的IR影像,确定(304)所述人的身份;
    基于所述人的身份,检索(306)所述人的先前捕捉的可见光影像;
    组合(308)所述IR影像和所述先前捕捉的可见光影像,以提供所述人的合成影像;以及
    经由所述设备的显示器,呈现(308)所述人的所述合成影像。
    2.如权利要求1所述的方法,进一步包括:基于所述设备的位置或关于所述一个或多个
    人已知的行为信息,确定所述人的身份。
    3.如权利要求2所述的方法,进一步包括:通过以下中的一个来确定所述设备的位置:
    经由所述设备的全球定位系统GPS来确定所述位置;
    经由与一个或多个已知无线网络的关联来确定所述位置;
    经由所述IR影像内的地理标记元素来确定所述位置;或
    基于先前已知的位置和通过使用所述设备的地图和惯性数据,确定所述位置。
    4.如权利要求1所述的方法,进一步包括,在捕捉所述人的所述IR影像之前,捕捉所述
    一个或多个人的所述先前捕捉的IR影像,以及,将一个或多个相应身份与所述先前捕捉的
    IR影像的所述一个或多个人相关联。
    5.如权利要求1所述的方法,其中,响应于经由所述设备的环境光传感器确定环境光的
    水平低于预定阈值而实施所述方法。
    6.如权利要求1所述的方法,其中,所述设备的所述启用红外的传感器被配置为捕捉照
    明近红外NIR光或长波红外LWIR热图像。
    7.如权利要求1所述的方法,其中,所述设备包括以下中的一个:智能电话、平板计算
    机、可穿戴计算机、或基于车辆的计算系统。
    8.一种方法,包括:
    经由设备的启用红外的传感器,捕捉(502)位置和在所述位置处的人的红外IR影像;
    基于与所述设备相关联的已知位置和取向信息,访问(506)所述位置的先前捕捉的影
    像;
    整合(508)所述位置的先前捕捉的影像中和所述位置的IR影像中的物体,以提供所述
    位置的合成影像;
    基于一个或多个人的先前捕捉的IR影像,确定(510)所述人的身份;
    基于所述人的所述身份,访问(512)所述人的先前捕捉的可见光影像;
    整合(514)所述人的可见光影像和所述IR影像,以提供所述人的合成影像;以及
    经由所述设备的显示器,呈现(516)所述位置和所述人的合成影像。
    9.如权利要求8所述的方法,进一步包括:
    经由所述设备的全球定位系统GPS,确定与所述设备相关联的所述已知位置信息;以及
    经由加速计或磁强计,确定与所述设备相关联的已知取向信息。
    10.如权利要求8所述的方法,进一步包括:从本地库或远程库访问所述一个或多个人
    的先前捕捉的影像。
    11.如权利要求8所述的方法,进一步包括,在捕捉所述位置和所述人的IR影像之前,捕
    捉以下中的至少一个:
    所述位置的先前捕捉的影像;
    所述一个或多个人的先前捕捉的IR影像;或
    所述人的先前捕捉的可见光影像。
    12.如权利要求8所述的方法,其中,对于所述一个或多个人中的每一个人,相应的先前
    捕捉的IR影像包括IR图像模板,所述IR图像模板包括相应人的至少一个热图像和对识别所
    述相应人有用的信息。
    13.如权利要求12所述的方法,其中,访问所述人的先前捕捉的可见光影像包括:访问
    存储可见光图像模板的本地存储器或远程位置,所述可见光图像模板包括所述人的至少一
    个可见光图像和将所述可见光图像与所述人关联的信息。
    14.如权利要求8所述的方法,其中,所述设备包括以下中的一个:智能电话、平板计算
    机、可穿戴计算机、或基于车辆的计算系统。
    15.一种装置,包括:
    无线接口(216),所述无线接口被配置为经由无线网络实现数据通信;
    启用红外的传感器(222),所述启用红外的传感器被配置为捕捉红外IR影像;
    显示器(104,206),所述显示器被配置为呈现内容;以及
    影像引擎(210,722),所述影像引擎被配置为:
    经由所述启用红外的传感器,捕捉(302)人的红外IR影像;
    将所述IR影像与一个或多个人的先前捕捉的IR影像比较(304),以确定所述IR影像中
    的所述人的身份;
    基于所述人的所述身份,访问(306)所述人的先前捕捉的可见光影像;
    整合(308)所述IR影像和所述先前捕捉的可见光影像,以提供所述人的合成影像;以及
    经由所述显示器,呈现(308)所述人的所述合成影像。
    16.如权利要求15所述的装置,进一步包括全球定位系统GPS???,并且其中,所述影像
    引擎进一步被配置为:
    确定所述装置的位置;
    访问与所述装置的所述位置相关联的先前捕捉的影像;
    组合与所述位置相关联的先前捕捉的影像与IR影像,以提供所述位置的合成影像;以

    经由所述显示器,呈现所述位置和所述人的合成影像。
    17.如权利要求15所述的装置,其中,所述人的所述先前捕捉的可见光影像包括所述人
    的可见光图像,并且所述影像引擎被进一步配置为:
    在捕捉所述人的所述IR影像之前,捕捉所述人的所述可见光图像;或
    从在线库检索所述人的所述可见光图像。
    18.如权利要求15所述的装置,其中,比较所述IR影像和所述先前捕捉的IR影像包括:
    比较所述IR影像中的所述人的特性和所述先前捕捉的IR影像中的所述一个或多个人的相
    应特性,所述特性包括以下中的至少一个:体型、身体尺寸、行走步态、珠宝、衣物、或面部生
    物特征。
    19.如权利要求15所述的装置,进一步包括传感器,所述传感器被配置为检测环境光的
    水平,以及其中,所述影像引擎被进一步配置为:响应于确定所述环境光的水平低于预先限
    定的阈值,禁用所述装置的可见光视图模式并且呈现所述人的合成影像。
    20.如权利要求15所述的装置,其中,所述装置整体上或部分地被配置为以下中的一
    个:智能电话、平板计算机、可穿戴计算机、或基于车辆的计算系统。

    说明书

    自适应低光识别

    背景技术

    为了一般呈现本公开的上下文,提供该背景描述。除本文另有说明,既不是明确也
    不是隐含地承认本章节中所述的材料对本公开或所附权利要求来说是现有技术。

    人眼通常难以在诸如夜晚的低光条件下感知影像或风景。因为人眼的构造随时间
    劣化,因此随着人的年龄增长,夜间看不见的问题越来越严重。这种劣化的示例可以包括晶
    状体云斑、瞳孔收缩、以及丧失感光体或其灵敏度。同样地,特别是对成年人,低光条件下看
    不见会很不方便或受挫,诸如当接近可能熟悉或不熟悉的其他人时。

    此外,用来增强人类夜视的现有的技术还受制于日夜特性差异。例如,计算设备的
    图像传感器通常被设计为白天工作,导致在低光条件下不良的成像性能。由此,尝试使用计
    算设备的图像传感器在夜间识别人通常不会给用户带来好处并且可能会进一步使用户受
    挫。

    附图说明

    参考下述附图,描述实现自适应低光识别的技术和装置。在整个附图中,使用相同
    的数字来表示相同的特征和组件。

    图1图示出能实现自适应低光识别的技术的示例环境。

    图2图示出能够实现自适应低光识别的示例计算设备。

    图3图示出组合红外影像和可见光影像的示例方法。

    图4图示出根据一个或多个实施例提供的合成影像的示例。

    图5图示出提供位置和人的合成影像的示例方法。

    图6图示出根据一个或多个实施例提供的位置和人的合成影像的示例。

    图7图示出能实现自适应低光识别的技术的电子设备的各个组件。

    具体实施方式

    不管在夜晚还是在无灯光的室内空间中,人眼通常不能在低光条件下准确地感知
    人或影像。至少,对于在低光条件下尝试识别人的人来说,这是不方便的,并且在一些情况
    下,甚至会不安全。即使是能够提供识别服务的常规的计算设备由于其白天操作的固有设
    计,通常很少用在低光条件下。

    本公开描述了便于自适应低光识别的技术和装置,使得计算设备能够捕捉人的红
    外(IR)影像并且基于该人的IR影像,检索与该IR影像对应的该人的先前捕捉的影像(例如
    可见光图像)。然后,能够组合(合并)IR影像和先前捕捉的影像来提供呈现给用户的合成影
    像。通过这样做,特别是在低光条件下,能增强该人的用户视力。例如,当先前捕捉的影像包
    括特定人的颜色简档图片时,呈现给用户的合成影像可以包括该特定人的面部的可见光图
    像。这能有效地允许用户在夜间识别以虚拟白天条件来呈现的人。

    下文论述首先描述操作环境,接着描述在该环境下采用的技术并且以示例装置结
    束。

    操作环境

    图1图示出能实现自适应低光识别的技术的示例环境100?;肪?00包括具有显示
    器104的计算设备102,通过显示器104,向用户呈现位置106的影像(例如风景、人、或动物)。
    由计算设备102或与计算设备102相关联的另一设备(未示出)的相机(未示出)来捕捉位置
    106的影像。在一些实施例中,计算设备102或其他设备的相机能够感测人眼不能感知的光,
    诸如可以包括长波IR(LWIR)热成像的红外(IR)光、近红外照明(NIR)、或低照度光。例如,假
    定用户108夜间位于位置106,计算设备102的相机能捕捉到位置106处的人或物体的IR影
    像。

    显示器104可以呈现用于配置计算设备102的相机或选择由显示器104呈现位置
    106的影像的视图模式的用户界面(例如取景器界面)。计算设备102的视图模式可以包括下
    文所述的正常白天视图模式、IR视图模式、和一个或多个自适应低光视图模式。由显示器
    104呈现位置106的哪些影像取决于用户108相对于位置106或环境100,如何取向计算设备
    102。在图1中示出了一个这种取向的示例,其中,示出用户108站在位置106的房屋110、树
    112和人114前。在该具体示例中,因为用户108夜间位于位置106处,房屋110、树112、和人
    114对用户108来说,当不从显示器104看时,就像被月光覆盖的黑色物体。

    当用户108朝位置106取向计算设备102(及其相机)时,用户108能通过显示器104
    看到房屋110、树112、和人114的相应部分。为了视觉清楚,以详细视图116示出来自用户108
    的视角的位置106的视图。如详细视图116所示,能通过显示器104观看位置106的一些影像,
    而位置106的其他影像在计算设备102的周围是可见的。在该具体示例中,通过显示器104所
    示的影像示为由计算设备102的低光视图模式提供的合成影像118。其中,由于黑暗先前不
    可见的房屋110、树112、和人114的特征,诸如门120、屋顶122、窗户124、树叶126、和人114的
    面部128在合成影像118中均可见。

    通常,能通过利用计算设备102的相机和其他组件的能力实现低光视图模式来提
    供合成影像。在一些方面中,相机捕捉人的IR影像并且将IR影像与一个或多个人的先前捕
    捉的IR影像比较来确定该人的身份。然后,计算设备102能基于该人的身份,检索那一人的
    先前捕捉的可见光影像,诸如简档图片、白天捕捉的影像、或在人造灯光下捕捉的影像。然
    后,能将该位置的先前捕捉的可见光影像和该人的先前捕捉的可见光影像与该IR影像组合
    来提供该人在该位置处的合成影像。其中,注意在本公开的一般上下文中的术语可见光不
    旨在限制,而是可以包括任何适当类型的光或光源,诸如日光、太阳光、人造光等或与其互
    换使用。

    在一些情况下,先前捕捉的可见光影像的部分被取向并且叠加在IR影像上,来有
    效地呈现该人的白天或日光视图。在本示例的上下文中,在图1中示为在位置106的IR影像
    上叠加的人114的面部128,而没有计算设备102的帮助,人114的其他部分是不可见的。这仅
    是实现自适应低光人物识别来提供人的合成影像的一个示例。如何实现计算设备102来提
    供此并且自适应低光识别的其他实施例可改变并且在下文中描述。

    更具体地说,考虑图2,其图示出了图1的计算设备102的示例实施例。计算设备102
    能是或包括能够实现自适应低光识别的许多不同类型的计算或电子设备。在该示例中,计
    算设备102示为智能电话102-1和智能眼镜102-2,但是也能构想其他设备。仅举例来说,其
    他计算设备102可以包括蜂窝电话、笔记本电脑(例如笔记本或超级本)、相机(小型或单反
    相机)、智能手表、平板计算机、个人媒体播放器、个人导航设备(例如全球定位系统)、车辆
    导航系统、头戴式显示器(HUD)、游戏控制台、桌面型计算机、摄像机、或便携式游戏设备。在
    一些情况下,自适应低光识别的实施例可以由两个或更多个设备来实现,诸如计算设备和
    能与计算设备操作耦合的配件设备(例如独立相机和/或显示器设备)实现。替选地或可附
    加地,计算设备可以与智能车辆的一个或多个组件集成或可操作地耦合,智能车辆的挡风
    玻璃或窗户可以用作将环境的视图呈现为虚拟日光现实的显示器。

    计算设备102包括处理器202,其被配置为能够实现计算设备102的各种功能的单
    核或多核处理器。在一些情况下,处理器202包括用于处理计算设备102的各种图像或视频
    的视频处理核。处理器202可以与本文所述的计算设备102的任何其他组件或??轳詈喜⑶?br />可以实现其功能。计算设备102包括计算机可读介质204(CRM 204)和显示器206。计算机可
    读介质204包括设备数据208,诸如能由处理器202执行的计算设备102的操作系统、固件、或
    应用。替选地或可附加地,设备数据208可以包括各种用户数据,诸如图像、音乐、文档、电子
    邮件、联系人等。CRM 204还包括影像引擎210和IR图像模板212,在该示例中,其被体现为存
    储在CRM 204上的计算机可执行代码。

    影像引擎210能组合、合并、或以其它方式整合影像或视频的多个源。例如,影像引
    擎210能根据自适应低光识别的一个或多个方面,将IR影像与任何适当的先前捕捉的影像
    (例如可见光影像)组合来提供合成影像。替选地或可附加地,影像引擎还可以管理应用于
    由显示器206呈现的合成影像的视觉方面或效果。例如,影像引擎210可以变更(例如控制或
    操纵)应用于由显示器206呈现的IR影像或先前捕捉的影像的长宽比、全景、旋转、光深、变
    焦、裁剪、拉伸、或压缩。影像引擎210的另外的实施方式和用途改变并且在下文更详细描
    述。

    IR图像模板212包括一个或多个人的先前捕捉的IR影像。IR图像模板212还可以包
    括用来识别先前捕捉的IR影像对其可用的一个或多个人的信息或与之相关联。在一些情况
    下,通过登记过程创建IR图像模板212,其中,登记人的可见光图像和热像图(例如,IR图像)
    来捕捉该人的独特的生物温度分布。尽管示为存储在CRM 204中,但也可以将IR图像模板
    212存储在远程库中,诸如服务器、社交媒体网站、或云服务。替选地或可附加地,该人的可
    见光图像也可以从远程库来检索或通过访问远程库来更新。

    显示器206呈现用于由用户查看的影像或内容。显示器206可以实现为参考图1所
    述的显示器104或与之类似。替选地,显示器206可以实现为远程设备的屏幕、投影仪、或镜
    头,诸如车辆的挡风玻璃、或智能眼镜102-2或虚拟现实眼镜的透镜(投影或其他)。在一些
    情况下,用户能通过显示器206与计算设备102的内容有关应用或图形用户界面交互。在这
    些情况下,显示器可以与通过其接收用户输入的触敏输入设备(例如触摸屏)相关联或包括
    触敏输入设备。显示器206可以被配置为任何适当类型的显示器,诸如有机发光二极管
    (OLED)显示器、有源矩阵OLED显示器、液晶显示器(LCD)、面内位移LCD、透明LCD单元、投影
    显示器、投影仪透镜等。

    计算设备102还可以包括相机214,其被配置为感测或捕捉计算设备102周围的影
    像或风景。在该示例中,相机214实现在计算设备102的与实现显示器206的表面相反的表面
    上。在一些情况下,相机214实现在与显示器206相同的表面上或实现为与计算设备102相关
    联的配件设备的一部分。在至少一些实施例中,显示器206呈现由前置相机214捕捉的实时
    影像,诸如当配置为计算设备102的取景器时。由此,当用户在环境内取向或重新取向计算
    设备102时,由显示器206呈现的影像随着相机214捕捉该环境的不同影像而改变。在至少一
    些实施例中,相机214可以实现为与显示器设备通信的配件设备(例如可穿戴配件或独立的
    相机)、与计算设备(例如计算设备102)相关联的显示器、或具有被配置为呈现虚拟日光现
    实的显示器的窗户的智能车辆。替选地或可附加地,相机214可以实现为与车辆的导航或成
    像系统相关联的车载相机,诸如当在启用视觉的车辆中实现时。

    在一些实施例中,相机214对不同于通常人眼可见的光的光谱范围敏感。相机214
    的这些不同光谱范围可以包括红外光(例如LWIR或NIR)、紫外光、低照度光、或对于在可见
    光的特定范围内的光的增加的灵敏度。在一些情况下,利用在不同光谱范围中捕捉的光来
    提供低光视图模式,在低光视图模式中经由显示器206可视地表示不同光谱范围的光(例如
    热或夜视)。

    计算设备102包括用于经由网络或其他连接通信数据的数据接口216。在一些情况
    下,这些数据接口216是用于经由无线网络(未示出)或直接与其他设备通信的无线收发器。
    这些无线网络的示例包括蜂窝网络、无线广域网(WWAN)、无线局域网(WLAN)、和无线个域网
    (WPAN),每一网络可以部分或全部被配置为基础设施、自组织、或网状网络。例如,配置为近
    距离无线收发器的接口可以根据蓝牙TM协议在WPAN上通信。

    在一些实施例中,数据接口216使得多个设备能够实现自适应低光识别。例如,尽
    管可能冗余,智能电话102-1和智能眼镜102-2可以每个实现用于实现自适应低光视图模式
    的不同组件或功能。在该示例的上下文中,影像引擎210可以驻留在智能电话102-1上,同时
    智能眼镜102-2实现显示器206和相机214。在这样的情况下,能经由每一设备的相应数据接
    口216,在智能电话102-1和智能眼镜102-2之间通信数据(例如影像或视频数据)。

    替选地或可附加地,数据接口216包括用于与其他设备通信的有线数据接口,诸如
    局域网(LAN)以太网收发器、串行数据接口、音频/视频端口(例如高清多媒体接口(HDMI)端
    口)、或通用串行总线(USB)端口。这些有线数据接口可以使用标准连接器或通过使用外设
    连接器以及提供增强安全性或互连密度的相关电缆实现。

    计算设备102还可以包括传感器218,其使得计算设备102能够感测计算设备102在
    其中操作的环境的各种属性、变化、或特性。在该特定示例中,传感器218包括全球定位系统
    (GPS)220、红外(IR)传感器222、和环境光传感器224。GPS 220能够经由从导航卫星接收的
    信号,确定计算设备102的地理位置和其他导航信息(例如速度或航向)。当导航卫星不可用
    时,GPS 220可以通过执行依赖于诸如惯性传感器和加速计的其他传感器的航位推算计算,
    来提供计算设备102的近似位置?;箍梢允褂帽玖煊蚬姆湮阉遣饬亢图?br />测,确定计算设备102的位置。替选地或可附加地,可以通过加速计和/或磁强计来提供计算
    设备102的取向。

    IR传感器222被配置为提供计算设备102取向朝向的人、物体、或风景的红外(IR)
    影像。IR传感器222可以以任何适当的格式,诸如视频、流媒体、或一系列图像,来捕捉IR影
    像??梢杂胂嗷?14分开或与其集成实现IR传感器222。替选地或可附加地,IR传感器222可
    以实现为配置用于热成像的基于微辐射热计传感器的IR相机(例如热相机或LWIR热敏传感
    器)、具有朝向IR光波长的IR滤光器的标准相机、或任何其他适当的IR或低光相关成像传感
    器?;肪彻獯衅?24使得计算设备102能够确定存在于环境中或计算设备102所处的位置
    中的环境光的水平。例如,从环境光传感器224接收的信息能与阈值相比较来确定计算设备
    102是否处于日光、黑暗、月光、室内等。

    传感器218还可以包括其他类型的传感器,诸如接近传感器、声学传感器、磁传感
    器、温度/热传感器、微机电系统、相机型传感器(例如电荷耦合器件传感器或互补金属氧化
    物半导体传感器)、电容传感器等。替选地或可附加地,传感器218使得能够进行与计算设备
    102的用户交互或从该用户接收输入。在这种情况下,传感器218可以包括压电传感器、声波
    传感器、热触摸传感器、电容触摸传感器、与硬件开关相关联的输入感测逻辑(例如键盘、按
    键弹片、或拨号盘)等。在至少一些实施例中,传感器218(例如加速计或磁强计)使得能够确
    定相机214或IR传感器222的取向或方向。

    示例技术

    下述论述描述实现自适应低光识别的技术。利用先前所述的实体来实现这些技
    术,所述实体诸如图2的显示器206、影像引擎210、相机214、GPS 220、或IR传感器222。这些
    技术包括图3和5中所示的示例性方法,其示为由一个或多个实体执行的操作。所示或所述
    的这些方法的操作的顺序不旨在解释为限制,可以以任何顺序组合上述方法操作的任意多
    个或组合来实现方法或替选方法,包括由图3和5所图示的那些方法中的任意方法。

    图3图示出组合红外影像和先前捕捉的可见光影像的示例方法300。

    在302,经由设备的启用红外的(启用IR的)传感器捕捉人的红外(IR)影像。设备的
    启用IR的传感器可以是设备的专用IR传感器或设备的IR敏感的相机。通常,启用IR的的传
    感器捕捉特定位置的人、物体、或风景的IR影像。在一些情况下,IR影像是实时捕捉的影像
    流或影像系列。在这样的情况下,IR影像包括存在于该位置的人、物体、或元素。替选地或可
    附加地,当在低光条件下捕捉IR影像时,IR影像可能缺少在日光条件下可感知的颜色或其
    他视觉质量。

    在一些情况下,设备的启用IR的传感器或IR相机可以按照能够计算或确定人的详
    细物理特性的分辨率提供IR影像。例如,IR相机可以使得设备能够计算感兴趣的人的一个
    或多个指甲的宽度。当确定人的身份时,能利用指甲宽度数据连同手指大小或肢体大小。在
    这样的情况下,捕捉的IR影像或IR图像模板中的人的特征或特性可以包括体型、身体尺寸、
    行走步态、珠宝、衣物、面部生物特征、肢体尺寸、手指和/或指甲尺寸等。

    举例来说,考虑图4的示例实施例400,其中,智能眼镜102-2的用户正在会见朋友
    吃晚餐。假定该用户已经导航至他的朋友生活的房屋,但在夜间的低光条件下,不能确定谁
    在他朋友的房屋外。当该用户看向未识别的人的时,智能眼镜102-2取向朝向黑暗中的人,
    从用户的视角看,其示为夜间影像402。在此假定影像引擎210检测到低光条件并且激活智
    能眼镜102-2的低光识别模式。当智能眼镜102-2取向朝向该人时,IR传感器222捕捉该人的
    IR热影像404。其中,注意IR热影像404暴露该人的热像图,其可以包括该人头部或身体的独
    特生物温度分布。

    在304,基于一个或多个人的先前捕捉的IR影像,确定该人的身份。能够在确定该
    人的身份前的任何适当的时间捕捉先前捕捉的IR影像并且存储到本地存储器或远程库。例
    如,能够在确定前一周的给定的一天等,先捕捉先前捕捉的IR影像。在一些情况下,通过将
    IR影像的特征或特性与先前捕捉的IR影像的特征或特性比较,来识别该人。在这样的情况
    下,IR影像的任一集合中的人的这些特征或特性可以包括体型、身体尺寸、行走步态、珠宝、
    衣物、面部生物特征等。

    先前捕捉的IR影像可以包括通过登记可见光图像或热像图来捕捉该人的独特生
    物温度分布的登记过程创建的IR图像模板。这些IR图像模板还可以包括或链接用来识别与
    模板相关联的人或与之相关联的化名或简档(例如头像)??梢跃杀镜卮娲⑵骰蛟冻炭獯?br />储或访问IR图像模板。在一些情况下,当不能由本地IR图像模板集确定身份时,可以从远程
    库检索附加IR模板来补充识别过程。

    在本示例的上下文中,影像引擎210将该人的IR热影像404与IR图像模板集406相
    比较,在该特定示例中,IR图像模板集406本地存储在智能眼镜102-2的CRM 204中并且包括
    三个个体的热像图。如图406所示,每个人具有不同的面部热模板,使得能够基于所捕捉的
    IR影像来识别不同个体。其中,影像引擎210确定IR热影像404的特征与先前捕捉的IR图像
    408的特征匹配,IR图像408与本地存储的IR图像模板中的一个相关联。一旦确定匹配,影像
    引擎210利用与IR图像模板相关联的信息来确定IR热影像404中的该人的身份。

    在306,基于该人的身份,检索该人的可见光影像??杉庥跋癜ㄈ展饣蛉嗽旃?br />下捕捉的人的影像,并且可以存储为可见光图像模板的一部分。与本文所述的IR图像模板
    类似,可以实现该可见光图像模板。在这样的情况下,可见光图像模板可以存储在经由网络
    连接访问的本地存储器或远程库中。该可见光影像还可以是与该人相关联的在线简档图像
    或头像图像,或其在线人物角色。替选地或可附加地,该人的可见光影像可以在登记会话期
    间捕捉,在登记会话中,连同该人的IR影像或对于识别该人有用的信息一起捕捉可见光影
    像。

    继续上述示例,影像引擎210基于该人的身份,访问本地存储的可见光影像。在该
    特定示例中,影像引擎210从本地存储的可见光图像模板(未示出)检索可见光图像410。替
    选地或可附加地,影像引擎可以在本地或远程库中搜索较新的可见光图像或具有更高详细
    密度的可见光图像来获得所识别的人的更准确可见光图像。

    在308,组合该人的IR影像和可见光影像来提供该人的合成影像。这可以包括使可
    见光影像或其一部分与IR影像整合或融合。在一些情况下,可见光影像叠加在IR影像上来
    提供所识别的人的可见光表示。在其他情况下,利用可见光影像来为IR影像着色,诸如以提
    供该人的自适应实时可见光视图。替选地或可附加地,可以变更可见光影像来匹配IR影像
    的场境,诸如通过调整大小、缩放、倾斜、加阴影、裁剪、或重新取向可见光影像。

    在本示例的上下文中,影像引擎210将可见光图像410与IR热影像404融合来提供
    合成影像412,其提供所识别的人的面部的可见光视图。其中,影像引擎210将可见光影像的
    一部分叠加在IR热影像404的对应部分上。另外,影像引擎210重新调整可见光图像410的一
    部分的大小,使得所识别的人的面部特征看起来与IR热影像404中的人的身体成比例。通过
    融合IR热影像404和可见光图像410,影像引擎210能够提供所识别的人的可见光表示。

    在310,经由显示器呈现该人的合成影像??梢跃刹蹲礁萌说腎R影像的设备的显
    示器或通过可操作地耦合该设备的配件设备,呈现该人的合成影像。在一些情况下,将该人
    的合成影像实时地呈现给用户,诸如通过合成影像的即时馈送或流。在这些情况下,能将该
    人的合成影像逐步地呈现为被整合以提供该人的合成影像的IR影像和可见光影像。替选地
    或可附加地,当设备的方向或取向相对于该人改变时,能更新合成影像。通过这样做,在低
    光条件下,能向用户提供人的可见光视图。

    继续本示例,影像引擎210经由智能眼镜102-2的显示器206,呈现合成影像412。如
    在合成影像412中所示,用户在可见光条件下观察该人的面部特征,使得用户能够在夜间方
    便地识别他的朋友。替选地或可附加地,响应于超出预定阈值的环境光的水平,诸如通过环
    境光传感器检测,影像引擎210可以禁用自适应低光识别。在这样的实例中,影像引擎210可
    以捕捉该人的另外的可见光图像来更新与之相关联的可见光图像模板。

    图5图示出提供位置和人的合成影像的方法500。

    在502,经由设备的启用红外的(启用IR的)传感器,捕捉位置的红外(IR)影像。该
    位置的影像可以包括当捕捉IR影像时,存在于该位置的风景、物体、或人。在一些情况下,使
    用对提供人的热图像有效的长波红外(LWIR),捕捉该人的IR影像。在其他情况下,可以使用
    对隔离在具有高密度人群的区域中的某人有效的有源照明的近红外(NIR),成像该人的面
    部生物特征(例如面部、虹膜、或眼静脉)。替选地或可附加地,可以利用其他基于IR的生物
    信息,捕捉和存储该人的声音简档。

    举例来说,考虑图6的示例环境600,其中,智能眼镜102-2的用户在天黑之后回家。
    假定用户已经回到家,但在夜间的低光条件下,不能确定在他房屋外的人是谁。当用户接近
    未识别的人时,智能眼镜102-2取向朝向该房屋和该人,由此使得IR传感器222捕捉房屋和
    未识别的人的IR影像602。

    在504,使用GPS确定该设备的位置。在一些情况下,还使用该设备的其他传感器,
    诸如磁强计、加速计、陀螺等,确定该设备的方向或取向。例如,设备的GPS??榭梢蕴峁┥?br />备的地理位置以及指示该设备在哪一方向中移动的朝向。此外,该设备的加速计或磁强计
    可以提供该设备面对的取向或方向。在本示例的上下文中,智能眼镜102-2的GPS 220指示
    用户正在他的房屋前并且移向该房屋。此外,智能眼镜102-2的加速计或磁强计提供相机
    214的取向,并且由此提供相对于智能眼镜102-2的位置,他的房屋的用户视野的取向。

    在506,经由该设备的无线接口,访问与该设备的位置相关联的影像。该影像包括
    在该位置处先前捕捉的影像,诸如在日光条件下、在人造光下、或该年的不同季节下捕捉的
    可见光影像??梢砸匀魏问实钡母袷?,诸如一系列图像、该位置的全景图像、影像流、视频馈
    送等接收影像。在至少一些实施例中,从库接收的影像可以包括与影像的元素相关联的指
    示符,诸如地理标记。继续本示例,影像引擎210访问在线库来检索先前捕捉的影像604,其
    包括该房屋的日光视图和位于车道左侧的卡车。

    在508,整合与该位置相关联的影像和IR影像以提供该位置的合成影像。与该位置
    相关联的影像可以包括先前捕捉的可见光影像,诸如白天或日光条件下捕捉的影像。整合
    影像的操作可以在设备处、由另一本地设备(例如智能电话)或由向其传送或能够访问IR影
    像和先前捕捉的影像的远程服务提供者(例如云服务器)执行。在一些情况下,整合影像包
    括向IR影像添加颜色或将可见光物体插入在IR影像中的相应的物体上。通过这样做,可以
    在低光条件下提供该位置的虚拟可见光视图。

    在本示例的上下文中,影像引擎210通过将可见光影像融合在对应的IR影像上以
    提供合成位置图像608,更新该位置的物体(例如背景物体)。如由合成位置图像608所示,影
    像引擎210将用户的房屋的可见光图像叠加在IR影像602上来提供该房屋的日光视图。替选
    地或可附加地,影像引擎210可以进一步尝试关联和/或对IR影像602的其他物体着色,所述
    其它物体诸如用户的卡车或篮球框。

    在510,基于一个或多个人的先前捕捉的IR影像,确定该人的身份??梢栽谌范ǜ?br />人的身份前,在任何适当的时间捕捉或存储先前捕捉的IR影像。例如,可以将先前捕捉的IR
    影像捕捉为登记过程的一部分,在该登记过程中,捕捉IR影像并且将IR影像与用来识别该
    人或该人的可见光图像的信息相关联。替选地或可附加地,该设备可以被配置为定期地自
    动执行登记过程来确保与特定人相关联的IR图像模板或可见光图像模板为最新。

    在至少一些方面中,通过将IR影像的特征或特性与先前捕捉的IR影像的特征或特
    性比较,来识别该人。在这样的情况下,任一IR影像集合中的人的这些特征或特性可以包括
    体型、身体尺寸、行走步态、珠宝、衣物、面部生物特征等。为增加确定的身份的置信度,可以
    利用与多个人相关联的行为信息(例如已知日程信息)作为身份确定过程的一部分。

    继续本示例,影像引擎210将IR影像602与从在线库检索的IR图像模板集合比较,
    在该特定示例中,经由智能眼镜102-2的无线接口访问在线库。在此假定影像引擎210确定
    IR影像602中的该人与用户的兄弟的IR图像模板匹配。影像引擎210通过校验指示其兄弟当
    前正度假并且计划本周期间拜访该用户的用户的兄弟的日程信息,进一步确认IR影像602
    与IR图像模板的匹配。

    在512,基于该人的身份,访问该人的可见光影像??杉庥跋癜ㄔ谌展饣蛉嗽?br />光下捕捉的该人的影像,并且可以存储作为可见光图像模板的一部分。与本文所述的IR图
    像模板类似,可以实现该可见光图像模板,和/或被创建作为登记过程的一部分,该登记过
    程与创建IR图像模板相关联的登记过程分开或与其结合??杉馔枷窕蚰0蹇梢源娲⒃诟?br />设备的本地存储器或可经由网络连接访问的远程库(例如社交媒体网站或云存储)??杉?br />影像还可以是与该人相关联的在线简档图像或头像图像,或与之相关联的在线人物或化
    名。在本示例的上下文中,影像引擎210访问用户及他的兄弟所属的社交网络站点并且基于
    兄弟的身份,检索用户的兄弟的可见光图像610(例如简档图片或其它标记图像)。

    在514,整合该人的IR影像和可见光影像来提供该人的合成影像。这可以包括将可
    见光影像或其一部分与IR影像融合。在一些情况下,可见光影像叠加或层叠在IR影像上来
    提供所识别的人的可见光表示。在其他情况下,利用可见光影像来对IR影像着色,诸如提供
    该人的自适应实时可见光视图。替选地或可附加地,可以变更可见光影像来匹配IR影像的
    场境或取向,诸如通过调整大小、缩放、倾斜、阴影、裁剪、或重新取向可见光影像。

    继续本示例,影像引擎210基于用户的兄弟的IR影像602,裁剪和重新调整可见光
    图像610的大小。然后,影像引擎210通过叠加用户的兄弟的修改过的可见光影像来更新合
    成位置图像608而提供合成图像612。如由合成图像612所示,已经更新IR影像602的物体和
    人来提供该位置和人的虚拟可见光视图。此外,尽管示为黑白图示,但应当注意到如在可见
    光影像中所捕捉的,能以彩色示出房屋和用户的兄弟的特征。

    在516,经由显示器,将该位置和人的合成影像呈现给用户。显示器可以与捕捉IR
    影像或将IR影像与可见光图像整合的设备一体化或分离。例如,显示器可以与可穿戴计算
    机的透镜、汽车的挡风玻璃、摩托车的风档或头盔的面罩集成。显示合成影像对在低光条件
    下(例如夜间),提供该位置处的物体和人的可见光或日光呈现有效。结束本示例,影像引擎
    210经由智能眼镜102-2的显示器104,向用户呈现该位置的合成影像。尽管夜间的低光条件
    下,这对使得用户能够在虚拟可见光条件下查看其房屋和其兄弟是有效的。通过这样做,通
    过使得用户能够在低光条件下识别大于正常距离的个体的真实身份,来提高用户的舒服
    度。

    示例电子设备

    图7图示出能实现为参考上述图1至6的任何图所述的计算设备的示例电子设备
    700的各个组件。电子设备700能是或包括能够实现自适应低光识别的许多不同类型的设
    备。例如,电子设备700可以包括相机(小型或单反镜头)、可穿戴显示器、头戴式显示器
    (HUD)、电话、个人导航设备、游戏设备、Web浏览平台、寻呼机、媒体播放器、或任何其他类型
    的电子设备,诸如参考图1所述的计算设备102。

    电子设备700包括实现设备数据704(诸如所接收的数据和所传送的数据)的有线
    或无线通信的通信收发器702。示例通信收发器包括与各个电子电气工程师协议(IEEE)
    802.15(蓝牙TM)标准兼容的WPAN无线电、与各个IEEE 802.11(WiFiTM)标准中的任何标准兼
    容的WLAN无线电、用于蜂窝技术的WWAN(3GPP兼容)无线电、与各个IEEE802.16(WiMAXTM)标
    准兼容的无线城域网无线电以及有线LAN以太网收发器。

    在实施例中,电子设备700包括相机706,诸如参考图2所述的相机214。电子设备
    700还可以包括传感器708,诸如如上所述的红外传感器、加速计、磁强计、环境光传感器、位
    置传感器或GPS。相机706和传感器708能实现为便于自适应低光识别的各个实施例。

    电子设备700还可以包括一个或多个数据输入端口710,经由该数据输入端口710,
    能接收任何类型的数据、媒体内容、和输入,诸如用户可选择的输入、消息、音乐、电视内容、
    录制的视频内容和从任何内容或数据源接收的任何其他类型的音频、视频或图像数据。数
    据输入端口710可以包括USB端口、同轴电缆端口、和其他串行或并行连接器(包括内部连接
    器),用于闪存、DVDs、CDs等。这些数据输入端口可以用来将电子设备耦合至组件、外设、或
    配件,诸如键盘、麦克风或相机。

    该示例的电子设备700包括处理器系统712(例如应用处理器、微处理器、数字信号
    处理器、控制器等的任何一个)或处理器和存储器系统(例如在系统上芯片实现),其处理计
    算机可执行指令来控制设备的操作。处理系统可以至少部分由硬件实现,其能包括集成电
    路或芯片上系统、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器
    件、和以硅和其他硬件的其他实施方式的组件。替选地或可附加地,可以利用结合通常在
    714处识别的处理和控制电路实现的软件、硬件、固件、或固定逻辑电路的任何一个或组合
    实现电子设备。尽管未示出,但电子设备700能包括耦合设备内的多个组件的系统总线、交
    叉开关、互连、交换结构或数据传输系统。系统总线能包括不同数据结构的任何一个或组
    合,诸如存储器总线或存储器控制器、数据协议/格式转换器、外围总线、通用串行总线、处
    理器总线、或利用多种总线架构的任何一个的本地总线。

    电子设备700还包括实现数据存储的一个或多个存储器设备716,其示例包括随机
    存取存储器、非易失性存储器(例如只读存储器(ROM)、闪存、EPROM、EEPROM等)以及盘存储
    设备。存储器设备716至少部分实现为在存储介质中存储信息(例如数字或模拟值)的不包
    括传播信号或波形的物理设备。存储介质可以实现为任何适当类型的介质,诸如电、磁、光、
    机械、量子、原子等。存储器设备716提供存储设备数据704、其他类型的信息或数据以及各
    种设备应用718(例如软件应用)的数据存储机构。例如,操作系统720可以保持为存储器设
    备716内的软件指令并且由处理器712执行。在一些方面中,在电子设备700的存储器设备
    716中体现影像引擎722和IR图像???24。尽管表示为软件实施方式(例如作为可执行指令
    或代码),但影像引擎722可以实现为任何形式的控制应用、软件应用、信号处理和控制模
    块、安装在设备上的固件、控制器的硬件实施方式等。

    电子设备700还包括处理音频数据并且将音频和视频数据传送到音频系统728和
    显示系统730的音频和视频处理系统726。音频系统728和显示系统730可以包括处理、显示
    或者呈现音频、视频、显示或图像数据的任何???,诸如影像引擎722。显示数据和音频信号
    经由射频链路、S视频链路、HDMI、合成视频链路、分量视频链路、数字视频接口、模拟音频连
    接或者其他类似的通信链路,诸如媒体数据端口732,被传送到音频组件和显示组件。在一
    些实施方式中,音频系统728和显示系统730是电子设备700的外部组件。替选地或可附加
    地,显示系统730能是示例性电子设备的集成组件,诸如集成显示器、可穿戴显示器或触摸
    接口。如上所述,在自适应低光识别方面,影像引擎722可以管理或控制显示系统730,或其
    组件。

    尽管以特定于特征和/或方法的语言描述了自适应低光识别的实施例,但所附权
    利要求的主题不一定限于所述的特定特征或方法。相反,特定特征和方法公开为自适应低
    光识别的示例实施方式。

       内容来自专利网重庆时时彩单双窍门 www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:自适应低光识别.pdf
    链接地址://www.4mum.com.cn/p-6013918.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 广东十一选五玩法 体育彩票开奖结果查询 刘伯温四肖中特 陕西快乐10分钟技巧 新疆25选7开奖池多少 银河国际棋牌官方网站 电子游戏议论文 手机版掌心福州麻将 浙江快乐12开玩法 竞彩篮球大小分玩法 王者荣耀更新 快乐赛车计划 福建十一选五计划群 p3开机号近100期号码 众发pc蛋蛋官网 中原福彩官方手机客户端下载