• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 10
    • 下载费用:30 金币  

    重庆时时彩开奖记录查询: 一种虚实重合的增强现实显示方法和装置.pdf

    关 键 词:
    一种 虚实 重合 增强 现实 显示 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611240432.5

    申请日:

    2016.12.26

    公开号:

    CN106791784A

    公开日:

    2017.05.31

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):H04N 13/02申请日:20161226|||公开
    IPC分类号: H04N13/02; H04N13/04; G06T3/00 主分类号: H04N13/02
    申请人: 深圳增强现实技术有限公司
    发明人: 季玮; 徐泽明; 苏波
    地址: 518057 广东省深圳市南山区高新园科园路卫星大厦1705
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611240432.5

    授权公告号:

    |||

    法律状态公告日:

    2017.10.24|||2017.05.31

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开一种虚实重合的增强现实显示方法和装置,其中,所述方法包括:采集真实世界中目标物体图像,并获取摄像头位姿;根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。本发明解决了视频穿透式AR设备虚实不重合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题,能够改善用户体验,且实现过程方便、通用性强。

    权利要求书

    1.一种虚实重合的增强现实显示方法,其特征在于,包括:
    采集真实世界中目标物体图像,并获取摄像头位姿;
    根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;
    获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体
    的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;
    将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图
    像进行坐标变换并显示于AR设备的屏幕;
    或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生
    成叠加图像显示于AR设备的屏幕。
    2.如权利要求1所述的虚实重合的增强现实显示方法,其特征在于:采集真实世界中目
    标物体图像,并获取摄像头位姿进一步包括:
    建立目标物体的模型;
    利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配,得到
    摄像头位姿。
    3.如权利要求1所述的虚实重合的增强现实显示方法,其特征在于:根据目标物体的显
    示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括:
    获取真实世界中目标物体上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影
    坐标,得到两者的变换关系f1;
    获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标,得到两者的变换关系f2;
    根据f1、f2及预先确定的世界坐标系到相机坐标系的坐标变换关系f3得到P点的显示坐
    标到透视投影坐标之间的变换关系F1。
    4.如权利要求1所述的虚实重合的增强现实显示方法,其特征在于:所述AR设备为双目
    镜时,分别求出两个屏幕上目标物体的显示坐标到透视投影坐标的变换关系,根据不同的
    变换关系分别对显示坐标进行坐标变换,使变换后的显示坐标与透视投影坐标近似重合。
    5.一种虚实重合的增强现实显示装置,其特征在于,包括:
    采集???,用于采集真实世界中目标物体图像,并获取摄像头位姿;
    透视投影坐标获取???,用于根据摄像头位姿获取目标物体在AR设备屏幕上的透视投
    影坐标;
    显示坐标获取???,用于获取目标物体及预先确定的增强现实信息在AR设备屏幕上的
    显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标
    的变换关系;
    叠加及显示???,用于将所述目标物体图像与增强现实信息叠加生成叠加图像,根据
    所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或用于根据所述变换关系
    对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备
    的屏幕。

    说明书

    一种虚实重合的增强现实显示方法和装置

    技术领域

    本发明涉及增强现实技术领域,具体是一种虚实重合的增强现实显示方法和装
    置。

    背景技术

    目前,头戴式AR设备主要有两种显示方式:视频透视式(Video See-Through)和光
    学透视式(Optical See-Through)。透视式指AR设备使用半透明镜片,人眼可直接透过镜片
    看到外部的现实景象。视频透视式指将摄像头采集到的图像与叠加的信息叠加后以视频或
    图像流的方式在虚像屏幕上显示,虚像屏幕显示图像与人眼直接看到的现实画面不重合,
    即虚实不重合。光学透视式指通过光学原理和设备将增强的信息直接叠加在人眼透过镜片
    看到的现实画面中的相应位置上,屏幕上只显示增强的信息。后者不存在虚实不重合的问
    题,但对硬件设备及软件技术的要求非常高。因此,目前市面上大多数头戴式AR设备均采用
    视频透视式显示方式,如Epson BT200等。对于视频透视式AR设备而言,由于虚实不重合产
    生的重影会对用户造成视觉干扰。

    此外,传统的视频透视式显示方式中,通过AR设备看到的虚像与人眼距离是固定
    的(如:2米),而现实场景的画面与人眼距离是变化的(如:0.5-5米)。屏幕画面与现实场景
    的画面不在一个平面,即虚实不贴合。然而,在任一时刻,人眼只可聚焦到一个平面。因此,
    在使用过程中,用户需要不断在屏幕与现实场景中切换聚焦点,影响用户体验。长时间佩
    戴,容易造成视觉疲劳,并对视力造成伤害。在工业、医疗、军事等作业环境下,以上这些问
    题的存在容易导致生产、医疗等事故的发生。

    发明内容

    本发明为了克服现有技术的不足,提出一种虚实重合的增强现实显示方法和装
    置,旨在解决视频穿透式AR设备虚实不重合、不贴合的显示方式对用户造成的视觉干扰、视
    觉疲劳、视力伤害等问题,能够改善用户体验,且实现过程方便、通用性强。

    为了解决上述的技术问题,本发明提出的基本技术方案为:

    采集真实世界中目标物体图像,并获取摄像头位姿;

    根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;

    获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标
    物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;

    将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠
    加图像进行坐标变换并显示于AR设备的屏幕;或根据所述变换关系对目标物体图像和增强
    现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。

    其中,采集真实世界中目标物体图像,并获取摄像头位姿进一步包括:

    建立目标物体的模型;

    利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配,
    得到摄像头位姿。

    其中,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影
    坐标的变换关系进一步包括:

    获取真实世界中目标物体图像上一点P在世界坐标系中的坐标及其在屏幕平面的
    透视投影坐标,得到两者的变换关系f1;

    获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标,得到两者的变换关
    系f2;

    根据f1、f2及预先确定的世界坐标系到相机坐标系的坐标变换f3得到P点的显示坐
    标到透视投影坐标之间的变换关系F1。

    其中,所述AR设备为双目镜时,分别求出两个屏幕上目标物体的显示坐标到透视
    投影坐标的变换关系,根据不同的变换关系分别对显示坐标进行坐标变换。

    此外,本发明还提供一种虚实重合的增强现实显示装置,其包括:

    采集???,用于采集真实世界中目标物体图像,并获取摄像头位姿;

    透视投影坐标获取???,用于根据摄像头位姿获取目标物体在AR设备屏幕上的透
    视投影坐标;

    显示坐标获取???,用于获取目标物体及预先确定的增强现实信息在AR设备屏幕
    上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影
    坐标的变换关系;

    叠加及显示???,用于将所述目标物体图像与增强现实信息叠加生成叠加图像,
    根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或用于根据所述变换
    关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR
    设备的屏幕。

    本发明的有益效果是:本发明提供的虚实重合的增强现实显示方法和装置,通过
    获得显示坐标与透视投影坐标的变换关系并根据该坐标变换关系对图像进行坐标变换,最
    后显示于AR设备的屏幕上,经过坐标变换后的图像与真实世界图像近似重合,使得人眼的
    视觉效果得到明显改善,且其实现过程方便、通用性强。

    附图说明

    图1为本发明一实施例提供的虚实重合的增强现实显示方法流程图。

    图2为本发明另一实施例提供的虚实重合的增强现实显示方法流程图。

    图3a为现有技术中人眼透过镜片在AR设备的屏幕上看到的画面。

    图3b为本发明实施例中人眼透过镜片在AR设备的屏幕上看到的画面。

    图4为本发明实施例提供的虚实重合的增强现实显示装置结构示意图。

    具体实施方式

    以下将结合附图1至4和实施例对本发明做进一步的说明,但不应以此来限制本发
    明的?;し段?。

    如图1所示,为本发明一实施例提供的虚实重合的增强现实显示方法流程图,其包
    括以下步骤:

    步骤S101:采集真实世界中目标物体图像,并获取摄像头位姿。

    步骤S102:根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。

    步骤S103:获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐
    标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换
    关系。

    步骤S104:将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变
    换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。

    如图2所示,为本发明另一实施例提供的虚实重合的增强现实显示方法流程图,其
    包括以下步骤:

    步骤S201:采集真实世界中目标物体图像,并获取摄像头位姿。

    步骤S202:根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。

    步骤S203:获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐
    标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换
    关系。

    步骤S204:根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变
    换,然后叠加生成叠加图像显示于AR设备的屏幕。

    具体的,在本发明一些优选实施例中,采集真实世界中目标物体图像,并获取摄像
    头位姿进一步包括:

    建立目标物体的模型;

    利用AR设备的摄像头实时采集真实世界图像并与所述模型进行匹配,得到摄像头
    位姿以及摄像头采集的图像中目标物体的位置。

    值得说明的是,在本发明的一些实施例中,所建立的模型可以是二维模型或三维
    模型。

    具体的,在本发明的一些优选实施例中,根据目标物体的显示坐标及透视投影坐
    标得到目标物体的显示坐标到投影坐标的变换关系进一步包括:

    假设目标物体图像中任意一点P在世界坐标系中的坐标为P(x,y,z),点P在屏幕平
    面的透视投影坐标为Ps(xs,ys),屏幕到世界坐标系原点O距离为d,则有:


    假设摄像头与屏幕成像的有效部分长宽比例相同且其长度比值为k1,相机坐标系
    中点P的对应点为Pci(xci,yci),P点在屏幕平面的显示坐标为Pcs(xcs,ycs),则有:

    k1(xci,yci)=(xcs,ycs) ②

    点P由世界坐标系到相机坐标系的坐标变换如下:


    其中,zc为P在相机坐标系下Z轴坐标,F为相机焦距,t1、t2、t3分别为世界坐标系变
    换到相机坐标系在X、Y、Z轴的平移分量。

    由①②③式可得显示坐标到透视投影坐标的变换关系为:

    其中,

    在上述k的表达式中,除z外,其余参数均为定值。即k随z变化而变化,且z越大,对k
    影响越小。

    因此,需要求得z0,使得当z>z0时,k变化足够小,即在实际应用中k可视为定值。

    此外,可以理解,本发明实施例中所述的AR设备包括AR眼镜、AR头盔等。

    为了更加清楚的说明本实施例的技术方案,下面以一款单目式AR眼镜为例,对本
    实施例作进一步说明。

    将眼镜的相关参数d、t1、t2、t3、k1、F代入k、b1、b2的表达式中,可得:k=4.66(1+25/
    z),b1=50000/z(mm),b2=0。结合实际情况,取z0=250(mm)。当z>z0=250(mm)时,将k看作
    定值,即k=4.66,且b1<50000/z0=200(mm),与屏幕宽度相比可忽略不计。对眼镜端显示图
    像做相应的坐标变换,即可实现虚实近似重合的效果。

    如图3所示为本实施例一具体场景的对比图,其中,图3a为现有技术中人眼透过镜
    片在AR设备的屏幕上看到的画面,图3b为本发明实施例中人眼透过镜片在AR设备的屏幕上
    看到的画面,其中,外框内的图像为人眼透过镜片直接看到的真实世界场景,内框内的图像
    为屏幕上显示的画面。

    可见,变换前视野中出现两层重叠而不重合的画面,变换后两层画面近似重合,视
    觉效果有明显改善。

    更具体的,在本发明的一些实施例中,所述AR设备为双目镜时,分别求出两个屏幕
    上目标物体的显示坐标到透视投影坐标的变换关系,根据不同的变换关系分别对显示坐标
    进行坐标变换??梢岳斫?,两个屏幕所得到的坐标变换关系并不相同,因此其经过坐标变换
    后所显示的图像也并不相同,根据人的双眼立体成像原理,两个屏幕所显示的图像经双眼
    合成一张图像时,会产生景深的效果,以此实现屏幕显示的图像与真实世界场景相贴合的
    效果。

    如图4所示,本发明实施例还提供一种虚实重合的增强现实显示装置,包括:

    采集???01,用于采集真实世界中目标物体图像,并获取摄像头位姿;

    透视投影坐标获取???02,用于根据摄像头位姿获取目标物体在AR设备屏幕上
    的透视投影坐标;

    显示坐标获取???03,用于获取目标物体及预先确定的增强现实信息在AR设备
    屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到
    投影坐标的变换关系;

    叠加及显示???04,用于将所述目标物体图像与增强现实信息叠加生成叠加图
    像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或用于根据所述
    变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示
    于AR设备的屏幕。

    需要说明的是,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示
    例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、
    材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示
    意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特
    点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,
    本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的
    特征进行结合和组合。

    根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方
    式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对本发明的
    一些修改和变更也应当落入本发明的权利要求的?;し段?。此外,尽管本说明书中使用
    了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。

       内容来自专利网重庆时时彩单双窍门 www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:一种虚实重合的增强现实显示方法和装置.pdf
    链接地址://www.4mum.com.cn/p-6021315.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyri[email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 长沙省福彩中心在哪里 湖南快乐10分开奖网站 幸运农场走势图直播 广东时时彩怎么投注 街机捕鱼安卓版 彩票开奖结果查询公告1 体彩11选5开奖结果 上海快三开奖时间 陕西快乐十分横屏版 注册绑定即送18元的棋牌 nba比分直播 吉林时时彩快三 梦幻西游门派 浙江6+1开奖 网上棋牌怎样才赢钱 上海福彩中心中申请