• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 9
    • 下载费用:30 金币  

    新浪重庆时时彩走势: 一种用于虚拟现实的异步时间卷曲计算方法.pdf

    关 键 词:
    一种 用于 虚拟现实 异步 时间 卷曲 计算方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611240828.X

    申请日:

    2016.12.29

    公开号:

    CN106683034A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 1/20申请日:20161229|||公开
    IPC分类号: G06T1/20; G06T15/20(2011.01)I 主分类号: G06T1/20
    申请人: 上海拆名晃信息科技有限公司
    发明人: 石加圣; 黄柴铭; 陈玉琨; 宰小涛
    地址: 201602 上海市徐汇区佘山镇沈砖公路3129弄7号121室
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611240828.X

    授权公告号:

    |||

    法律状态公告日:

    2017.06.13|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明涉及一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,在虚拟现实合成端启动一个独立的CPU线程,根据每次垂直同步信号产生的时间,提前生成并分发时间卷曲的显卡工作任务,且时间卷曲计算操作与内容渲染操作异步进行,以保证经过时间卷曲计算的渲染内容能够实时显示到头戴显示设备中。本发明的优点在于所设计的异步时间卷曲(Asynchronous??Time??Warping,ATW)计算方法,能够有效的解决显示延时较长而引起晕动症等问题,以此给用户提供良好的虚拟现实沉浸感。

    权利要求书

    1.一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,包括:
    内容产生步骤根据已得到的虚拟现实设备姿态信息进行待显示内容渲染;
    虚拟现实合成步骤在垂直同步信号产生前生成并分发异步时间卷曲计算任务;
    显示控制步骤在垂直同步信号产生时显示经过时间卷曲计算的渲染内容。
    2.根据权利要求1所述的一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,所
    述虚拟现实合成步骤通过CPU多线程技术启动独立的CPU线程,所述独立的CPU线程负责定
    时读取渲染完成的内容,并采集虚拟现实设备姿态信息,进行时间卷曲计算。
    3.根据权利要求1所述的一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,所
    述虚拟现实合成步骤根据垂直同步信号产生的时间,提前生成并分发时间卷曲计算工作任
    务。
    4.根据权利要求1所述的一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,所
    述虚拟现实合成步骤在每一次垂直同步信号产生前均生成并分发时间卷曲计算工作任务。
    5.根据权利要求1所述的一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,所
    述时间卷曲计算操作与内容渲染操作并行进行,不受计算机操作系统限制。
    6.根据权利要求1所述的一种用于虚拟现实的异步时间卷曲计算方法,其特征在于,所
    述虚拟现实合成步骤中定义了数据安全区来?;PU线程中的互斥变量,防止内容产生步
    骤和虚拟现实合成步骤两个线程同时操作关键变量。

    说明书

    一种用于虚拟现实的异步时间卷曲计算方法

    技术领域

    本发明涉及一种时间卷曲计算方法,尤其是一种用于虚拟现实的异步时间卷曲计
    算方法。

    背景技术

    虚拟现实(virtual reality,VR)技术是利用电脑模拟产生一个三维空间的虚拟
    世界,提供给用户关于视觉等感官的模拟,让用户仿佛身临其境,由于其逼真的效果,被广
    泛应用于教育、医学、交通等领域,引起越来越多的关注。然而,为了解决虚拟现实设备在使
    用中存在的晕动问题,在渲染内容的显示方面,对计算机以及显示屏等相关软硬件也提出
    了越来越高的要求。鉴于应用产生内容帧的时间不固定,越来越多不同的技术被用于保证
    用户的相对稳定和良好的体验。

    目前为了降低传感器传输数据到显示屏显示图像的延时,减少晕动症产生的几
    率,刷新率达到90Hz的OLED显示屏幕在目前市售的虚拟现实头戴显示设备中被广泛采用,
    但受限于目前Windows系统的图形渲染架构以及显卡的硬件结构,很多解决方案依赖于内
    容帧的产生也要能够符合90Hz的屏幕,即需要在11.11ms之内完成渲染。另一方面,为了减
    少屏幕的颗粒感,2K分辨率的屏幕得到了广泛的使用,在如此高的分辨率下,要在11.11ms
    之内完成一帧内容的渲染,对于任何一个复杂度稍高的场景,都是不易达到的要求。

    为了应对上述问题,常用的技术有时间卷曲(Time Warping)和再投影
    (Reprojection)技术。然而,受限于目前Windows系统的图形系统架构,所有的图形任务都
    是由3D引擎完成的,而目前的主流显卡,均只有一个3D引擎,因此时间卷曲和内容帧的渲染
    是串行执行的。此种同步的时间卷曲技术和再投影技术虽然可以让最后显示的内容更贴近
    传感器最新的坐标,但是仍然受制于内容帧产生的帧率,当内容帧的刷新率小于45Hz时,再
    投影技术的应用受到了很大限制。

    因此本发明设计了一种异步时间卷曲(Asynchronous Time Warping,ATW)计算方
    法,绕过目前Windows操作系统限制,实现从CPU到显卡的整个工作流水线的全异步操作,保
    证整个渲染显示过程的稳定流畅,能够有效的解决显示延时较长而引起晕动症等问题,以
    此给用户提供良好的虚拟现实沉浸感。

    发明内容

    本发明目的是:提供一种用于虚拟现实的异步时间卷曲计算方法,绕过目前
    Windows操作系统限制,实现从CPU到显卡的整个工作流水线的全异步操作,保证整个渲染
    显示过程的稳定流畅。

    本发明的技术方案是:本方案根据LiquidVR底层技术,设计实现了一种异步时间
    卷曲的算法。在CPU(中央处理器)端利用CPU的多线程技术,有单独的CPU线程负责定时读取
    渲染完成的内容,创建一个基于计算引擎的工作上下文,根据每次垂直同步信号产生的时
    间,在下一次垂直同步信号产生之前的3ms至5ms,生成并分发时间卷曲的显卡工作任务,以
    保证经过时间卷曲渲染的内容能够适时显示到头戴显示设备中。在GPU(图像处理器)端通
    过LiquidVR接口,绕过Windows系统架构的限制,将时间卷曲任务分发到显卡的计算引擎
    上,独立于3D引擎,可以与内容的渲染同时工作,即时间卷曲操作和内容帧的渲染可以并行
    执行。

    本发明技术关键点在于在CPU和GPU端都采用了异步的工作方式,因此本发明方案
    对共享内容的读写的标志量进行了严格定义,避免了内容渲染和虚拟现实合成两个线程同
    时操作关键变量,同时也防止GPU的3D引擎和计算引擎同时操作同一个图形资源,并且本方
    案中通过增加一个数据安全区来?;PU线程中的互斥变量,用LiquidVR技术中的GPU屏障
    来保证显卡上的资源不会产生资源竞争。

    异步时间卷曲与同步时间卷曲与再投影技术相比,在实现难度上有所增加。但是,
    异步时间卷曲能够提供相对最稳定、最流畅的用户体验,并且大大降低了对内容渲染速度
    的要求,推动了虚拟现实技术的应用;另一方面,即使内容渲染帧率达不到相应要求,异步
    时间卷曲技术也能够在很大程度上改善用户的虚拟现实体验。

    与现有技术相比,本发明技术方案具有以下有益效果:本发明方案的异步时间卷
    曲技术绕过目前Windows系统的限制,实现从CPU到GPU整个工作流水线的全异步并行操作,
    保证整个渲染显示过程的稳定流畅,且通过设置GPU屏障和标志量,准确控制工作的时序和
    流程,避免资源竞争,以此给用户提供良好的虚拟现实沉浸感的体验。

    附图说明

    图1为同步时间卷曲技术实现流程图;

    图2为再投影技术实现流程图;

    图3为本发明技术方案异步时间卷曲实现流程图。

    具体实施方式

    如背景技术中所述,现有技术的时间卷曲方法在实际应用中仍然存在受制于内容
    帧产生的帧率、受限于GPU架构等问题。

    在本发明方案中,虚拟现实合成端启动一个独立的CPU线程,并创建一个基于计算
    引擎的工作上下文,根据每次垂直同步信号产生的时间,提前生成并分发时间卷曲的显卡
    工作任务,以保证经过时间卷曲计算的渲染内容能够适时显示到头戴显示设备中。

    为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明
    的具体实施例做详细的说明。

    图1为同步时间卷曲技术实现流程图;

    步骤101:根据已采集到的虚拟现实设备姿态信息进行内容产生,如完成渲染内容
    1(步骤102)和渲染内容2(步骤103)步骤;

    所述的渲染内容1和渲染内容2为根据不同的虚拟现实设备姿态信息所进行的内
    容渲染,因此,内容渲染过程所需时间不同;

    所述的内容渲染耗时可分为三类:1.内容渲染耗时与时间卷曲计算耗时之和小于
    相邻垂直同步信号的时间差,2.内容渲染耗时与时间卷曲计算耗时之和大于相邻垂直同步
    信号的时间差但小于相邻垂直同步信号的时间差的两倍,3.内容渲染耗时与时间卷曲计算
    耗时之和大于相邻垂直同步信号的时间差的两倍;

    可选的,当屏幕刷新率定为90Hz时,相邻垂直同步信号的时间差为11.11ms;

    步骤104:虚拟现实合成操作,即将步骤101所产生的渲染内容根据当前即时采集
    的虚拟现实设备姿态信息进行时间卷曲计算;

    在同步时间卷曲技术中,只有当所述内容产生步骤(步骤101)工作完成,才进行相
    应渲染内容(渲染内容1)的时间卷曲(步骤105)操作;

    在同步时间卷曲技术中,所述内容产生步骤与时间卷曲计算步骤为串行操作;

    步骤107:显示控制步骤,即在显示控制设备收到垂直同步信号(步骤110)后,完成
    所述虚拟现实内容的显示;

    在同步时间卷曲技术中,如果显示控制设备收到所述垂直同步信号时,CPU和GPU
    已完成内容渲染(步骤102)和时间卷曲计算(步骤105)步骤,则在虚拟现实头戴显示设备上
    显示新内容(步骤108);

    在同步时间卷曲技术中,如果显示控制设备收到所述垂直同步信号时,CPU和GPU
    未完成内容渲染(步骤103)和时间卷曲计算步骤,则在虚拟现实头戴显示设备上保持显示
    之前内容,等待下一个垂直同步信号,当收到下一个垂直同步信号时,如果CPU和GPU已完成
    内容渲染(步骤103)和时间卷曲计算(步骤106)步骤,则在虚拟现实头戴显示设备上显示新
    内容(步骤109)。

    图2为再投影技术实现流程图;

    步骤201:根据已采集到的虚拟现实设备姿态信息进行内容产生,如完成渲染内容
    1(步骤202)和渲染内容2(步骤203)步骤;

    所述步骤202和步骤203的内容渲染所需时间不同;

    步骤204:虚拟现实合成操作,即将步骤201所产生的渲染内容根据当前即时采集
    的虚拟现实设备姿态信息进行再投影计算;

    所述再投影计算可分为两类:一类为预测再投影(如步骤205和步骤207),另一类
    为再投影(如步骤206和步骤208);

    所述的虚拟现实合成操作会在GPU不繁忙的情况下,在收到一个垂直同步信号后
    立即预先进行一次预测再投影(步骤205),即根据当前的虚拟现实设备姿态信息,通过算法
    预测下一个垂直同步信号到来时虚拟现实设备可能的姿态,并预先对前一帧的渲染内容作
    相应变换,若在下一个垂直同步信号产生时,内容帧没有及时渲染完成(如步骤203中渲染
    内容2未在步骤212的垂直同步信号到来时渲染完成),则该预测帧会被显示在头显中(如步
    骤212中显示内容1-1)。这样,当内容渲染错过一个垂直同步信号时,依然可以给用户提供
    良好的体验。

    但此再投影技术方案存在以下问题:第一,所显示的内容(如步骤212中显示内容
    1-1)是否与显示时虚拟现实设备的当前姿态相符合依赖于预测再投影算法的精确性,相比
    时间卷曲技术,再投影需要预测的时间更长,算法相对来说更为复杂;第二,如果内容渲染
    方面效率更低,耗时更长,连续错过两个垂直同步信号以后,预测再投影技术无法预测相隔
    垂直同步信号所需显示的内容,就会出现掉帧现象,影响虚拟现实体验的沉浸感。

    在再投影技术中,所述预测再投影步骤(步骤205)工作与相应内容渲染步骤(步骤
    202中渲染内容1)与所述的相应内容的再投影(步骤206)操作为并行操作;

    步骤209:显示控制步骤,即在显示控制设备收到垂直同步信号(步骤210、步骤
    211、步骤212、步骤213)后,完成所述虚拟现实内容的显示;

    在再投影技术中,如果显示控制设备收到所述垂直同步信号时,CPU和GPU已完成
    内容渲染(步骤202)和再投影计算(步骤206)步骤,则在虚拟现实头戴显示设备上显示新内
    容(步骤211中显示内容1);如果显示控制设备收到所述垂直同步信号时,CPU和GPU未完成
    内容渲染(步骤203),则在虚拟现实头戴显示设备上显示经过预测再投影计算(步骤207)的
    渲染内容(步骤212中显示内容1-1),等待下一个垂直同步信号,当收到下一个垂直同步信
    号时,如果CPU和GPU已完成内容渲染(步骤203)和再投影计算(步骤208),则在虚拟现实头
    戴显示设备上显示新内容(步骤213中显示内容2);如果渲染内容2耗时过长,在步骤213中
    垂直同步信号到来时仍未完成渲染工作,则会出现掉帧现象,影响虚拟现实体验。

    图3为本发明技术方案异步时间卷曲实现流程图;

    步骤301:根据已采集到的虚拟现实设备姿态信息进行内容产生,如完成渲染内容
    1(步骤302)和渲染内容2(步骤303)步骤;

    所述的渲染内容1和渲染内容2为根据不同的虚拟现实设备姿态信息所进行的内
    容渲染,因此,内容渲染过程所需时间不同;

    可选的,当屏幕刷新率定为90Hz时,相邻垂直同步信号的时间差为11.11ms;

    步骤304:虚拟现实合成操作,即将步骤301所产生的渲染内容根据当前即时采集
    的虚拟现实设备姿态信息进行时间卷曲计算;

    在本发明异步时间卷曲技术中,所述时间卷曲计算(步骤305、步骤306、步骤307)
    与相应内容渲染步骤(步骤302中渲染内容1、步骤303中渲染内容2)为并行操作,即虚拟现
    实合成端启动一个独立的CPU线程,并创建一个基于计算引擎的工作上下文,根据每次垂直
    同步信号产生的时间,提前生成并分发时间卷曲的显卡工作任务,以保证经过时间卷曲计
    算的渲染内容能够适时显示到头戴显示设备中。

    步骤308:显示控制步骤,即在显示控制设备收到垂直同步信号(步骤309、步骤
    310、步骤311、步骤312)后,完成所述虚拟现实内容的显示;

    在异步时间卷曲技术中,如果显示控制设备收到所述垂直同步信号时,CPU和GPU
    已完成内容渲染(步骤302)和时间卷曲计算(步骤305)步骤,则在虚拟现实头戴显示设备上
    显示新内容(步骤309中显示内容1);如果显示控制设备收到所述垂直同步信号(步骤311)
    时,CPU和GPU未完成内容渲染(步骤303),则根据垂直同步信号到来前的预设时刻虚拟现实
    头戴显示设备的姿态信息,对前一帧渲染内容(步骤302中渲染内容1)进行时间卷曲计算,
    并显示相应内容(步骤311中显示内容1-1),等待下一个垂直同步信号,当收到下一个垂直
    同步信号(步骤312)时,如果CPU和GPU已完成内容渲染(步骤303)和时间卷曲计算(步骤
    307),则在虚拟现实头戴显示设备上显示新内容(步骤312中显示内容2);

    本发明异步时间卷曲技术的优点在于步骤304与步骤301为并行操作,即在每个垂
    直同步信号到来前的预设时刻根据当前虚拟现实设备的姿态信息进行时间卷曲计算,而不
    受渲染内容产生的影响,因此所显示的内容(如步骤311中显示内容1-1)与显示时虚拟现实
    设备的当前姿态更加对应,大大降低了对内容渲染速度的要求,且如果内容渲染方面效率
    更低,耗时更长,连续错过多个垂直同步信号时,异步时间卷曲技术能够尽可能使所显示内
    容符合当前虚拟显示设备姿态,从而降低显示延时,增强虚拟现实沉浸感,可以在很大程度
    上改善用户的体验。

    具体而言,本发明方案所公开的虚拟现实设备包括但不限于虚拟现实头戴显示设
    备与操作控制设备;

    所述虚拟现实头戴显示设备包括但不限于虚拟现实头盔、虚拟现实眼镜;

    所述虚拟现实操作控制设备包括但不限于虚拟现实操作手柄及各种操作外设;

    以上所述,仅为本发明具体实施方式。本发明的?;し段Р⒉痪窒抻诖?,任何熟悉
    本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖
    在本发明的?;し段е?。因此,本发明的?;し段вΩ靡匀ɡ笏缍ǖ谋;し段?br />准。

    关于本文
    本文标题:一种用于虚拟现实的异步时间卷曲计算方法.pdf
    链接地址://www.4mum.com.cn/p-6079468.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 大乐透走势图带连线图 双面盘彩票怎么玩 pk106码倍投方法算法 怎样在异地申请开福利彩票店 足彩二串一真的那么容易赢吗 北京赛车pk10官网 广东11选5专家计划软件 如何猜大小单双 福内蒙古时时开奖结果查询 七星彩内部泄漏 四川时时开奖结果 中奖计算器 七星彩稳赚万能码 北京pk10怎么看单双 腾龙时彩计划软件下载 双色球各种走势图表