• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 20
    • 下载费用:30 金币  

    重庆时时彩微信群可靠吗: 穿透型头部穿戴式显示系统与互动操作方法.pdf

    关 键 词:
    穿透 头部 穿戴 显示 系统 互动 操作方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201210544368.5

    申请日:

    2012.12.14

    公开号:

    CN103838365A

    公开日:

    2014.06.04

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 3/01申请日:20121214|||公开
    IPC分类号: G06F3/01; G06F3/0487(2013.01)I 主分类号: G06F3/01
    申请人: 财团法人工业技术研究院
    发明人: 游智翔; 刁国栋; 黄维嘉; 陈加珍; 郑尊仁; 林显昌
    地址: 中国台湾新竹县竹东镇中兴路四段195号
    优先权: 2012.11.21 TW 101143494
    专利代理机构: 北京律诚同业知识产权代理有限公司 11006 代理人: 祁建国;梁挥
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210544368.5

    授权公告号:

    ||||||

    法律状态公告日:

    2017.03.01|||2014.07.02|||2014.06.04

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    一种穿透型头部穿戴式显示系统,包括:用于连续拍摄一空间以产生图像帧的摄影装置、显示装置以及处理器。处理器对于每一图像帧,进行互动操作,包括:对图像帧进行图像分析,以获得空间中一标志的定位信息以及空间中输入装置的输入装置三维信息。根据该定位信息,确认该显示装置所欲显示画面的画面尺寸与画面位置以及该画面的虚拟图像位置。根据输入装置三维信息以及一使用者的眼睛位置,进行一图像遮蔽处理,以于所显示画面中,对输入装置所对应的部分该画面做对应修正。根据定位信息以及输入装置三维信息,进行碰撞测试。当确认输入装置触碰显示系统的虚拟图像时,执行输入装置触碰显示系统的虚拟图像的接触位置所对应的一事件。

    权利要求书

    权利要求书
    1.  一种互动操作方法,适用于一穿透型头部穿戴式显示系统,其中该穿透型头部穿戴式显示系统穿戴于一使用者上,并且具有一摄影装置以及一显示装置,该摄影装置连续拍摄一空间以产生多个图像帧,对于每一图像帧,该互动操作方法包括:
    进行一图像分析,以获得该空间中的一标志的一定位信息以及于该空间中该使用者所使用的一输入装置的一输入装置三维信息;
    根据该定位信息,确认该显示装置所欲显示一画面的一画面尺寸与一画面位置以及该画面的一虚拟图像的一虚拟图像位置;
    根据该输入装置三维信息以及该使用者的一眼睛位置,进行一图像遮蔽处理,以计算出该画面中相对应该输入装置的一遮蔽区块,并于显示该画面时,对遮蔽区块内的部分该画面进行一图像处理;
    根据该定位信息以及该输入装置三维信息,确认该输入装置是否触碰该虚拟图像;以及
    当确认该输入装置触碰该虚拟图像时,根据该输入装置触碰该虚拟图像的一接触位置,执行该接触位置所对应该画面上的一特定位置所代表的一事件。

    2.  如权利要求1所述的互动操作方法,其特征在于,还包括侦测该空间中的该标志以启动该互动操作方法,进行后续对每一图像帧执行的该互动操作方法。

    3.  如权利要求1所述的互动操作方法,其特征在于,还包括进行一校正程序,以取得该摄影装置、该使用者的该眼睛位置与该显示装置的相对位置关系。

    4.  如权利要求1所述的互动操作方法,其特征在于,该图像遮蔽处理包括:
    根据该眼睛位置以及该输入装置三维信息,计算分别连接该使用者的一眼睛与该输入装置的一轮廓的多个连结线延长至与该虚拟图像交会的多个交点;
    分析该些交点,以获得该输入装置于该虚拟图像上的一虚拟遮蔽区块;
    根据该虚拟遮蔽区块,计算该显示装置所欲显示该画面中相对应该虚拟遮蔽区块的该遮蔽区块;
    对该遮蔽区块内的部分该画面进行该图像处理;以及
    于该显示装置上显示已经过图像处理的该遮蔽区块内的部分该画面的该画面。

    5.  如权利要求1所述的互动操作方法,其特征在于,该穿透型头部穿戴式显示系统还包含一存储装置,且对于每一该些图像帧进行该图像分析以获得该输入装置的该输入装置三维信息的步骤包括:
    进行一轮廓侦测,以取得该输入装置的一轮廓信息;
    根据该轮廓信息以及该存储装置中是否记录有该图像帧的一前图像帧中该输入装置的一输入点的一搜寻视窗权值与一搜寻视窗位置信息,进行一权值运算,以确认该输入装置的该输入点的一输入点二维座标;以及
    根据该轮廓信息以及该输入点二维座标,进行一深度计算,以获得该输入装置的一轮廓三维信息以及该输入点的一输入点三维信息组成的该输入装置三维信息。

    6.  如权利要求5所述的互动操作方法,其特征在于,确认该输入装置的该输入点的该二维座标的方法,包括:
    根据该轮廓信息,确认一轮廓凸出点作为一第一候选点;以及
    当该存储装置中未记录该图像帧的一前图像帧中该输入装置的该输入点的一搜寻视窗权值与一搜寻视窗信息,则以该第一候选点作为该输入装置的该输入点,并以该输入点为该搜寻视窗的一中心,开启该搜寻视窗,并以一预设权值作为该搜寻视窗的该搜寻视窗权值,且于该存储装置中记录该图像帧所对应的该搜寻视窗的该搜寻视窗权值以及记录对应该中心的该搜寻视窗位置信息为该输入点的该二维座标。

    7.  如权利要求6所述的互动操作方法,其特征在于,还包括:
    当该存储装置中记录该图像帧的该前图像帧中该输入装置的该输入点的该搜寻视窗权值与该搜寻视窗位置信息,且该第一候选点位于该搜寻视窗位置信息对应的该搜寻视窗中时,则以该第一候选点为该输入点,以该第一候选点为该搜寻视窗的该中心,更新该搜寻视窗的该搜寻视窗位置信息,并增加该搜寻视窗权值直到一预设上限权值门槛值,且于该存储装置中记录该图像帧所对应的增加后的该搜寻视窗权值以及记录更新后的该搜寻视窗位置信息为该输入点的该二维座标。

    8.  如权利要求6所述的互动操作方法,其特征在于,还包括:
    当该存储装置中记录该图像帧的该前图像帧中该输入装置的该输入点的该搜寻视窗权值与该搜寻视窗位置信息,且该第一候选点不位于该搜寻视窗位置信息对应的该搜寻视窗中时,于该搜寻视窗中,根据该轮廓信息,确认一第二候选点,以该第二候选点为该输入点,以该第二候选点为该搜寻视窗的该中心,更新该搜寻视窗的该搜寻视窗位置信息,并降低该搜寻视窗权值,且于该存储装置中记录该图像帧所对应的降低后的该搜寻视窗权值以及记录更新后的该搜寻视窗位置信息为该输入点的该二维座标。

    9.  如权利要求8所述的互动操作方法,其特征在于,降低该搜寻视窗权值还包括:
    当该搜寻视窗权值降低至低于一预设下限权值门槛值时,则关闭该搜寻视窗。

    10.  如权利要求5所述的互动操作方法,其特征在于,当该摄影装置为一深度摄影机时,则进行该深度计算包括:
    根据该深度摄影机提供该输入装置于该图像帧中的一深度信息,以计算出该输入装置的该轮廓三维信息以及该输入点的该输入点三维信息组成的该输入装置三维信息。

    11.  如权利要求5所述的互动操作方法,其特征在于,当该摄影装置为一双摄影机时,该轮廓信息包括一左图像轮廓信息以及一右图像轮廓信息,该输入点二维座标包括一左图像输入点二维座标以及一右图像输入点二维座标,则该深度计算包括:
    根据该左图像轮廓信息、该右图像轮廓信息、该左图像输入点二维座标以及该右图像输入点二维座标,进行一三角测距法,以获得该输入装置的该轮廓三维信息以及该输入点的该输入点三维信息组成的该输入装置三维信息。

    12.  如权利要求1所述的互动操作方法,其特征在于,该标志包括可互相组合与拆卸的多个次标志所组成的一标志组。

    13.  一种穿透型头部穿戴式显示系统,穿戴于一使用者上,该穿透型头部穿戴式显示系统包括:
    一摄影装置,连续拍摄一空间以产生多个图像??;
    一显示装置;
    一处理器,对于每一图像帧,进行一互动操作,其中该互动操作包括:
    对该图像帧进行一图像分析,以获得该空间中的一标志的一定位信息以及于该空间中该使用者所使用的一输入装置的一输入装置三维信息;
    根据该定位信息,确认该显示装置所欲显示一画面的一画面尺寸与一画面位置以及该画面的一虚拟图像的一虚拟图像位置;
    根据该输入装置三维信息以及该使用者的一眼睛位置,进行一图像遮蔽处理,以计算出该画面中相对应该输入装置的一遮蔽区块,并于显示该画面时,对该遮蔽区块内的部分该画面进行一图像处理;
    根据该定位信息以及该输入装置三维信息,确认该输入装置是否触碰该虚拟图像;以及
    当确认该输入装置触碰该虚拟图像时,根据该输入装置触碰该虚拟图像的一接触位置,执行该接触位置所对应该画面上的一特定位置所代表的一事件。

    14.  如权利要求13所述的穿透型头部穿戴式显示系统,其特征在于,处理器还用于侦测该空间中的该标志以启动该互动操作方法,进行后续对每一图像帧执行的该互动操作。

    15.  如权利要求13所述的穿透型头部穿戴式显示系统,其特征在于,该处理器进行该互动操作还包括进行一校正程序,以取得该摄影装置、该使用者的该眼睛位置与该显示装置的相对位置关系。

    16.  如权利要求13所述的穿透型头部穿戴式显示系统,其特征在于,该处理器进行该图像遮蔽处理包括:
    根据该眼睛位置以及该输入装置三维信息,计算分别连接该使用者的一眼睛与该输入装置的一轮廓的多个连结线延长至与该虚拟图像交会的多个交点;
    分析该些交点,以获得该输入装置于该虚拟图像上的一虚拟遮蔽区块;
    根据该虚拟遮蔽区块,计算该显示装置所欲显示该画面中相对应该虚拟遮蔽区块的该遮蔽区块;
    对该遮蔽区块内的部分该画面进行该图像处理;以及
    于该显示装置上显示已经过图像处理的该遮蔽区块内的部分该画面的该画面。

    17.  如权利要求13所述的穿透型头部穿戴式显示系统,其特征在于,还包括一存储装置,其中该处理器对于每一该些图像帧进行该图像分析以获得该 输入装置的该输入装置三维信息包括:
    进行一轮廓侦测,以取得该输入装置的一轮廓信息;
    根据该轮廓信息以及该存储装置中是否记录有该图像帧的一前图像帧中该输入装置的一输入点的一搜寻视窗权值与一搜寻视窗位置信息,进行一权值运算,以确认该输入装置的该输入点的一输入点二维座标;以及
    根据该轮廓信息以及该输入点二维座标,进行一深度计算,以获得该输入装置的一轮廓三维信息以及该输入点的一输入点三维信息组成的该输入装置三维信息。

    18.  如权利要求17所述的穿透型头部穿戴式显示系统,其特征在于,该处理器确认该输入装置的该输入点的该二维座标包括:
    根据该轮廓信息,确认一轮廓凸出点作为一第一候选点;以及
    当该存储装置中未记录该图像帧的一前图像帧中该输入装置的该输入点的一搜寻视窗权值与一搜寻视窗信息,则以该第一候选点作为该输入装置的该输入点,并以该输入点为该搜寻视窗的一中心,开启该搜寻视窗,并以一预设权值作为该搜寻视窗的该搜寻视窗权值,且于该存储装置中记录该图像帧所对应的该搜寻视窗的该搜寻视窗权值以及记录对应该中心的该搜寻视窗位置信息为该输入点的该二维座标。

    19.  如权利要求18所述的穿透型头部穿戴式显示系统,其特征在于,该处理器确认该输入装置的该输入点的该二维座标还包括:
    当该存储装置中记录该图像帧的该前图像帧中该输入装置的该输入点的该搜寻视窗权值与该搜寻视窗位置信息,且该第一候选点位于该搜寻视窗位置信息对应的该搜寻视窗中时,则以该第一候选点为该输入点,以该第一候选点为该搜寻视窗的该中心,更新该搜寻视窗的该搜寻视窗位置信息,并增加该搜寻视窗权值直到一预设上限权值门槛值,且于该存储装置中记录该图像帧所对应的增加后的该搜寻视窗权值以及记录更新后的该搜寻视窗位置信息为该输入点的该二维座标。

    20.  如权利要求18所述的穿透型头部穿戴式显示系统,其特征在于,该处理器确认该输入装置的该输入点的该二维座标还包括:
    当该存储装置中记录该图像帧的该前图像帧中该输入装置的该输入点的该搜寻视窗权值与该搜寻视窗位置信息,且该第一候选点不位于该搜寻视窗位 置信息对应的该搜寻视窗中时,于该搜寻视窗中,根据该轮廓信息,确认一第二候选点,以该第二候选点为该输入点,以该第二候选点为该搜寻视窗的该中心,更新该搜寻视窗的该搜寻视窗位置信息,并降低该搜寻视窗权值,且于该存储装置中记录该图像帧所对应的降低后的该搜寻视窗权值以及记录更新后的该搜寻视窗位置信息为该输入点的该二维座标。

    21.  如权利要求20所述的穿透型头部穿戴式显示系统,其特征在于,该处理器降低该搜寻视窗权值还包括:
    当该搜寻视窗权值降低至低于一预设下限权值门槛值时,则关闭该搜寻视窗。

    22.  如权利要求17所述的穿透型头部穿戴式显示系统,其特征在于,当该摄影装置为一深度摄影机时,则该处理器进行该深度计算包括:
    根据该深度摄影机提供该输入装置于该图像帧中的一深度信息,以计算出该输入装置的该轮廓三维信息以及该输入点的该输入点三维信息组成的该输入装置三维信息。

    23.  如权利要求17所述的穿透型头部穿戴式显示系统,其特征在于,当该摄影装置为一双摄影机时,该轮廓信息包括一左图像轮廓信息以及一右图像轮廓信息,该输入点二维座标包括一左图像输入点二维座标以及一右图像输入点二维座标,则该处理器进行该深度计算包括:
    根据该左图像轮廓信息、该右图像轮廓信息、该左图像输入点二维座标以及该右图像输入点二维座标,进行一三角测距法,以获得该输入装置的该轮廓三维信息以及该输入点的该输入点三维信息组成的该输入装置三维信息。

    24.  如权利要求13所述的穿透型头部穿戴式显示系统,其特征在于,该标志包括可互相组合与拆卸的多个次标志所组成的一标志组。

    说明书

    说明书穿透型头部穿戴式显示系统与互动操作方法
    技术领域
    本发明是有关于一种头部穿戴式显示系统与操作方法,且特别是有关于一种穿透型头部穿戴式显示系统与互动操作方法。
    背景技术
    穿戴式互动装置是目前国际大厂继智能手机之后,非?;季值囊豢榍罢傲煊?,而头部穿戴式显示器(head mounted display,HMD)则为此领域中最重要的关键装置之一。头部穿戴式显示器一般可分为沉浸型与穿透型,沉浸型的头部穿戴式显示器无法让使用者直接看到外面的环境,需靠外在的摄影机将周遭图像拍下来传到显示器内;穿透型的头部穿戴式显示器则可让使用者同时看到实体外在环境和虚拟图像。
    以穿透型头部穿戴式显示器为主的扩增实境(augmented reality)互动系统虽然有较高的真实感,但是对虚实合成的要求也相对高很多,一些常见问题如眼睛位置校正、虚实图像交互干扰、虚实图像遮蔽错乱等,使得穿透型头部穿戴式显示器的扩增实境的使用面临许多困难且复杂的问题,因此在应用上反而不如沉浸型的头部穿戴式显示器来的广泛。
    发明内容
    本发明提供一种穿透型头部穿戴式显示系统与互动操作方法,可有效解决虚实图像交互干扰以及虚实图像遮蔽错乱的问题,同时在操作上更符合一般人操作平板电脑的习惯,因此使用者没有学习与适应上的障碍。
    本发明一实施例提出一种穿透型头部穿戴式显示系统,穿戴于一使用者上。该穿透型头部穿戴式显示系统包括:一摄影装置、一显示装置以及一处理器。摄影装置用于连续拍摄一空间以产生多个图像帧。处理器,对于每一图像帧,进行一互动操作。该互动操作包括:对该图像帧进行一图像分析,以获得该空间中的一标志的一定位信息以及于该空间中该使用者所使用的一输入装 置的一输入装置三维信息。根据该定位信息,确认该显示装置所欲显示一画面的一画面尺寸与一画面位置以及该画面的一虚拟图像的一虚拟图像位置。根据该输入装置三维信息以及该使用者的一眼睛位置,进行一图像遮蔽处理,以计算出该画面中相对应该输入装置的一遮蔽区块,并于显示该画面时,对该遮蔽区块内的部分该画面进行一图像处理。根据该定位信息以及该输入装置三维信息,确认该输入装置是否触碰该虚拟图像。当确认该输入装置触碰该虚拟图像时,根据该输入装置触碰该虚拟图像的一接触位置,执行该接触位置所对应该画面上的一特定位置所代表的一事件。
    本发明又一实施例提出一种互动操作方法,适用于一穿透型头部穿戴式显示系统,其中该穿透型头部穿戴式显示系统穿戴于一使用者上,并且具有一摄影装置以及一显示装置,该摄影装置连续拍摄一空间以产生多个图像帧,对于每一图像帧。该互动操作方法包括:进行一图像分析,以获得该空间中的一标志的一定位信息以及于该空间中该使用者所使用的一输入装置的一输入装置三维信息。根据该定位信息,确认该显示装置所欲显示一画面的一画面尺寸与一画面位置以及该画面的一虚拟图像的一虚拟图像位置。根据该输入装置三维信息以及该使用者的一眼睛位置,进行一图像遮蔽处理,以计算出该画面中相对应该输入装置的一遮蔽区块,并于显示该画面时,对该遮蔽区块内的部分该画面进行一图像处理。根据该定位信息以及该输入装置三维信息,确认该输入装置是否触碰该虚拟图像。当确认该输入装置触碰该虚拟图像时,根据该输入装置触碰该虚拟图像的一接触位置,执行该接触位置所对应该画面上的一特定位置所代表的一事件。
    基于上述,本发明一实施例的穿透型头部穿戴式显示系统包含显示装置、可估测深度的摄影装置以及处理器。显示装置所显示的画面的虚拟图像,位于标志所定义的空间平面上,因此由使用者的观看观点而言,标志所定义的空间平面就像是一台平板电脑,但其可进一步显示立体图像。而可估测深度的摄影装置则侦测标志所定义的空间平面与输入装置的输入点的三维位置关系,并依此确认输入装置的输入点是否触碰空间平面,并进行遮蔽处理,达到互动操作的功能。所以本发明实施例的穿透型头部穿戴式显示系统与互动操作方法可大幅简化环境与背景干扰所产生的虚实图像交互干扰以及虚实图像遮蔽错乱的问题,提升互动操作的精确度与稳定度。再者,标志所定义的空间平面与现有 的平板电脑极为类似,让使用者在操控上有触碰的感觉,且操作方式与目前使用者的经验相符,因此使用者没有学习与适应上的障碍。
    为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
    附图说明
    图1是根据本发明一实施例的一种穿透型头部穿戴式显示系统的元件结构示意简图。
    图2是根据本发明一实施例的一种穿透型头部穿戴式显示系统立体示意图。
    图3是根据本发明一实施例的一种穿透型头部穿戴式显示系统的示意图。
    图4是根据本发明一实施例的一种互动操作方法流程简图。
    图5是根据本发明一实施例的一种图像分析以获得输入装置的输入装置三维信息的方法流程简图。
    图6是根据本发明一实施例的一种确认输入装置的输入点的输入点二维座标的方法流程简图。
    图7是根据本发明一实施例的一图像帧中输入装置图像的示意图。
    图8绘示根据本发明一实施例的一种遮蔽处理方法流程简图。
    图9绘示根据本发明一实施例的一种遮蔽处理的示意图。
    附图标记说明
    100:穿透型头部穿戴式显示系统
    100a:支架
    100b:侧边脚架
    102:摄影装置
    104:显示装置
    106:处理器
    108:存储装置
    110:镜面
    112:画面
    112a:虚拟图像
    114:空间平面
    300:使用者
    S401~S435、S501~S511、S601~S631、S801~S821:方法流程步骤
    700:手
    702:手指尖
    704:搜寻视窗
    900:眼睛
    902:输入装置
    904:连结线
    906:交点
    具体实施方式
    图1是根据本发明一实施例的一种穿透型头部穿戴式显示系统的元件结构示意简图。图2是根据本发明一实施例的一种穿透型头部穿戴式显示系统立体示意图。图3是根据本发明一实施例的一种穿透型头部穿戴式显示系统的示意图。请参照图1、图2与图3,本实施例的穿透型头部穿戴式显示系统100,例如是以眼镜架型态支架100a,穿戴于使用者(未示出)上。必须注意的是,本发明的穿透型头部穿戴式显示系统并不受限于图2所显示的眼镜架型态支架。也就是本发明的穿透型头部穿戴式显示系统可以以其他可穿戴至使用者身上(头部)的任何支架,穿戴至使用者上。
    此穿透型头部穿戴式显示系统100包括一摄影装置102、一显示装置104、一处理器106以及一存储装置108。其中,摄影装置102例如是可以同时截取彩色图像并估测深度的摄影机。更明确的说,摄影装置102例如是一双摄影机(dual camera)、深度摄影机(depth camera)或双棱镜摄影机(Bi-prism singlecamera)。再者,摄影装置102用于连续拍摄一空间以产生多个图像帧(imageframes)。又,请参照图2,摄影装置102配置于眼镜架型态支架100a的侧边脚架100b上。必须注意的是,图2中摄影装置102是配置于眼镜架型态支架100a的左侧侧边脚架100b上,然而,本发明并不受限于此。也就是摄影装置102在穿戴支架上的配置位置可以依照实际需要而配置在任何方位。
    请参照图2与图3,本实施例的显示装置104可为一投影式显示装置,将 所要给使用者300观看的图像投影至穿透型头部穿戴式显示系统中穿戴支架上的穿透式的镜面110上,以在镜面110上产生一显示画面112。使用者在观看画面112同时,也可看到镜面110后的景象。存储装置108例如是存储器(memory)、存储卡(memory card)或硬盘(hard disk)等,其中记录多个标准标志的个别标志特征,包括标志轮廓形状与标志对比度。处理器106例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)或中央处理器(centralprocessing unit,CPU)等。对于摄影装置102所拍摄的每一图像帧,处理器106依序进行一互动操作。另外,于另一实施例中,穿透型头部穿戴式显示系统还包括一光源装置,用以在环境太暗时提供足够光源,维持穿透型头部穿戴式显示系统的图像处理稳定性。
    图4是根据本发明一实施例的一种互动操作方法流程简图。请参照图1、图3与图4,本实施例的互动操作方法,适用于本发明的穿透型头部穿戴式显示系统100(如图1至3所示),对于每一图像帧,于步骤S401中,处理器106进行一图像分析,以获得摄影装置102所拍摄的空间中的一标志的一定位信息以及于空间中使用者所使用的一输入装置的一输入装置三维信息。其中,于本实施例的穿透型头部穿戴式显示系统中,此标志作为定位标志,还可作为实体按钮。也就是于后续所描述的校正程序中,作为校正显示装置104、摄影装置102与使用者眼睛位置三者之间的空间关系的对位标志。此外本实施例的穿透型头部穿戴式显示系统根据标志的定位信息定义出虚拟图像显示区。于一实施例中,上述标志例如是一固定尺寸的实体平板上配置数个标志。于又一实施例中,标志例如是由可互相组合与拆卸的数个次标志所组成的标志组,而使用者可以自行于空间中摆放次标志,以弹性控制次标志所定义的虚拟图像显示区的大小。
    使用者所使用的输入装置例如是使用者的手指、输入笔或是具有至少一突出端的各种物件。之后,于步骤S405中,处理器106根据所获得的空间中标志的定位信息,确认显示装置104所显示一画面(如图2的显示画面112)的一画面尺寸与一画面位置,其中此画面112的一虚拟图像112a位于标志于所拍摄的空间中定义的一空间平面114上。也就是使用者经由观看穿透型头部穿戴式显示系统中穿戴支架上的镜面110的画面112,产生视觉错觉而认为是看到位于空间平面114上的虚拟图像112a。值得注意的是,所述的标志定义的空 间平面114就是空间中标志所定位的平面。更明确的说,根据标志的定位信息,由穿透型头部穿戴式显示系统100所划出的一虚拟图像显示区。于一实施例中,此空间平面114可以是空间中任何可以将标志固定其上的实体平面(例如墙壁、桌面或地板)或是空间中与标志共平面的一虚拟平面。于又一实施例中,此空间平面与标志之间具有较大的对比度,并藉由处理器106进行图像分析,得到其上标志的定位信息以确认显示装置104所显示画面112的画面尺寸与画面位置后,即可由穿透型头部穿戴式显示系统100的处理器106在其上规划出虚拟图像的显示区。
    更明确的说,于步骤S401的图像分析中,例如以对比度筛选出空间中的至少一候选标志后,将此候选标志与储存在存储装置108中的标志一一进行标志特征比对(例如标志轮廓形状、标志对比度),确定与所储存标准标志其中之一相似度最大的候选标志为定位标志。当确定定位标志之后,则可计算出定位标志与摄影装置102的相对位置、定位标志的位置、定位标志所定义的空间平面114的尺寸、空间平面114在空间中的位置以及显示装置104所要显示的画面的尺寸与大小(也就是于本实施例中,所要给使用者300观看的图像投影至穿透型头部穿戴式显示系统中穿戴支架上的镜面110的画面112的画面尺寸与画面位置)。其中计算出定位标志与摄影装置102的相对位置以及显示装置104所要显示的画面的尺寸与大小的方法例如实行一扩增实境(augmented reality)技术。
    之后,于步骤S415中,根据输入装置三维信息以及使用者的一眼睛位置,进行一图像遮蔽处理,以计算出所欲显示的画面112中相对应输入装置的一遮蔽区块,并于画面112中,对遮蔽区块内的部分画面进行一图像处理。上述图像处理程序包括移除遮蔽区块内的部分画面、将遮蔽区块内的部分画面设定成特定颜色或是使遮蔽区块内的部分画面不与虚拟图像相互重迭。以输入装置为使用者的手为例,由于使用者观看画面112产生视觉错觉而认为是看到位于空间平面114上的虚拟图像112a,因此在未对显示画面112进行图像遮蔽处理,且手位于使用者眼睛与空间平面之间时,使用者会看到虚拟图像在前,而手在后的重迭景象。经由处理器106对所欲显示画面112进行图像遮蔽处理后,显示装置所显示的画面中对手所对应的遮蔽区块进行图像处理,例如移除手所对应的遮蔽区块,因此使用者经由穿透型头部穿戴式显示系统看到的是虚拟图像 中的挖空部位(亦即相对应所显示画面中移除的遮蔽区块)与实体手紧密嵌合,而不会有虚拟图像重迭在手上的重迭景象。
    于步骤S415进行的同时,于步骤S421中,根据步骤S401所获得的标志的定位信息以及输入装置的输入装置三维信息,进行一输入装置碰撞测试,以确认输入装置是否触碰空间平面114,亦即确认输入装置是否触碰虚拟图像。也就是标志定位信息可确认空间平面114在空间中的位置信息(亦即使用者视觉错觉认为是看到的虚拟图像112a在空间中的位置信息),再加上输入装置的输入装置三维信息,则可计算出输入装置是否接触到空间平面114/虚拟图像112a。于步骤S425中,当确认输入装置触碰空间平面114/虚拟图像112a时,根据输入装置触碰虚拟图像112a的一接触位置,执行接触位置所对应画面112上的一特定位置所代表的一事件。更明确的说,于步骤S421中,当输入装置的输入装置三维信息与空间平面114/虚拟图像112a在空间中的位置信息显示两者接触或两者距离小于一预设值时,则确认输入装置接触到空间平面114/虚拟图像112a,并且可确认输入装置接触到空间平面114/虚拟图像112a的接触位置的位置信息。之后,于步骤S425中,由接触位置的位置信息,可确认在所显示的画面中,相对应虚拟图像上的接触位置的特定位置所对应的事件,并由处理器106执行此事件。
    另一方面,当于步骤S421中,确认输入装置未触碰空间平面114/虚拟图像112a时,则于步骤S431中,结束此单一图像帧的互动操作。
    于一实施例中,在处理器106尚未启动互动操作前(亦即互动操作未启动状态),处理器106侦测空间中的是否有任何标志以启动本发明的互动操作方法,进行后续对每一图像帧执行的互动操作。举例而言,在尚未启动互动操作时,处理器106只启动摄影装置的二维图像侦测,以节省耗电,直到侦测有标志或特定手势出现时,则同时启动互动操作。于又一实施例中,在上述针对单一图像帧的互动操作的步骤S401至S431之间,当处理器106侦测未有特定手势出现或侦测不到任何标志持续一段时间(例如连续10秒)时,则立即进入结束程序,回复至互动操作未启动的状态。
    于再一实施例中,上述穿透型头部穿戴式显示系统进行互动操作时,还包括进行一校正程序(步骤S435)。更明确的说,使用者每次戴上穿透型头部穿戴式显示系统时,使用者眼睛与显示装置之间的相对位置都会不太一样,所以在 使用之前需要进行校正程序,确保使用者经由穿透型头部穿戴式显示系统所观看到的图像的图像位置与穿透型头部穿戴式显示系统判读的图像的图像位置位在同一地方。也就是,当使用者一穿戴穿透型头部穿戴式显示系统,并启动互动操作的同时,处理器106先对穿透型头部穿戴式显示系统进行一校正程序,校正显示装置104、摄影装置102与使用者眼睛位置,以确立三者之间的空间关系。也就是校正程序的结果,会估测使用者该次穿戴穿透型头部穿戴式显示器时的眼睛位置。此外,在上述针对单一图像帧的互动操作的步骤S401至S431之间,当使用者发现经由穿透型头部穿戴式显示系统所观看到的图像与实际图像产生错置(例如显示装置所显示的画面对应的虚拟图像中的标志与实际的标志无法正确迭合)时,则使用者可立即以特殊手势或是按压标志上代表进行校正程序的按键,则穿透型头部穿戴式显示系统立即进入校正程序。此校正程序例如是画面112的虚拟图像112a中有虚拟标志图像,使用者手动将实体标志与虚拟标志图像做对位,使两者在使用者视线上重合,经由处理器106进行校正程序,则可推算出相对于摄影装置的使用者的眼睛位置。
    图5是根据本发明一实施例的一种图像分析以获得输入装置的输入装置三维信息的方法流程简图。于图5所示的实施例中,将更进一步说明处理器106对于每一图像帧进行图像分析以获得输入装置的输入装置三维信息的方法(图4的步骤S401)。请参照图1与图5,于步骤S501中,对于摄影装置102所拍摄的每一图像帧,处理器106依序进行一轮廓侦测,以取得输入装置的一轮廓信息。之后,于步骤S505中,根据轮廓信息以及存储装置108中是否记录有当前进行图像分析的图像帧的前一图像帧中此输入装置的输入点的一搜寻视窗权值与一搜寻视窗位置信息,进行一权值运算,以确认输入装置的输入点的一输入点二维座标。其中,输入点例如是手指或是输入笔的笔尖。接着,于步骤S511中,根据轮廓信息以及输入点二维座标,进行一深度计算,以获得输入装置的一轮廓三维信息以及输入点的一输入点三维信息组成的输入装置三维信息。
    于一实施例中,当摄影装置102为一深度摄影机时,则处理器106进行深度计算(步骤S511),例如是根据深度摄影机所提供输入装置于图像帧中的一深度信息,以计算出输入装置的轮廓三维信息以及输入点的输入点三维信息组成的该输入装置三维信息。于又一实施例中,当摄影装置102为一双摄影机时, 则前述轮廓信息包括一左图像轮廓信息以及一右图像轮廓信息,而输入点二维座标包括一左图像输入点二维座标以及一右图像输入点二维座标。而处理器106进行深度计算(步骤S511),例如是根据左图像轮廓信息、右图像轮廓信息、左图像输入点二维座标以及右图像输入点二维座标,进行一三角测距法,以获得输入装置的轮廓三维信息以及输入点的输入点三维信息组成的输入装置三维信息。
    以下将以实施例搭配图示,以说明上述确认输入装置的输入点的一输入点二维座标的方法(步骤S505)。图6是根据本发明一实施例的一种确认输入装置的输入点的输入点二维座标的方法流程简图。图7是根据本发明一实施例的一图像帧中输入装置图像的示意图。请参照图1与图6,于步骤S601中,根据轮廓信息,处理器106确认一轮廓凸出点作为一第一候选点。其中此轮廓凸出点例如是手的手指或关节处。而确认轮廓凸出点其中之一为第一候选点的方法例如是由轮廓信息中,依序令各个轮廓点作为搜寻点,并以该搜寻点作为起始点以逆时针方向找寻距该搜寻点一预设个数轮廓偏移量的区域轮廓左端点,并以该搜寻点作为起始点以顺时针方向找寻距该搜寻点一预设个数轮廓偏移量的区域轮廓右端点,以该搜寻点与其区域轮廓左、右端点形成的区域范围所形成的区域轮廓中各点以座标平均计算该区域轮廓中心点,进而计算该搜寻点到该区域轮廓中心点的向量长度,并于轮廓各个搜寻点以上述演算法所得的向量长度最长的搜寻点为轮廓凸出点,令其为第一候选点。
    之后,请参照图6与图7,于步骤S605中,处理器106确认存储装置108中是否记录当前图像帧的前一图像帧中输入装置的输入点的一搜寻视窗权值与一搜寻视窗信息。于步骤S611中,当存储装置108中未记录前一图像帧中输入装置的输入点的搜寻视窗权值与搜寻视窗信息,则以第一候选点(请参照图7的手指尖702)作为输入装置(请参照图7的手700)的输入点,并以输入点为后续开启的搜寻视窗的一中心,开启该搜寻视窗(请参照图7的搜寻视窗704)。同时,以一预设权值作为所开启的搜寻视窗704的搜寻视窗权值,并于存储装置108中记录此图像帧所对应的搜寻视窗704的搜寻视窗权值以及记录对应中心(亦即输入点/手指尖702)的搜寻视窗位置信息为输入点的二维座标。
    另一方面,当存储装置108中记录前一图像帧中输入装置的输入点的搜寻视窗权值与搜寻视窗信息时,则于步骤S615中更进一步确认第一候选点是否 位于搜寻视窗位置信息所对应的搜寻视窗。于步骤S621中,当第一候选点位于搜寻视窗位置信息对应的搜寻视窗中时,则处理器106以此第一候选点为新的输入点,并以第一候选点为搜寻视窗的中心,更新搜寻视窗的搜寻视窗位置信息(亦即移动搜寻视窗,使其中心位于第一候选点上),并增加搜寻视窗权值直到一预设上限权值门槛值,且于存储装置108中记录当前图像帧所对应的增加后的搜寻视窗权值以及记录更新后的搜寻视窗位置信息,作为当前的输入点的二维座标。
    再者,当第一候选点不位于搜寻视窗位置信息对应的搜寻视窗中时,于步骤S625中,处理器106根据轮廓信息,于搜寻视窗所包围的部分输入装置的轮廓中,确认一轮廓凸出点作为一第二候选点,并以此第二候选点为新的输入点,第二候选点为搜寻视窗的中心,更新搜寻视窗的搜寻视窗位置信息(亦即移动搜寻视窗,使其中心位于第二候选点上),并降低搜寻视窗权值,且于存储装置108中记录当前图像帧所对应的降低后的搜寻视窗权值以及记录更新后的搜寻视窗位置信息,作为当前输入点的二维座标。值得注意的是,当上述处理器106降低搜寻视窗权至低于一预设下限权值门槛值时,则关闭搜寻视窗(步骤S631)。
    于本实施例中,确认输入装置的输入点的二维座标的步骤S601至步骤S625中,为了使本发明的穿透型头部穿戴式显示系统可有效排除影响确认候选点的杂讯,搜寻视窗所对应的搜寻视窗位置信息与搜寻视窗权值均以前一图像帧中输入点上搜寻视窗所对应的搜寻视窗位置信息与搜寻视窗权值为确认基准,以确保接续图像帧中的输入点仍位于目前搜寻视窗中直到搜寻视窗消失。
    以下将以实施例搭配图示,进一步说明互动操作中的遮蔽处理(图4中的步骤S415)。图8绘示根据本发明一实施例的一种遮蔽处理方法流程简图。图9绘示根据本发明一实施例的一种遮蔽处理的示意图。请参照图8与图9,于步骤S801中,根据使用者的眼睛位置(例如从校正程序中所获得的眼睛位置)以及输入装置三维信息,计算分别连接使用者的眼睛900与输入装置902的轮廓的多个连结线904延长至与空间平面114上的虚拟图像112a交会的多个交点906。于步骤S805中,分析交点906,以获得输入装置902于虚拟图像上的一虚拟遮蔽区块。于步骤S811中,根据虚拟遮蔽区块,计算显示装置所显示 画面中相对应虚拟遮蔽区块的遮蔽区块(也就是所显示画面中相对应输入装置的遮蔽区块)。于步骤S815中,对遮蔽区块内的部分画面进行一图像处理以及于步骤S821中,显示装置上显示已经过图像处理的遮蔽区块内的部分该画面的画面。因此可使虚拟图像与实体图像紧密贴合,而使用者在使用时不会产生虚实图像交互干扰以及虚实图像遮蔽错乱的问题。
    综上所述,本发明一实施例的穿透型头部穿戴式显示系统包含显示装置、可估测深度的摄影装置以及处理器。显示装置所显示的画面的虚拟图像,位于标志所定义的空间平面上,因此由使用者的观看观点而言,标志所定义的空间平面就像是一台平板电脑。而可估测深度的摄影装置则侦测标志所定义的空间平面与输入装置的输入点的三维位置关系,并依此确认输入装置的输入点是否触碰空间平面,并进行遮蔽处理,达到互动操作的功能。所以本发明的穿透型头部穿戴式显示系统与互动操作方法可大幅简化环境与背景干扰所产生的虚实图像交互干扰以及虚实图像遮蔽错乱的问题,提升互动操作的精确度与稳定度。再者,标志所定义的空间平面与现有的平板电脑极为类似,让使用者在操控上有触碰的感觉,且操作方式与目前使用者的经验相符,因此使用者没有学习与适应上的障碍。
    虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的?;し段б匀ɡ笫槲?。

    关于本文
    本文标题:穿透型头部穿戴式显示系统与互动操作方法.pdf
    链接地址://www.4mum.com.cn/p-6147278.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • pk10最牛稳赚5码公式王 七乐彩历史开奖更新2013 北京pk10在线人工杀码 360时时走势图 手机飞艇计划App 大乐透预测最准十专家 双色球开奖结果查询询 大乐透胆拖投注中奖 pk10时时彩计划下载 北京pk拾稳赚几百一天 pk10手机版软件下载 极速pk拾有什么套路吗 云南时时规则 七星彩第一位最准预测 吉林时时玩法介绍 吉林时时玩法规则