• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩博客: 可穿戴式三维手势交互系统及其使用方法.pdf

    关 键 词:
    穿戴 三维 手势 交互 系统 及其 使用方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110114604.5

    申请日:

    2011.05.05

    公开号:

    CN102193631A

    公开日:

    2011.09.21

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06F 3/01申请公布日:20110921|||实质审查的生效IPC(主分类):G06F 3/01申请日:20110505|||公开
    IPC分类号: G06F3/01; G06F3/033 主分类号: G06F3/01
    申请人: 上海大学
    发明人: 凌晨; 陈明; 张文俊; 赵凡
    地址: 200444 上海市宝山区上大路99号
    优先权:
    专利代理机构: 上海上大专利事务所(普通合伙) 31205 代理人: 何文欣
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110114604.5

    授权公告号:

    ||||||

    法律状态公告日:

    2013.06.19|||2011.11.23|||2011.09.21

    法律状态类型:

    发明专利申请公布后的视为撤回|||实质审查的生效|||公开

    摘要

    本发明公开了一种可穿戴式三维手势交互系统及其使用方法。本系统由一个微型投影仪、一个普通摄像头和便携式电脑,一组简易标记组成。通过简易的计算机视觉计算,实现运用手势与三维图形界面进行人机交互的功能。本发明通过一种投影屏幕标记的三维图形界面方式和一种虚拟鼠标手势,使三维图形界面更加生动,交互方式更灵活。本发明设备简单、成本低,也能满足移动设备的要求。

    权利要求书

    1.一种可穿戴式三维手势交互系统,包括便携式电脑(1)、摄像头(2)、微型投影仪(3)和彩色标记(4),其特征在于摄像头和微型投影仪安置在帽子上,使两者到投影屏幕的距离与夹角尽量相同,分别连接在一台便携式电脑上,并且在用户手指上需要带上彩色标记。2.一种根据权利要求1所述的可穿戴式三维手势交互系统的使用方法,其特征在于操作步骤为:①标记识别:通过摄像头(2)获得用户手指上彩色标记(4)的信息,通过图像分割获得其坐标信息;②动作识别:实时计算各个标记的运动向量以及各标记的位置关系,从而分析是何种动作指令;③响应输出:根据动作指令修改画面,并通过微型投影仪(3)投影到一个平面上,实现人机交互。3.根据权利要求2所述的可穿戴式三维手势交互系统的使用方法,其特征在于所述步骤①标记识别的具体操作步骤如下:(1)、获取关键帧画面;(2)、对关键帧画面中的彩色标记进行图像分割,获得各个彩色标记的坐标,并计算各标记的相对位置作为手势。4.根据权利要求2所述的可穿戴式三维手势交互系统的使用方法,其特征在于所述步骤②动作识别的具体操作步骤如下:?(3)、是否是多点触控手势?是多点触控手势则转步骤(7),否则转步骤(4);(4)、是否是自由手势?是则转步骤(8),否则转步骤(5);(5)、是否是混合手势?是则转步骤(9),否则转步骤(6);(6)、是否是虚拟鼠标?是则转步骤(10),否则转步骤(1);步骤(6)中一种特殊的手势:虚拟鼠标,左手食指与小指的彩色标记在一直线上,将食指上的标记作为左上角顶点,小指上的标记作为右上角顶点,向下做一正方形,在这正方形区域内即为控制区域,即手掌心,与图形界面上的坐标对应;这样设计的优点是右手食指在进行移动的时候可以有借力的地方,能够使移动更稳,达到精确定位的效果;(3)、是否是多点触控手势?是多点触控手势则转步骤(7),否则转步骤(4)。5.根据权利要求2所述的可穿戴式三维手势交互系统的使用方法,其特征在于所述步骤③响应输出的具体操作步骤如下:(7)、根据彩色标记的不同手势,做出相应的多点触控操作,完成交互后转步骤(1);(8)、根据彩色标记的不同手势,做出相应的自由手势操作,完成交互后转步骤(1);(9)、根据彩色标记的不同手势,做出相应的混合手势操作,完成交互后转步骤(1);(10)、根据彩色标记的不同手势,做出相应的虚拟鼠标操作,完成交互后转步骤(1)。

    说明书

    可穿戴式三维手势交互系统及其使用方法

    技术领域

    本发明涉及的是一种可以穿戴的三维图形界面手势交互技术,具体地说是一种基于单目视觉与标记、使用手势进行人机交互的可穿戴式三维手势交互系统及其使用方法。

    背景技术

    随着人们对自然交互的要求不断提高,通过手势进行人机交互已经成为主流趋势。为了达到随时随地都能进行虚拟数据的操作,可穿戴式计算机技术是解决此问题的一种可行的方法。随着微型投影仪的发展,微型投影仪成为移动设备标准配置已是不可逆的趋势。同时,人们也渐渐不满足于移动设备过小的显示屏幕。所以将界面投影到平面上来扩大屏幕大小成为研究热点。

    对于可穿戴式计算机的研究,如;中国专利:其名称为“穿戴式计算机专用的微小型键盘”,申请号200410043913.8,此专利提供了一种穿戴式计算机专用的微小型键盘,体积小、结构简单,但是交互方式仍然是传统键盘式交互,不符合自然交互的要求。中国专利:其名称为“穿戴式输入装置”,申请号200920178274.4;中国专利:其名称为“一种手套式虚拟输入装置”,申请号200920204864.X。这些专利拜托传统鼠标键盘式的硬件束缚,实现设备虚拟化的目的,但是需要特制硬件的支持,不适合移动设备的要求。中国专利:其名称为“带有中文LINUX操作系统的可穿戴式多媒体无线微型计算机”,申请号00107607.8,此专利使用人的自然语言进行人机交互,但是人们更加习惯使用手进行交互,故此专利不适合大规模商用推广。中国专利:其名称为“一种用于穿戴式计算机的人机交互头盔”,申请号200710023167.X,此专利提出一种具有视线跟踪功能,能通过配合语音实现对穿戴式计算机进行人机交互的头盔,能广泛应用于航空、航天、机械制造、电力、军事等不能彻底解放人的双手的应用领域,但是对硬件要求过高。

    发明内容

    鉴于以上所述现有技术存在的问题和不足,本发明的目的在于提供一种可穿戴式三维手势交互系统及其使用方法,系统结构简单,用户能通过手势对虚拟三维物体进行交互,三维界面生产具体。为达到上述目的,本发明的构思是:根据可穿戴式计算机技术要求,本发明包括便携式电脑(1)、摄像头(2)、微型投影仪(3)和彩色标记(4)。为了使摄像头拍摄的画面是用户看到的画面,故摄像头应靠近用户眼部,将摄像头戴在头上或者挂在胸前。为了使投影画面不被手所遮挡,微型投影仪应该戴在头部。并且为了使摄像头获得的画面与微型投影仪投出的实际画面,由于两者本身位置之间不同造成的几何失真不影响后面处理与降低程序的复杂性,应该使微型投影仪与摄像头尽量靠近,即两者到投影屏幕的距离与夹角尽量相同。微型投影仪与摄像头连接在一台便携式电脑上,此便携式电脑可以使用笔记本电脑,也可以使用智能手机。用户手指上需要带上彩色标记,在本发明中,左手的食指、拇指和小指和右手的食指、拇指需要带上不同的彩色标记。

    微型投影仪与摄像头并无特别要求,目前市面上能够购得的均可。将摄像头与微型投影仪安置在帽子上,戴在头上,便携式电脑背在身后,这样便构成了穿戴式三维手势交互方法的硬件系统。随着移动设备的发展,当微型投影仪也如同摄像头成为移动设备配置的时候,本系统可以简化为单一的移动设备,做到一体化的要求。

    根据上述发明构思,本发明采用下述技术方案:

    一种可穿戴式三维手势交互系统,包括便携式电脑(1)、摄像头(2)、微型投影仪(3)和彩色标记(4),其特征在于摄像头和微型投影仪安置在帽子上,使两者到投影屏幕的距离与夹角尽量相同,分别连接在一台便携式电脑上,并且在用户手指上需要带上彩色标记。

    一种上述可穿戴式三维手势交互系统的使用方法,其特征在于操作步骤为:

    1)标记识别:通过摄像头(2)获得用户手指上彩色标记(4)的信息,通过图像分割获得其坐标信息;

    2)动作识别:实时计算各个标记的运动向量以及各标记的位置关系,从而分析是何种动作指令;

    3)响应输出:根据动作指令修改画面,并通过微型投影仪(3)投影到一个平面上,实现人机交互。

    上述步骤1的标记识别,通过成熟的基于颜色的计算机图像处理技术,将摄像头拍摄到的实际图像进行分割,获得各个彩色标记的坐标信息。

    上述步骤2的动作识别,本发明中的交互方式是手势交互,包括四类手势:多点触控手势、自由手势、混合手势和虚拟鼠标。多点触控手势就是如今最热门的多点触控的一系列手势,通过此类手势,可以自由缩放图像、移动图标等等。自由手势就是人们日常生活中的手势,例如左手做出一个“OK”手势,便能实现确认的操作;左手食指与右手食指交叉呈“X”形,就能实现取消的操作;两手撑平,左手在上,右手在下,左手拇指与右手食指相触,左手食指与右手拇指相触,摆出一个“取景”的手势,就可以将当前摄像头获得的画面保存起来,即拍照功能?;旌鲜质凭褪峭ü笥沂峙浜辖腥嘶换?,左手控制三维变换,例如视角的选择等;右手控制平面变换,如画面的左右移动等。虚拟鼠标是本发明提出的一种手势。虚拟鼠标即将左手手掌作为鼠标使用。此手势是将左手撑开,手心面对摄像头,除拇指外的四个手指尽量弯曲,使得四个手指的手指甲在一直线上。此时左手食指与小指的彩色标记在一直线上,将食指上的标记作为左上角顶点,小指上的标记作为右上角顶点,向下做一正方形,在这正方形区域内即为控制区域,与图形界面上的坐标对应。并且此正方形区域在左手手掌之上,当右手食指在控制区域中移动时,可以接触手掌,即可看作为手掌心为控制区域。这样设计的优点是右手食指在进行移动的时候可以有借力的地方,能够使移动更稳,达到精确定位的效果。将在具体实施方式中,结合图进行具体说明。

    上述步骤3的响应输出,将便携电脑中的图形界面通过微型投影仪投影到墙上、桌面等物理平面上。使用的图形界面不仅可以使用如今常规的二维图形界面,还可以使用三维图形界面??梢约嫒萑缃裆桃等缑?,例如BumpTop和Real?Desktop。本发明也提出一种利用投影屏幕标记实现三维界面的方法。投影屏幕标记即在原有的界面四个顶角上做绘制不同的标记再投射到投影屏幕上,这些标记就称为“投影屏幕标记”。由于人与投影平面法向量的夹角的不同,投影的画面会产生几何失真,然后再通过摄像头获得实际投影图像。根据四个标记和其视觉变换矩阵,计算出投影平面的方向向量,进而渲染出虚拟三维物体并投影到平面上;最后用户能通过手势对虚拟三维物体进行交互。这样随着用户的移动,即用户与投影平面法向量夹角的变化,将渲染不同的虚拟物体,但用户将产生虚拟物体犹如真实存在的感受。并且用户能通过手势对虚拟三维物体进行交互。将在具体实施方式中,结合图进行具体说明。

    本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:

    本发明通过一种投影屏幕标记的三维图形界面方式和一种虚拟鼠标手势,使三维图形界面更加生动,交互方式更加灵活。本发明设备简单、成本低,能满足移动设备的要求。

    附图说明

    图1?本发明实施例的示意图;

    图2?本发明实施例的流程示意图;

    图3?虚拟鼠标示意图;

    图4?投影屏幕标记示意图。

    具体实施方式

    以下结合附图对本发明的优选实施例作进一步的详细说明。

    实施例一:如图1所示,可穿戴式三维手势交互系统包括一台便携式电脑(1)、一个摄像头(2)、一台微型投影仪(3)和一些彩色标记(4)。本交互系统对硬件要求低,微型投影仪和摄像头没有要求,故系统成本低。为了使摄像头拍摄的画面是用户看到的画面,并且手部动作不影响投影效果,如图1所示,将微型投影仪和摄像头安置在帽子上。

    实施例二:可穿戴式三维手势交互系统的使用方法,如图2所示,其具体步骤如下:

    ①、标记识别;

    ②、动作识别;

    ③、响应输出。

    上述步骤①所述的标记识别,是通过摄像头获得用户手指上彩色标记的信息,通过图像分割获得其坐标信息,其具体步骤如下:

    (1)、获取关键帧画面。

    (2)、对关键帧画面中的彩色标记进行图像分割,获得各个彩色标记的坐标,并计算各标记的相对位置作为手势。

    上述步骤②所述的动作识别进行手势交互,其具体步骤如下:

    (3)、是否是多点触控手势?是多点触控手势则转步骤(7),否则转步骤(4)。

    (4)、是否是自由手势?是则转步骤(8),否则转步骤(5)。

    (5)、是否是混合手势?是则转步骤(9),否则转步骤(6)。

    (6)、是否是虚拟鼠标?是则转步骤(10),否则转步骤(1)。

    步骤(6)中一种特殊的手势:虚拟鼠标,如图3所示,左手食指与小指的彩色标记在一直线上,将食指上的标记作为左上角顶点,小指上的标记作为右上角顶点,向下做一正方形,在这正方形区域内即为控制区域,即手掌心,与图形界面上的坐标对应。这样设计的优点是右手食指在进行移动的时候可以有借力的地方,能够使移动更稳,达到精确定位的效果。运用虚拟鼠标可以作为虚拟键盘输入文字,也可以在界面上精确地绘图。

    上述步骤③所述的响应输出,根据动作指令修改画面,并通过微型投影仪投影到一个平面上,实现人机交互,其具体步骤如下:

    (7)、根据彩色标记的不同手势,做出相应的多点触控操作,完成交互后转步骤(1)。

    (8)、根据彩色标记的不同手势,做出相应的自由手势操作,完成交互后转步骤(1)。

    (9)、根据彩色标记的不同手势,做出相应的混合手势操作,完成交互后转步骤(1)。

    (10)、根据彩色标记的不同手势,做出相应的虚拟鼠标操作,完成交互后转步骤(1)。

    本发明中可以使用普通二维图形界面,也可以使用三维图形界面。本实施例给出一种特殊的三维图形界面“投影屏幕标记”,如图4所示,在原有的界面四个顶角上绘制不同的标记再投射到投影屏幕上。由于人与投影平面法向量的夹角的不同,投影的画面将产生几何失真,然后再通过摄像头获得这些实际投影图像。根据四个标记和其视觉的变换矩阵:

    ;

    其中,是世界坐标系(,,)到摄像头坐标系(,,)的变换矩阵。在中为选择矩阵,为平移矩阵,为透视变换矩阵。计算出投影平面的方向向量,进而渲染出虚拟三维物体并投影到平面上,最后用户能通过手势对虚拟三维物体进行交互。以往基于标记的增强现实系统是摄像头位置固定,标记位置变动。而本发明中的投影屏幕标记是标记位置,即投影屏幕不动,摄像头移动。这样随着用户的移动,即用户与投影平面法向量夹角的变化,将渲染不同的虚拟物体,但用户将产生虚拟物体犹如真实存在的感受,比以往三维界面更加生动具体。并且用户能通过手势对虚拟三维物体进行交互。

    关于本文
    本文标题:可穿戴式三维手势交互系统及其使用方法.pdf
    链接地址://www.4mum.com.cn/p-5875417.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 双色球组选计算公式 怎么买竞彩稳赚不赔 广东时时开奖网站 在手机上玩彩票合法吗 彩票的和值如何确定 猫盘为什么提现不了 七星彩三字现概率 3d组选包胆技巧 重庆时时前三星走势图 分分彩稳赚计划 时时彩平买稳赚方案 3d模拟投注器 赛车6码平刷 吉林快3彩票站走势图 体育彩票开奖时间 网易买老时时行吗