• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 17
    • 下载费用:30 金币  

    重庆时时彩万能三码: 一种基于XTION设备的腿轮复合机器人及其手势控制方法.pdf

    关 键 词:
    一种 基于 XTION 设备 复合 机器人 及其 手势 控制 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610389736.1

    申请日:

    2016.06.02

    公开号:

    CN106005086A

    公开日:

    2016.10.12

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):B62D 57/032申请日:20160602|||公开
    IPC分类号: B62D57/032; G06F3/01 主分类号: B62D57/032
    申请人: 北京航空航天大学
    发明人: 丁希仑; 齐静; 徐坤; 彭赛金; 杨帆; 尹业成; 郑羿
    地址: 100191 北京市海淀区学院路37号
    优先权:
    专利代理机构: 北京永创新实专利事务所 11121 代理人: 周长琪
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610389736.1

    授权公告号:

    |||

    法律状态公告日:

    2016.11.09|||2016.10.12

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开一种基于Xtion设备的腿轮复合机器人及其手势控制方法,包括机器人本体以及6条机器人单腿结构;机器人本体内部传感层、驱动层、控制层及动力层,用于安装控制系统;通过传感层上安装的XtionPRO?LIVE摄像头结合控制层上安装的手势识别??橛朐硕刂颇?槭迪质质瓶刂?;其中,手势识别??橛址治质瓶刂谱幽?橛刖蔡质瓶刂谱幽??,可分别实现动态及静态手势控制。本发明的优点为:为后续的图像处理提供更多信息,可实现地图构建、人机交互功能,提高了人与机器人的交互的自然性,使用户可以通过手势控制六足轮腿复合机器人,有利于六足轮腿复合机器人的实际应用;且本发明手势识别控制部分基于ROS设计,可移植性强,可用于其他机器人控制系统。

    权利要求书

    1.一种基于Xtion设备的腿轮复合机器人,包括机器人本体以及6条机器人单腿结构,6条机器人单腿结构周向均匀安装于机器人本体上;单腿结构为具有步行与轮行功能的轮腿结构,具有三根腿节,以及4个驱动舵机;令三根腿节分别为第一腿节、第二腿节、第三腿节,4个驱动舵机分别为第一舵机、第二舵机、第三舵机、第四舵机;其中,第一腿节一端固定安装在第一舵机的输出轴上,形成髋关节;第一舵机输出轴轴线与水平面垂直,由第一舵机驱动第一腿节横向摆动;第二舵机固定安装于第一腿节另一端,第二舵机输出轴与第二腿节一端固定,形成膝关节;第二舵机输出轴轴线与第一舵机输出轴轴线垂直,由第二舵机驱动第二腿节纵向摆动;第二腿节另一端与第三舵机输出轴固定,形成踝关节;第三舵机输出轴轴线与第二舵机输出轴轴线平行,由第三舵机驱动第三腿节纵向摆动;第四舵机位于第三腿节中部,第四舵机的输出轴轴线与第三舵机输出轴轴线平行,第四舵机输出轴上通过花键同轴固定安装有轮子,通过第四舵机驱动轮子转动;第三腿节另一端安装有足地检测机构,用于单腿结构2与地面间的接触,同时可实现足地接触状态的检测;其特征在于:机器人本体内部由具有减重孔的铝合金板分割为四层,由上至下依次为传感层、驱动层、控制层及动力层,用于安装控制系统;其中,传感层上安装有Xtion PRO LIVE摄像头与IMU;Xtion PRO LIVE摄像头用来采集环境信息,实现同时定位及地图创建,以及获取人的信息,用于人机交互;IMU用于获得机器人的自身姿态,辅助定位和创建环境地图;驱动层上安装有六块舵机驱动板,分别用于控制6条单腿结构上的各个舵机运动;控制层上安装有主控板,实现通讯管理、传感器数据采集、数据处理与驱动管理等功能;动力层上安装有电池盒,电池盒内安装机器人供电电池;机器人本体与远程控制端进行无线通信,由远程控制端进行控制;远程控制端具有安全认证???、音视频播放???、操控??橛胄畔⑾允灸??;各个??榫治岸擞牒筇?;前端为人机交互接口;后台负责网络通信、数据处理;其中,安全认证??橛糜诨袢∮没淙氲挠没畔?,经后台封装成数据包发送至机器人的控制主控板中,由主控板反馈登录结果至安全认证??榻邢允?;音视频播放??橥ü筇ń邮誜tion PRO LIVE摄像头返回的声音信息和相机采集的图像,经后台解码后在音视频播放??橹薪邢允?;信息显示??榻邮誌MU返回的六组机器人传感信息,如姿态、关节角度和关节力矩信息用于显示六足机器人传感信息;操控??橛稍硕丶槌?,可控制机器人运动;同时可以设置机器人行进模式。2.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:髋关节、膝关节与踝关节处的舵机与第一腿节、第二腿节、第三腿节间的连接方式相同,其中舵机输出轴上通过螺钉固定安装有舵盘,舵盘嵌入腿节的端部一侧连接位上设计的凹槽内定位;舵机的 输出轴同轴固定安装有伸出轴,伸出轴端部通过轴承与腿节端部另一侧连接位相连。3.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:机器人本体外加装周边罩,周边罩周向上预留单腿结构的安装口;通过周边罩对机器人本进行?;?。4.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:Xtion PRO LIVE摄像头位于机器人主体外部,底座位于传感器层内,固定安装在倒U型支架上,倒U型支架固定在传感层上表面;IMU位于倒U型支架内。5.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:六块舵机驱动板并排设置在驱动层上表面上,可以实现并行计算,实时性好。6.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:控制层上还设计有充电接口与电源开关;充电导线两端分别与充电接口和动力层中两块锂电池相连;由此使外接电源通过充电接口来为锂电池充电;电源开关来用来控制每条单腿结构中的各个舵机及主控板的上电下电。7.如权利要求1所述一种基于Xtion设备的腿轮复合机器人,其特征在于:远程控制端还具有三维仿真???;三维仿真模根据Xtion PRO LIVE摄像头与IMU??榉祷氐幕魅嗽硕捌渲芪Щ肪承藕?,同步显示机器人运动和环境地形;在机器人运行过程中,三维仿真??楦萘慊魅斯亟诮嵌刃畔?,驱动三维模型与真实机器人同步运动。8.针对权利要求1所述一种基于Xtion设备的腿轮复合机器人的手势控制方法,其特征在于:在控制层上安装手势识别??橛朐硕刂颇??;手势识别??榘ǘ质剖侗鹱幽?楹途蔡质剖侗鹱幽??,其中:动态手势识别子??橛糜谑迪侄质剖侗?,具有稳定检测器、画圆检测器、推检测器、移动检测器;其中,稳定检测器用于识别当前活跃的手部是否处于稳定状态,画圆检测器用于识别当前活跃手部的画圆运动,推检测器用于识别当前活跃手的前推动作,移动检测器用于识别当前活跃手的击打动作;上述动态手势识别子??榈木咛迳杓品绞轿?/claim-text>A、使用Xtion PRO LIVE摄像头的Xtion SDK初始化环境;B、建立上下文环境创建图像生成器,并设定图像生成器的像素、帧率;C、建立、注册场景管理器,并初始化场景管理器;D、建立、注册稳定检测器、画圆检测器、推检测器、移动检测器,并将各检测器中的监听器添加至场景管理器中;同时,设定稳定检测器、画圆检测器、推检测器、移动检测器的回调函数;通过上述方式设计的动态手势识别???,在进行手势识别时,首先通过Xtion PRO LIVE摄像头采集RGB图像信息;随后基于OpenNI软件对采集的图像进行处理,提取手势的运动轨迹, 并通过稳定检测器、画圆检测器、推检测器、移动检测器识别手静止不动、画圆、推和移动的手势;随后稳定检测器、画圆检测器、推检测器、移动检测器将各自的回调函数中输出识别结果,并将识别结果发送至运动控制???;运动控制??楦菔侗鸾峁?,结合动态手势识别??槟谠ざㄒ宓亩质朴牖魅嗽硕挠成涔叵?,控制机器人完成相应的运动。所述静态手势识别子??榛诓噬枷?,用于识别静态手势;通过静态手势识别子???,在进行手势识别时,首先通过Xtion PRO LIVE摄像头采集RGB图像信息,该图像信息通过机器人操作系统中的Topic中的message实现;随后,利用静态手势识别子??槟谠ご娴姆羯P秃虷OG特征检测出人脸部分,进而根据人体结构特征,检测出人的身体部分,并由身体部分中分割出人的手部区域,最终提取已分割手部区域的图像特征,进行手势的训练识别,并将识别结果发送主控板,根据识别结果,结合预存于的静态手势与机器人运动的映射关系,控制机器人完成相应的运动。

    说明书

    一种基于Xtion设备的腿轮复合机器人及其手势控制方法

    技术领域

    本发明属于机器人技术领域,具体涉及一种基于Xtion设备腿轮复合机器人及其手势控
    制方法和装置。

    背景技术

    机器人在社会生活和工业生产方面有广阔的应用前景。工业生产方面的应用,如星球探
    测、灾后救援等。社会生活方面的应用前景,如助老、助残。在我国迈入老龄化社会,老年
    人需要照顾,而青壮年需要工作来维持生计,无暇照顾老人?;魅丝梢猿涞辈糠掷投?,
    补充劳动力的不足,在助老幼病残孕等方面有广泛的应用前景。

    腿式机器人能够适应复杂地形,但行走速度较慢,而轮式机器人行走速度较快,但只能
    在较平坦的地面行走,跨越障碍物的能力较差,腿、轮两种运动方式的结合为机器人的运动
    提供了新的便利,如何设计轮、腿两种方式结合的机构成为当前需要解决的问题。

    腿轮式机器人通常需要特定人输入特定控制指令才能控制机器人运动,不懂专业知识的
    普通人无法直接操作,这种交互方式在一定程度上制约了机器人的广泛应用。

    发明内容

    针对上述问题,本发明提供一种基于Xtion设备的腿轮复合机器人;使机器人与人之间
    实现更好交互。

    本发明基于Xtion设备的腿轮复合机器人,包括机器人本体以及6条机器人单腿结构,6
    条机器人单腿结构周向均匀安装于机器人本体上。单腿结构为具有步行与轮行功能的轮腿结
    构,具有三根腿节,以及4个驱动舵机;令三根腿节分别为第一腿节、第二腿节、第三腿节,
    4个驱动舵机分别为第一舵机、第二舵机、第三舵机、第四舵机。其中,第一腿节一端固定安
    装在第一舵机的输出轴上,形成髋关节;第一舵机输出轴轴线与水平面垂直,由第一舵机驱
    动第一腿节横向摆动。第二舵机固定安装于第一腿节另一端,第二舵机输出轴与第二腿节一
    端固定,形成膝关节;第二舵机输出轴轴线与第一舵机输出轴轴线垂直,由第二舵机驱动第
    二腿节纵向摆动。第二腿节另一端与第三舵机输出轴固定,形成踝关节;第三舵机输出轴轴
    线与第二舵机输出轴轴线平行,由第三舵机驱动第三腿节纵向摆动。第四舵机位于第三腿节
    中部,第四舵机的输出轴轴线与第三舵机输出轴轴线平行,第四舵机输出轴上通过花键同轴
    固定安装有轮子,通过第四舵机驱动轮子转动。第三腿节另一端安装有足地检测机构,用于
    单腿结构与地面间的接触,同时可实现足地接触状态的检测。

    机器人本体内部由具有减重孔的铝合金板分割为四层,由上至下依次为传感层、驱动层、
    控制层及动力层,用于安装控制系统。其中,传感层上安装有Xtion PRO LIVE摄像头与IMU;
    Xtion PRO LIVE摄像头用来采集环境信息,实现同时定位及地图创建,以及获取人的信息,
    用于人机交互;IMU用于获得机器人的自身姿态,辅助定位和创建环境地图。驱动层上安装有
    六块舵机驱动板,分别用于控制6条单腿结构上的各个舵机运动??刂撇闵习沧坝兄骺匕?,实
    现通讯管理、传感器数据采集、数据处理与驱动管理等功能??刂撇隳诨股柚糜惺质瓶刂颇?br />块与运动控制???,实现对腿轮复合机器人的手势控制。动力层上安装有电池盒,电池盒内
    安装机器人供电电池。

    机器人本体与远程控制端进行无线通信,由远程控制端进行控制;远程控制端具有安全
    认证???、音视频播放???、操控??橛胄畔⑾允灸??。各个??榫治岸擞牒筇?;前端
    为人机交互接口;后台负责网络通信、数据处理。其中,安全认证??橛糜诨袢∮没淙氲?br />用户信息,经后台封装成数据包发送至机器人的控制主控板中,由主控板反馈登录结果至安
    全认证??榻邢允?。音视频播放??橥ü筇ń邮誜tion PRO LIVE摄像头返回的声音信息
    和相机采集的图像,经后台解码后在音视频播放??橹薪邢允?。信息显示??榻邮誌MU返回
    的六组机器人传感信息,如姿态、关节角度和关节力矩信息用于显示六足机器人传感信息。
    操控??橛稍硕丶槌?,可控制机器人运动;同时可以设置机器人行进模式。

    针对上述基于Xtion设备的腿轮复合机器人的手势识别方法为,在控制层上安装手势识别
    ??橛朐硕刂颇??;手势识别??榘ǘ质剖侗鹱幽?楹途蔡质剖侗鹱幽??,其中:

    动态手势识别子??橛糜谑迪侄质剖侗?,具有稳定检测器、画圆检测器、推检测器、
    移动检测器。稳定检测器用于识别当前活跃的手部是否处于稳定状态,画圆检测器用于识别
    当前活跃手部的画圆运动,推检测器用于识别当前活跃手的前推动作,移动检测器用于识别
    当前活跃手的击打动作。

    上述动态手势识别子??榈木咛迳杓品绞轿?br />

    A、使用Xtion PRO LIVE摄像头的Xtion SDK初始化环境;

    B、建立上下文环境创建图像生成器,并设定图像生成器的像素、帧率;

    C、建立、注册场景管理器,并初始化场景管理器;

    D、建立、注册稳定检测器、画圆检测器、推检测器、移动检测器,并将各检测器中的监
    听器添加至场景管理器中;同时,设定稳定检测器、画圆检测器、推检测器、移动检测器的
    回调函数。

    通过上述方式设计的动态手势识别???,在进行手势识别时,首先通过Xtion PRO LIVE
    摄像头采集RGB图像信息;随后基于OpenNI软件对采集的图像进行处理,提取手势的运动轨迹,
    并通过稳定检测器、画圆检测器、推检测器、移动检测器识别手静止不动、画圆、推和移动
    的手势;随后稳定检测器、画圆检测器、推检测器、移动检测器将各自的回调函数中输出识
    别结果,并将识别结果发送至运动控制???;运动控制??楦菔侗鸾峁?,结合动态手势识
    别??槟谠ざㄒ宓亩质朴牖魅嗽硕挠成涔叵?,控制机器人完成相应的运动。

    所述静态手势识别子??榛诓噬枷?,用于识别静态手势;通过静态手势识别子???,
    在进行手势识别时,首先通过Xtion PRO LIVE摄像头采集RGB图像信息,该图像信息通过机器
    人操作系统中的Topic中的message实现;随后,利用静态手势识别子??槟谠ご娴姆羯P?br />和HOG特征检测出人脸部分,进而根据人体结构特征,检测出人的身体部分,并由身体部分中
    分割出人的手部区域,最终提取已分割手部区域的图像特征,进行手势的训练识别,并将识
    别结果发送主控板,根据识别结果,结合预存于的静态手势与机器人运动的映射关系,控制
    机器人完成相应的运动。

    本发明的优点在于:

    1、本发明基于Xtion设备的腿轮复合机器人中,Xtion Pro Live摄像头不仅能够获取
    RGB信息和深度信息,还可获取用户的骨骼点信息,为后续的图像处理提供更多信息,可实
    现地图构建、人机交互功能;

    2、本发明基于Xtion设备的腿轮复合机器人及其手势控制方法,可移植性强。该方法基
    于ROS,具体来说,动态手势识别基于ROS和OpenNI框架设计实现,静态手势识别基于ROS,
    可用于其他机器人控制系统;

    3、本发明基于Xtion设备的腿轮复合机器人及其手势控制方法,包括静态手势和动态手
    势控制两种方式,用户可根据需要选择合适的控制方式;

    4、本发明基于Xtion设备的腿轮复合机器人及其手势控制方法,研究对象为人的上半身
    图片,基于人的身体结构分割出手势区域,通用性强。此种分割方法不仅能分割不戴手套的
    手,还能分割出带手套的手;

    5、本发明基于Xtion设备的腿轮复合机器人及其手势控制方法,使用手势控制机器人,
    提高了人与机器人的交互的自然性,符合人机交互的发展趋势;

    6、本发明所述基于Xtion设备腿轮复合机器人及其手势控制方法和装置,将静态手势识
    别和基于OpenNI软件的动态手势识别,应用于六足轮腿复合机器人,使用户可以通过手势控
    制六足轮腿复合机器人,有利于六足轮腿复合机器人的实际应用。

    附图说明

    图1为本发明基于Xtion设备的腿轮复合机器人整体结构示意图;

    图2为本发明基于Xtion设备的腿轮复合机器人中结构一的单腿结构示意图;

    图3为单腿结构中舵机与腿节间的安装方式示意图;

    图4为本发明基于Xtion设备的腿轮复合机器人站立时单腿结构示意图;

    图5为本发明基于Xtion设备的腿轮复合机器人中轮行时单腿结构示意图;

    图6为本发明基于Xtion设备的腿轮复合机器人中机器人主体结构示意图;

    图7为本发明基于Xtion设备的腿轮复合机器人中机器人主体的外壳内部分层结构示意
    图;

    图8为本发明基于Xtion设备的腿轮复合机器人中充电接口与电源开关设计位置示意图;

    图9为本发明基于Xtion设备的腿轮复合机器人中动态手势识别子??榈纳瓒ǚ椒鞒?br />图;

    图10为本发明基于Xtion设备的腿轮复合机器人中动态手势识别子??榈氖质剖侗鸱椒?;

    图11为本发明基于Xtion设备的腿轮复合机器人中静态手势识别子??榈氖质剖侗鸱椒?br />流程图。

    图中:

    1-机器人本体 2-单腿结构 3-舵盘

    4-伸出轴 5-轴承 6-轮子

    7-执行器连接件 8-末端执行器 9-Xtion PRO LIVE摄像头

    10-IMU 11-舵机驱动板 12-主控板

    13-电池盒 14-充电接口 15-电源开关

    101-外壳 102-周边罩 201-第一腿节

    202-第二腿节 203-第三腿节 204-第一舵机

    205-第二舵机 206-第三舵机 207-第四舵机

    208-足地检测机构 901-底座 902-倒U型支架

    具体实施方式

    下面结合附图对本发明进行详细说明。

    本发明基于Xtion设备的腿轮复合机器人,包括机器人本体1以及6条机器人单腿结构2,
    如图1所示,6条机器人单腿结构2周向均匀安装于机器人本体1上。

    一般机器人步行时为了实现足端在空间中的自由移动,单腿结构2自由度至少为3,机器
    人单腿结构2自由度越多,腿就越灵活,但其设计、控制难度和腿的质量将逐步地增大。本发
    明中6条机器人单腿结构2均采用三个舵机输出三个自由度,实现基本步行功能。

    本发明中单腿结构为具有步行与轮行功能的轮腿结构,如图2所示,具有三根腿节,以及
    4个驱动舵机。令三根腿节分别为第一腿节201、第二腿节202、第三腿节203,4个驱动舵机分
    别为第一舵机204、第二舵机205、第三舵机206、第四舵机207。其中,第一腿节201一端固定
    安装在第一舵机204的输出轴上,形成髋关节;第一舵机204输出轴轴线与水平面垂直,由第
    一舵机204驱动第一腿节201横向摆动。第二舵机205固定安装于第一腿节201另一端,第二舵
    机205输出轴与第二腿节202一端固定,形成膝关节;第二舵机205输出轴轴线与第一舵机204
    输出轴轴线垂直,由第二舵机205驱动第二腿节202纵向摆动。第二腿节202另一端与第三舵机
    206输出轴固定,形成踝关节;第三舵机206输出轴轴线与第二舵机205输出轴轴线平行,由第
    三舵机206驱动第三腿节203纵向摆动。

    对于上述髋关节、膝关节与踝关节处的舵机与第一腿节201、第二腿节202、第三腿节203
    间的连接方式相同,如图3所示,其中舵机输出轴上通过螺钉固定安装有舵盘3,舵盘3嵌入腿
    节的端部一侧连接位上设计的凹槽内定位;舵机的输出轴同轴固定安装有伸出轴4,伸出轴4
    端部通过轴承5与腿节端部另一侧连接位相连。由此舵机通过上述连接方式将动力传递至腿节,
    减少了轴承的使用,达到减重的目的。

    上述第三腿节203设计为向机器人主体1方向弯曲,弯曲夹角为140度;使第四舵机207位
    于弯曲处,第四舵机207的输出轴轴线与第三舵机203输出轴轴线平行,第四舵机207输出轴上
    通过花键同轴固定安装有轮子6,通过第四舵机207驱动轮子6转动。

    第三腿节203另一端安装有足地检测机构208,用于单腿结构2与地面间的接触,同时可实
    现足地接触状态的检测。上述足地检测机构208可采用公开号为CN104816766A的发明专利中公
    开的一种适用于腿式机器人的足端触地检测机构,这种足地接触检测装置实质是在足端安装
    接触开关。

    在上述结构的单腿结构2中,直接将第一舵机204固定与机器人本体1上即完成与机器人本
    体间的安装。当机器人进行步行前进时,6条单腿结构2的支撑形式根据不同的关节位姿也不
    尽相同,根据仿生学原理,仿制蟑螂步行时的单腿支撑构型,如图4所示,由第一舵机201、
    第二舵机202、第三舵机203分别驱动髋关节、膝关节和踝关节转动,调节三个关节的位姿,
    实现单腿结构2的前后摆动或纵向移动,按照不同的步态前进。当机器人进行轮行前进时,可
    驱动其中至少3个单腿结构2中膝关节及踝关节转动改变单腿结构2的构型,使单腿结构2中的
    轮子6着地,如图5所示,实现轮行运动。

    所述机器人本体1由外壳101、周边罩102构成,如图6所示;均使用3D打印制作,材料为
    塑料,质量较轻硬度适宜,并且加工周期短,便于机器人本体1的造型控制。周边罩102加装
    于外壳101外部,周向上预留单腿结构2的安装口;周边罩102用于?;ね饪?01及外壳101内部
    控制系统。上述机器人本体1中,外壳101采用近圆柱体,且内部由具有减重孔的铝合金板分
    割为四层,如图7所示,由上至下依次为传感层、驱动层、控制层及动力层,用于安装控制系
    统。

    其中,传感层上安装有Xtion PRO LIVE摄像头9、IMU(惯性导航单元)10;Xtion PRO LIVE
    摄像头9位于外壳101外部,其底座901位于传感器层内,固定安装在倒U型支架902上,倒U型
    支架902固定在传感层上表面。IMU10固定于传感器层上,位于倒U型支架902内,由此实现紧
    凑设计,减少机器人的体积。上述Xtion PRO LIVE摄像头9有两个作用:一是采集环境信息,
    实现同时定位及地图创建(Simultaneous Localization and Mapping,SLAM,同时定位及地
    图创建);二是获取人的信息,用于人机交互。Xtion PRO LIVE摄像头9包含2个相机,分别为
    一个RGB相机及一个深度相机;深度相机有效距离在0.8m至3.5m之间。另外Xtion PRO LIVE
    摄像头9两侧的麦克组成麦克阵列,能够有效地获取环境中的声音信息,可用于实现语音控制
    等自然人机交互方式。IMU10采用惯性导航单元,用于获得机器人的自身姿态,辅助定位和创
    建环境地图。本发明中IMU10采用MTI-300AHRS,能输出三轴线加速度、三轴角速度、三轴偏
    角,内部采用突破性的传感器融合算法XEE(Xsens Estimation Engine),一定程度上克服了
    Kalman滤波的限制,性能接近于光学陀螺仪。

    驱动层上安装有六块舵机驱动板11,分别用于控制6条单腿结构2上的各个舵机运动。六
    块舵机驱动板11并排设置在驱动层上表面上,可以实现并行计算,实时性好。

    控制层上安装有主控板12,主控板12为机器人的控制中心,可实现通讯管理、传感器数
    据采集、数据处理、驱动管理等功能。主控板12采用MIO-2263系列嵌入式单板电脑,为搭载
    嵌入式CeleronJ1900四核处理器的工业级嵌入式单板电脑。主控板12为x86架构,对各
    类软硬件具有良好的兼容性,同时其较高的性能可以满足大运算量需求,并且使用ROS框架进
    行开发。

    动力层上安装有电池盒13,电池盒13安装有一块12V锂电池和一块7.4V锂电池,使机器人
    不用外接电源,独立自主,扩大机器人适用范围。

    上述控制层上还设计有充电接口14与电源开关15,如图9所示;充电导线两端分别与充电
    接口14和动力层中两块锂电池相连;由此使外接电源通过充电接口14来为锂电池充电。电源
    开关15来用来控制每条单腿结构2中的各个舵机及主控板12的上电下电。

    本发明在wlan无线网络环境下,与远程控制端(手机端或平板端)进行无线通信,由远
    程控制端进行控制??刂贫瞬捎肁ndroid系统,设计有控制???;控制??榘ò踩现つ??、
    音视频播放???、操控???、信息显示???,如图8所示??刂贫酥懈鞲瞿?榫治岸擞牒?br />台。前端为人机交互接口;后台负责网络通信、数据处理。其中,安全认证??橛糜诨袢∮?br />户输入的用户信息,经后台封装成数据包发送至机器人的控制主控板12中,由主控板反馈登
    录结果至安全认证??榻邢允?。音视频播放??橥ü筇ń邮樟慊魅酥蠿tion PRO
    LIVE摄像头返回的声音信息和相机采集的图像,经后台解码后在音视频播放??橹薪邢允?。
    信息显示??榻邮誌MU返回的六组机器人传感信息,如姿态、关节角度和关节力矩信息用于显
    示六足机器人传感信息,如姿态、关节角度和关节力矩。操控??橛啥喔隹丶槌?,可控制
    六足机器人前进、后退、左转、右转、暂停、停止等动作。同时可以设置机器人行进模式,
    如腿式行进模式或轮式行进模式。

    对于平板电脑端,由于平板电脑的屏幕较大,能够容纳更多的功能???。相比手机端,
    本发明中在平板电脑端还增加了三维仿真???。三维仿真模根据Xtion PRO LIVE摄像头与IMU
    ??榉祷氐幕魅嗽硕捌渲芪Щ肪承藕?,同步显示机器人运动和环境地形。在机器人运行
    过程中,三维仿真??楦萘慊魅斯亟诮嵌刃畔?,驱动三维模型与真实机器人同步(低
    延时)运动。

    针对上述结构的腿轮复合机器人,本发明还提出一种手势控制方法,在控制层内增加手
    势控制??橛朐硕刂颇??,实现对腿轮复合机器人的手势控制。本发明中手势识别??榛?br />于Linux Ubuntu 12.04上安装的机器人操作系统(Robot Operating System,ROS)的hydro版
    本设计,将手势识别??橛朐硕刂颇?槌橄笪龌魅瞬僮飨低持械牟煌诘?,则手势
    识别??橛朐硕刂颇?榧涞耐ㄐ趴煽醋鞑煌岬慵渫ㄐ?,故??榧湟訰OS(机器人操作系统)
    中Topic(话题)的形式通信,通信的内容即为Topic中的message(消息)。

    上述手势识别??榘ǘ质剖侗鹱幽?楹途蔡质剖侗鹱幽??,用户可根据需要选
    择适当的手势识别方法,其中,动态手势识别基于OpenNI(Open Natural Interaction)软
    件设计,用于实现动态手势识别;OpenNI为开发者提供一个多语言、跨平台的框架,并提供
    其自然交互的API接口。OpenNI API(Application Programming Interface,应用程序编程
    接口)便是一组编写自然交互应用的接口。OpenNI的主要目的是形成一个标准应用程序编程接
    口,以此来搭建视觉和音频传感器与视觉和音频感知中间件通信的桥梁。NITE是OpenNI的中
    间层,主要用来实现手势识别。NITE主要通过手势检测器来实现,这些检测器在NITE程序中
    以类的形式出现,用来实现特定手势的识别。本发明中的动态手势识别子??榛贜ITE设计
    实现,所使用手势检测器包括稳定检测器(SteadyDetector)、画圆检测器(CircleDetector)、
    推检测器(PushDetector)、移动检测器(SwipeDetector)。其中,稳定检测器用于识别当前
    活跃的手部是否处于稳定状态,画圆检测器用于识别当前活跃手部的画圆运动,推检测器用
    于识别当前活跃手的前推动作(即,手部垂直于身体前推),移动检测器用于识别当前活跃手
    的击打动作(即,手沿身体正面的平面运动)。

    如图9所示,上述动态手势识别子??榈木咛迳杓品绞轿?br />

    A、使用Xtion PRO LIVE摄像头9的Xtion SDK(android平台上的体感开发工具)中XML
    文档(如:Sample-tracking.xml)初始化环境;

    B、建立上下文环境创建图像生成器(ImageGenerator),并设定图像生成器的像素、帧
    率等;

    C、建立、注册场景管理器(SessionManager),并初始化场景管理器;

    D、建立、注册稳定检测器、画圆检测器、推检测器、移动检测器,并将各检测器中的监
    听器添加至场景管理器中;同时,设定稳定检测器、画圆检测器、推检测器、移动检测器的
    回调函数;

    通过上述方式设计的动态手势识别???,在进行手势识别时,如图10所示,首先通过Xtion
    PRO LIVE摄像头9采集动态手势的RGB图像信息;随后基于OpenNI软件对采集的图像进行处理,
    提取手势的运动轨迹,并通过稳定检测器、画圆检测器、推检测器、移动检测器识别手静止
    不动、画圆、推和移动的手势;随后稳定检测器、画圆检测器、推检测器、移动检测器将各
    自的回调函数中输出识别结果,并在机器人操作系统中以Message的形式将识别结果发送至运
    动控制???。运动控制??楦菔侗鸾峁?,结合动态手势识别??槟谠ざㄒ宓亩质朴牖?br />器人运动的映射关系,控制机器人完成相应的运动。上述动态识别子??槭褂梅段Ы瞎?,可
    在室内光线不好的情况下时使用。

    所述静态手势识别子??榛诓噬枷?,用于识别静态手势。通过静态手势识别子???,
    在进行手势识别时,如图11所示,首先通过Xtion PRO LIVE摄像头9采集人体的RGB图像信息,
    该图像信息通过机器人操作系统中Topic中的message发送至静态手势识别子???;随后,利
    用静态手势识别子??槟谠ご娴姆羯P秃虷OG特征检测出人脸部分,进而根据人体结构特征,
    检测出人的身体部分,并由身体部分中分割出人的手部区域,最终提取已分割手部区域的图
    像特征,进行手势的训练识别,并将识别结果发送运动控制???,根据识别结果,结合预存
    于的静态手势与机器人运动的映射关系,控制机器人完成相应的运动。上述静态手势识别子
    ??榭稍谑夷诨蚴彝夤庹蘸玫那榭鱿率褂?。

    实施例一:使用动态手势控制机器人运动

    用户朝向Xtion PRO LIVE摄像头9挥手,机器人识别到用户的挥手动作后,机器人原地
    踏步走,当用户手向上垂直移动时,机器人径直向前行走,当用户手向下垂直移动时,机器
    人径直后退,当用户手顺时针画圆,机器人顺时针转一圈后原地踏步走,当用户手向前推,
    机器人停止运动。

    实施例二:使用静态手势控制机器人运动

    静态手势识别??榭梢栽ざㄒ迨质浦掷嘤牖魅硕鞯挠成涔叵?,例如,对用户单手1-9
    数字手势做预定义,如表1所示:

    表1 静态手势预定义



    默认情况下,六足机器人以腿式“3+3”步态行走。用户做数字1的手势,六足机器人前
    进;用户做数字3的手势,六足机器人向左转弯;用户做数字4的手势,六足机器人向右转
    弯;用户做数字5的手势,六足机器人停止;用户做数字6的手势,六足机器人腿式行走切
    换为轮式行走;用户做数字2的手势,六足机器人以轮行方式后退;用户做数字7的手势,
    六足机器人轮行切换为腿式行走;用户做数字4的手势,六足机器人以腿式行走方式向右转
    弯;用户做数字5的手势,六足机器人停止;用户做数字8的手势,六足机器人抬起一条腿;
    用户做数字5的手势,六足机器人停止;用户做数字9的手势,六足机器人抬起两条腿;用
    户做数字5的手势,六足机器人停止。

       内容来自专利网重庆时时彩单双窍门 www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:一种基于XTION设备的腿轮复合机器人及其手势控制方法.pdf
    链接地址://www.4mum.com.cn/p-5838058.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 忠杰28辛运28 七乐彩走势图中奖查询 微信捕鱼修改器 急速赛车在线观看 竟彩足球比分直播 福建22选5 排列五走势图带连线预测 933彩票首页 广西快乐10分开奖号码分布图 河南十一选五开奖结果走势图表 红警2地图 福建22选5开奖结果查询 山西泳坛夺金走势图 北京时时彩赛车论坛 湖南快乐10分遗漏助手 吉林十一选五的走势图