• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩888: 基于增强虚拟的场景复现检测方法.pdf

    关 键 词:
    基于 增强 虚拟 场景 复现 检测 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201510100413.1

    申请日:

    2015.03.06

    公开号:

    CN104715479A

    公开日:

    2015.06.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/00申请日:20150306|||公开
    IPC分类号: G06T7/00; G06T17/00 主分类号: G06T7/00
    申请人: 上海交通大学
    发明人: 陈卫东; 王贺升; 徐丽飞
    地址: 200240上海市闵行区东川路800号
    优先权:
    专利代理机构: 上海汉声知识产权代理有限公司31236 代理人: 郭国中
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510100413.1

    授权公告号:

    |||

    法律状态公告日:

    2015.07.15|||2015.06.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明提供了一种基于增强虚拟的场景复现检测方法,包括以下步骤:三维虚拟场景模型的生成;三维虚拟场景模型数据库的建立;对安装在机械臂上的相机进行内参矩阵标定;真实场景图像帧数据和机械臂位置数据的采集与保存;自动加载真实场景图像帧数据并进行图像处理;由特征点的像素坐标估计其在真实场景中的世界坐标值;真实场景特征点与三维虚拟场景模型中对应特征点的配准;实现虚实结合的增强虚拟显示效果。本发明充分发挥混合现实的三维显示优势,具有检测结果直观,三维立体感强,全角度立体展示,与真实场景逼真的优势取代传统的依靠查看图片序列或视频的繁琐观测方式。

    权利要求书

    权利要求书
    1.  一种基于增强虚拟的场景复现检测方法,其特征在于,包括以下步骤:
    步骤一,三维虚拟场景模型的生成,主要是利用开源三维图形渲染引擎搭建而成;
    步骤二,三维虚拟场景模型数据库的建立,三维虚拟场景模型数据库主要包括场景特征点的世界坐标值信息及其相关属性信息;
    步骤三,对安装在机械臂上的相机进行内参矩阵标定,同时利用传统的手眼标定方法标定相机坐标系与机械臂末端坐标系之间的齐次变换矩阵;
    步骤四,真实场景图像帧数据和机械臂位置数据的采集与保存,通过控制机械臂的运动来移动相机完成真实场景全方位的图像帧数据及其对应的机械臂位置数据的采集与保存,同时保存机械臂末端坐标系相对于世界坐标系之间的齐次变换矩阵,图像帧数据与对应的机械臂位置数据用相同的时间标记一一对应;
    步骤五,自动加载真实场景图像帧数据并进行图像处理,获取真实场景特征点的像素坐标值并提取特征目标图像;
    步骤六,结合机械臂的位置信息和已知的三维虚拟场景模型信息,由特征点的像素坐标估计其在真实场景中的世界坐标值;
    步骤七,真实场景特征点与三维虚拟场景模型中对应特征点的配准;
    步骤八,配准成功后,把提取出的真实场景特征目标图像叠加在虚拟的三维场景模型对应的位置,实现虚实结合的增强虚拟显示效果。

    2.  根据权利要求1所述的基于增强虚拟的场景复现检测方法,其特征在于,所述步骤一的三维场景模型生成包括构建三维场景,将三维模型导入场景。

    3.  根据权利要求1所述的基于增强虚拟的场景复现检测方法,其特征在于,所述步骤二依据虚拟模型计算场景特征点的世界三维坐标值并存入MYSQL数据库中。

    4.  根据权利要求1所述的基于增强虚拟的场景复现检测方法,其特征在于,所述步骤七是把步骤六计算的真实场景特征点的世界坐标值与步骤二所建立的三维虚拟场景模型数据库中的场景特征点的世界坐标值通过匹配条件相匹配,满足匹配条件即可实现虚实目标图像的成功配准。

    说明书

    说明书基于增强虚拟的场景复现检测方法
    技术领域
    本发明涉及一种检测方法,具体地,涉及一种基于增强虚拟的场景复现检测方法。
    背景技术
    混合现实是现实与虚拟的结合,分两种情况,一种情况是扩展现实(增强现实),是由真实的环境加上虚拟的物体功能组成;另一种情况是虚拟的环境加上某些真实的物体共同构成扩展虚拟(增强虚拟)?;旌舷质导际跏切槟庀质导际醯慕徊椒⒄?,该技术通过在虚拟环境中引入现实场景信息,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。这种介于现实与虚拟之间的混合现实技术成为了展示、体验、培训、医疗、古迹复原、工业维修等领域的前沿实用技术。
    在一些不适合人工作业的极端工作环境中,常通过在极端环境中固定安装摄像机或将摄像机固定安装在机器人的机械臂上,利用遥操作技术来检测监控极端环境内部的现场信息,为后续的维护操作提供重要信息。两者均是依靠人工查看相机实时捕获的或在线保存的现场图片或视频来判断场景现场信息,由于相机视野有限,且图片是二维信息,依靠查看图片序列或视频的观测方式缺乏全局信息和三维信息,检测繁琐不直观。鉴于上述依靠查看图片序列或视频的观测方式缺乏全局和三维信息且繁琐不直观,本发明结合混合现实的三维显示优势,提出一种基于增强虚拟的虚实结合场景复现检测方法,具有检测效果直观、三维立体感强、全角度立体展示与真实场景逼真的效果。
    发明内容
    针对现有技术中的缺陷,本发明的目的是提供一种基于增强虚拟的场景复现检测方法,其通过鲁棒的图像处理算法对真实场景图片序列进行处理提取出特征目标图像,然后结合机器人机械臂的位置信息和已知的三维虚拟场景模型信息,进行虚实目标图像特征点定位配准,最终将特征目标图像叠加在虚拟的三维场景模型相应位置,实现虚实结合的丰富显示效果,具有三维立体感强、全角度立体展示、与真实场景逼真、观测直 观方便等特点。
    根据本发明的一个方面,提供一种基于增强虚拟的场景复现检测方法,其特征在于,包括以下步骤:
    步骤一,三维虚拟场景模型的生成,主要是利用开源三维图形渲染引擎搭建而成;
    步骤二,三维虚拟场景模型数据库的建立,三维虚拟场景模型数据库主要包括场景特征点的世界坐标值信息及其相关属性信息;
    步骤三,对安装在机械臂上的相机进行内参矩阵标定,同时利用传统的手眼标定方法标定相机坐标系与机械臂末端坐标系之间的齐次变换矩阵;
    步骤四,真实场景图像帧数据和机械臂位置数据的采集与保存,通过控制机械臂的运动来移动相机完成真实场景全方位的图像帧数据及其对应的机械臂位置数据的采集与保存,同时保存机械臂末端坐标系相对于世界坐标系之间的齐次变换矩阵,图像帧数据与对应的机械臂位置数据用相同的时间标记一一对应;
    步骤五,自动加载真实场景图像帧数据并进行图像处理,获取真实场景特征点的像素坐标值并提取特征目标图像;
    步骤六,结合机械臂的位置信息和已知的三维虚拟场景模型信息,由特征点的像素坐标估计其在真实场景中的世界坐标值;
    步骤七,真实场景特征点与三维虚拟场景模型中对应特征点的配准;
    步骤八,配准成功后,把提取出的真实场景特征目标图像叠加在虚拟的三维场景模型对应的位置,实现虚实结合的增强虚拟显示效果。
    优选地,所述步骤一的三维场景模型生成包括构建三维场景,将三维模型导入场景。
    优选地,所述步骤二依据虚拟模型计算场景特征点的世界三维坐标值并存入MYSQL数据库中。
    优选地,所述步骤七是把步骤六计算的真实场景特征点的世界坐标值与步骤二所建立的三维虚拟场景模型数据库中的场景特征点的世界坐标值通过匹配条件相匹配,满足匹配条件即可实现虚实目标图像的成功配准。
    与现有技术相比,本发明具有如下的有益效果:本发明通过鲁棒的图像处理算法对真实场景图片序列进行处理提取出特征目标图像,然后结合机器人机械臂的位置信息和已知的三维虚拟场景模型信息,进行虚实目标图像特征点定位配准,最终将特征目标图像叠加在虚拟的三维场景模型相应位置,实现虚实结合的丰富显示效果,具有三维 立体感强,全角度立体展示,与真实场景逼真,观测直观方便等特点。
    附图说明
    通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
    图1为本发明的整体流程示意图。
    图2为本发明的图像处理具体实现步骤流程图。
    具体实施方式
    下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的?;し段?。
    本发明是一种将真实场景图像经过鲁棒的图像处理算法后提取特征目标图像,然后结合机器人机械臂位置信息和已知的三维虚拟场景模型信息,进行虚实目标图像特征点定位配准,然后将特征目标图像叠加在虚拟的三维场景模型相应位置实现虚实结合,展示效果立体逼真的场景复现检测方法。
    如图1所示,本发明基于增强虚拟的场景复现检测方法包括以下步骤:
    步骤一:三维虚拟场景模型的生成,主要是利用OSG(Open Scene Graph,开源三维图形)渲染引擎搭建而成。三维场景模型生成包括构建三维场景,将三维模型导入场景。首先用Qt库生成一个图形用户界面(GUI),然后通过多重继承的方法构建场景类,然后在场景类中导入模型,在将模型通过对应的OSG语句读入场景中。
    步骤二:三维虚拟场景模型数据库的建立,三维虚拟场景模型数据库主要包括场景特征点的世界坐标值信息及其相关属性信息,具体是依据虚拟模型计算场景特征点的世界三维坐标值并存入MYSQL数据库中,同时需要根据具体场景模型特征存入相关属性信息,比如场景模型不同区域特征点依据三维坐标值不同而具有唯一标示符ID等,用于虚实目标图像特征点的配准。
    步骤三:利用MATLAB标定工具箱对安装在机械臂上的相机进行内参矩阵标定,同时利用传统的手眼标定方法标定相机坐标系与机械臂末端坐标系之间的齐次变换矩阵。
    步骤四:真实场景图像帧数据和机械臂位置数据的采集与保存,通过控制机械臂的 运动来移动相机完成真实场景全方位的图像帧数据及其对应的机械臂位置数据的采集与保存,同时保存机械臂末端坐标系相对于世界坐标系之间的齐次变换矩阵,图像帧数据与对应的机械臂位置数据用相同的时间标记一一对应。
    步骤五:自动加载真实场景图像帧数据并进行图像处理,获取真实场景特征点的像素坐标值并提取特征目标图像。场景特征点检测流程参考图2,首先对原始的场景图像帧进行预处理,然后进行边缘检测,提取边缘特征,边缘直线拟合,然后利用Harris角点检测算法对真实场景特征点进行检测与提取,从而获取真实场景特征点在图像中的投影点的像素坐标值。图2中的图像帧预处理指对原始场景图像帧进行高斯平滑去噪及灰度变换。图2中的真实场景特征点检测具体实现如下:使用canny算法进行边缘检测,hough变换提取边缘直线,然后进行场景边缘特征点提取获得场景特征点图像,然后将场景特征点图像与边缘检测得到的边缘二值图像相与获得离散点后利用最小二乘拟合进行边缘直线拟合,同时对类直线噪声进行剔除,提取边缘特征,边缘直线拟合,最后利用Harris角点检测提取真实场景特征点,得到其像素坐标值。真实场景特征目标图像的提?。豪眉觳獾降恼媸党【疤卣鞯闾崛√卣髂勘晖枷?,如果图像是在非垂直观测的角度拍摄而得,还需要进行透视变换得到校正后的标准正视图。
    步骤六:结合机械臂的位置信息和已知的三维虚拟场景模型信息,由真实场景特征点的像素坐标估计其在真实场景中的世界坐标值。具体实施步骤为:以真实场景特征点所在平面为参考平面,以任意一个特征点为原点建立场景特征平面局部坐标系,通过计算公式(1)来计算真实场场景特征点的世界坐标值:
    Pw=Tew·Tce·Tbc·Pb………………………………………………………(1)
    其中Pw,Pb分别表示场景特征点在世界坐标系和真实场场景特征平面局部坐标系下的齐次坐标值,Tew是机械臂末端坐标系相对世界坐标系的齐次变换矩阵,在机械臂扫描的过程中是个随着时间变化的已知量,已在步骤四中保存。Tce表示机械臂末端坐标系相对相机坐标系的齐次变换矩阵,是个常量在步骤三中已标定,Tbc表示相机坐标系相对场景特征平面局部坐标系的齐次变换矩阵,可通过典型的PnP问题解决算法计算得到。
    步骤七:真实场景特征点与三维虚拟场景模型中对应特征点的配准,即进行虚实目标图像特征点定位配准。把步骤六计算的真实场景特征点的世界坐标值与步骤二所建立的三维虚拟场景模型数据库中的场景特征点的世界坐标值通过匹配条件相匹配,满足匹配条件即可实现虚实目标图像的成功配准。具体过程是通过MYSQL查询语句在三维虚拟场景模型数据库中查询满足匹配条件的与计算所得的场景特征点世界坐标XYZ相匹配的 点,查询出特征点的专属ID,从而实现配准。
    步骤八:配准成功后,把提取出的真实场景特征目标图像叠加在虚拟的三维场景模型对应的位置,实现虚实结合的增强虚拟显示效果,即实现虚实结合的场景,为真实场景中的现场信息提供方便直观、立体感逼真的检测效果,即更加方便直观的检测真实场景中的现场信息。
    相比于传统的依靠查看大量的真实场景图片序列或视频这种繁琐、不直观、缺乏全局位置信息等缺点的检测方式,本发明提出一种基于增强虚拟的虚实结合场景复现检测方法,该方法充分发挥混合现实具有的丰富的三维显示优势,具有检测效果直观,三维立体感强,全角度立体展示,与真实场景逼真等优点。
    以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

    关于本文
    本文标题:基于增强虚拟的场景复现检测方法.pdf
    链接地址://www.4mum.com.cn/p-5890567.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 3的组六36注预测方法 手机棋牌游戏大厅 北京十一选五开奖结果彩票控 广西十一选五开奖预测 3d组3复式中奖多钱 平安银行股票 最新手机棋牌游戏平台 博远棋牌平台下载 国际股票指数有哪些 3d历史138期开奖公告 彩票今天3d号码预测专家 2012年七乐彩走势图 甘肃11选5任3最热号码 广西11选5现场 981棋牌游戏下载 上海晓游棋牌官网下载