• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩稳赢的计划: 一种基于激光视觉的角焊缝自动跟踪方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410173966.5

    申请日:

    2014.04.26

    公开号:

    CN103955927A

    公开日:

    2014.07.30

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 7/00申请日:20140426|||公开
    IPC分类号: G06T7/00 主分类号: G06T7/00
    申请人: 江南大学; 无锡信捷电气股份有限公司
    发明人: 白瑞林; 刘子腾; 吉峰; 李新
    地址: 214122 江苏省无锡市蠡湖大道1800号江南大学
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410173966.5

    授权公告号:

    ||||||

    法律状态公告日:

    2016.12.07|||2014.08.27|||2014.07.30

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    一种基于激光视觉的角焊缝自动跟踪方法,用于从角焊缝检测图像中提取特征点,属于机器视觉在线检测技术研究领域。从局部图像的灰度统计量入手,计算初始图像中每点灰度对比度以区分反光形成的干扰条纹与实际条纹,再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留干扰条纹。在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开,根据泰勒展开式确定光条中心点。自动确定条件成立的参数区间因此对不同反射率的角焊缝表面以及任意方向的光条均适用。用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点。该角焊缝特征点提取方法无论鲁棒性还是精确度都有很大提高。

    权利要求书

    权利要求书
    1.  一种基于激光视觉的角焊缝自动跟踪方法,其特征是从局部图像的灰度统计量人手,计算初始图像中每点灰度的对比度以区分反光造成的干扰条纹与实际的激光条条纹,再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留的干扰条纹;在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开,根据泰勒展开式确定光条中心点,对不同反射率的角焊缝表面以及任意方向的光条均适用;用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点;包含以下几个步骤:
    (1)找出初始图像中对比度强的点,构建二值图像;
    (2)对二值图像执行图像形态学操作,确定初始图像中的感兴趣区域;
    (3)在图像感兴趣区域中根据灰度在光条截面方向上的泰勒展开式确定光
    条中心点;
    (4)拟合分段光条中心线方程并确定两段直线的交点作为角焊缝特征点。

    2.  根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法,其特征是:所述步骤(1)中找出初始图像中对比度强的点,包含如下步骤:
    第一步、用大小为31*31的窗口计算初始图像中每点灰度的变异系数C·V=σlocalI(x)‾,]]>其中σlocal=Σi=1n(I(xi)-I(x)‾)2n]]>为窗口内灰度的标准差,为窗口内的灰度平均值;
    第二步、将各点对应的变异系数归一化,对灰度变异系数超过0.5的点标记图像位置,由此得到与初始图像尺寸相同的二值图像。

    3.  根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法,其特征是:所述步骤(2)中对二值图像执行图像形态学操作,选择10*10矩形结构元素对二值图像执行图像形态学闭运算,接着由重构做开运算,最后执行膨胀操作得到修正后的二值图像;二值图像中为1的点在初始图像中对应的位置构成感兴趣区域,此感兴趣区域只包含实际激光条纹。

    4.  根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法,其特征是:所述步骤(3)中在图像感兴趣区域中根据灰度在光条截面方向上的泰勒展开式确定光条中心点,包含如下步骤:
    第一步、离散化二维高斯函数及其在x和y方向上的一阶、二阶偏导数以及混合偏导数作为核函数构造卷积模板,将各核函数分别与初始图像感兴趣区域部分卷积,得到对应的与初始图像相同尺寸的5个矩阵;这5个矩阵中对应位置处的元素分别是感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数;
    第二步、由感兴趣区域中各点灰度在x和y方向上的二阶偏导数zxx,zyy和混合偏导数zxy构造各点对应的二阶Hessian矩阵H如下:
    H(x,y)=zxxzxyzxyzyy]]>
    求矩阵H的特征值和特征向量,其中绝对值最大的特征值所对应的特征向量(nx,ny)就是该点所在的光条截面方向;
    第三步、将感兴趣区域中各点灰度在光条截面方向(nx,ny)泰勒展开,得到 泰勒展开式如下:
    z(xi+tnx,yi+tny)=z(xi,yi)+tnxzx(xi,yi)+tnyzy(xi,yi)+12+2t2nxnyzxy(xi,yi)+t2ny2zyy(xi,yi)][t2nx2zxx(xi,yi)]]>
    将泰勒展开式对t求一阶导数并令其为0即得光条截面上的一阶导数过零点(xi+tinx,yi+tiny),其中
    ti=-zxnx+zynyzxxnx2+2zxynxny+zyyny2]]>
    将泰勒展开式对t求二阶导数得到点(xi,yi)在光条截面方向上的二阶导数如下:
    z(xi,yi)=nx2zxx(xi,yi)+2nxnyzxy(xi,yi)+ny2zyy(xi,yi)]]>
    第四步、选取(tinx,tiny)在区间内的点组成光条中心点的候选点集合N,在N中将各点的二阶导数z″除以各点灰度z得到修正后的二阶导数λ,其中z由二维高斯函数g(x,y)卷积原图像得到;取所有小于0的λ的中位值λmid作为上限,2λmid作为下限,λ在此范围内的点就是光条中心点。

    5.  根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法,其特征是:所述步骤(4)中拟合分段光条中心线方程并确定两段直线的交点作为角焊缝特征点,包含如下步骤:
    第一步、将得到的光条中心点按x或y方向的坐标排序,构成点列P;
    第二步、取点列P的中位点作为分界点c的初始位置,c将点列P分为两段分别拟合直线方程;拟合直线方程的方法为最小二乘法,定义准则函数为参与拟合的点与拟合直线距离的平方和,极小化准则函数得到拟合直线的参数,如下式:
    kb=Σi=1nxi2Σi=1nxiΣi=1nxin-1Σi=1nxiyiΣi=1nyi]]>
    为了使直线方程的参数尽可能精确,每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程,直到所有参与拟合的点都在拟合直线一定距离范围(例如5个像素)内;
    第三步、得到两条直线方程之后求其交点,在点列P中寻找与其距离最近的点作为新的分界点c,再次拟合两段直线方程,重复以上过程直到分界点c不再改变为止,如图3所示;
    第四步、计算最终拟合得到的两段直线的交点,该点就是角焊缝特征点,提取该点图像坐标。

    说明书

    说明书一种基于激光视觉的角焊缝自动跟踪方法
    技术领域
    本发明涉及基于激光视觉的工业图像特征点自动提取领域,具体是指一种通过工业相机和激光结构光拍摄现场焊缝图片经图像处理自动跟踪角焊缝的方法,属于机器视觉在线检测技术研究领域。
    背景技术
    在工业现场的焊接过程中焊缝的自动检测与跟踪是实现焊接自动化的关键一步。相比于探针法、超声波探测法等方法,基于机器视觉的焊缝跟踪方法具有非接触、精度高、结构简单等优点。其中由相机和线激光器组成的视觉传感器的应用覆盖面很广泛。
    线激光器发射的激光条在图像中表现为一条有宽度的直线,为了从中提取特征点的坐标需要细化光条也就是要提取光条的中心点。激光条在它的截面方向上的光强变化规律近似于高斯曲线,因此光条的中心点位置即为高斯曲线的顶点。根据这一特点国内外的学者们提出了许多提取光条中心点的方法,例如极值法、自适应阈值法、重心法、高斯拟合法、方向模板法等。提取出光条中心点之后要将这些点拟合成光条中心线,拟合直线最常用的方法是最小二乘法。为了拟合分段的光条中心线并提高参数的精度,有基于线性度和多段拆分的拟合方法以及基于卡尔曼滤波的跟踪直线方法。
    在焊接现场中存在着很多对图像产生干扰的因素,例如焊接过程中产生的弧光和飞溅。同时如果形成角焊缝的工件表面十分光滑那么用于检测的激光条会在角焊缝表面发生较大程度的反光?;谝陨显?,直接提取实际图像中光条的中心点会得到许多错误的点。而且由于激光条在角焊缝表面会发生形变成为折线且表面各处反射率不尽相同,因此提取光条中心点的方法对光条方向和表面材质要具有鲁棒性。
    发明内容
    本发明的目的是消除由激光条在角焊缝表面互相反射形成的干扰条纹,设计一种能够精确提取任意方向光条的中心点的方法,对提取的光条中心点拟合分段直线方程并确定角焊缝特征点的坐标,在线跟踪角焊缝的位置。
    为达到此目的,本发明的技术方案如下:通过计算图像局部对比度区分出实际的光条条纹和反射造成的干扰条纹;由Hessian矩阵确定光条在图像中的截面方向,根据图像中各点的灰度在光条截面方向上的泰勒展开式确定光条中心点;对离散的光条中心点用迭代拟合的方法辨识出光条在角焊缝表面的中心线方程并确定角焊缝特征点。
    第一步:对初始图像每一点在一定的邻域范围内计算灰度变异系数C·V,其中σlocal为邻域内的灰度标准差,为邻域内的灰度平均值。保留初始图像中灰度变异系数较大的点,根据这些点在初始图像中的位置构建 与初始图像相同尺寸的二值图像。
    第二步:对上一步得到的二值图像执行图像形态学操作,最后图像中值为1的点组成感兴趣区域。所谓感兴趣区域就是初始图像中需要处理的部分区域。
    第三步:离散化二维高斯函数以及其在x和y方向上的一阶、二阶偏导数和混合偏导数作为核函数卷积初始图像中感兴趣区域部分,得到感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数。由各点灰度在x和y方向上的二阶偏导数zxx,zyy和混合偏导数zxy构造各点对应的二阶Hessian矩阵H如下:
    H(x,y)=zxxzxyzxyzyy]]>
    求矩阵H的特征值和特征向量,其中绝对值最大的特征值所对应的特征向量就是光条在初始图像中的截面方向。
    第四步:将各点灰度在光条截面方向泰勒展开,由泰勒展开式求得光条截面上的一阶导数过零点,如果此过零点在当前像素区域内则说明该像素点就是光条截面方向上一阶导数为0的点。由各点灰度的泰勒展开式还可以计算各点在光条截面方向上的二阶导数,并根据不同反射率进行修正。初始图像感兴趣区域中符合在光条截面方向上一阶导数为0且二阶导数在某个区间这两个条件的点就是光条中心点。
    第五步:将上一步确定的光条中心点按x坐标或者y坐标排序,在排序后的点列中选择初始分界点将点列分成两段并分别用最小二乘法拟合直线方程。求两条直线的交点作为新的分界点再次拟合两段直线方程,将此过程不断迭代直到分界点在点列中的位置不再改变。用最小二乘法拟合直线方程时为了使直线方程的参数尽可能精确,每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程,直到所有参与拟合的点都在拟合直线一定距离的范围内。
    第六步:计算最终拟合得到的两段直线的交点,该点就是角焊缝特征点,提取该点图像坐标。
    本发明的有益效果:提供了一种从受激光条反光干扰的角焊缝检测图像中精确、鲁棒地提取角焊缝特征点的方法,用于在线跟踪角焊缝的位置。从局部图像的灰度统计量入手,计算初始图像中每点灰度的对比度以区分反光造成的干扰条纹与实际的激光条条纹,再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留的干扰条纹;在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开,根据泰勒展开式确定光条中心点,自动确定条件成立的参数区间因此对不同反射率的角焊缝表面以及任意方向的光条均适用;用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点。该角焊缝特征点提取方法无论鲁棒性还是精确度都有很大提高。
    附图说明
    图1是本发明整体流程。
    图2是拟合最佳直线流程。
    图3是拟合分段直线流程。
    具体实施方式
    为使本发明的目的、技术方案和优点更加清楚明白,下面结合具体实施例,并参照附图,对本发明作进一步详细说明。
    本发明的目的是从受激光条反光干扰的焊缝检测图像中自动提取角焊缝特征点,主要流程分为三个部分:去除初始图像中的干扰条纹并确定图像感兴趣区域、光条中心点提取、光条各段中心线拟合与角焊缝特征点提取,如图1所不。
    进一步的,具体步骤为:
    (1)去除初始图像中的干扰条纹并确定图像感兴趣区域
    (1.1)选择用于计算图像局部纹理特征的窗口,对于尺寸为480*640的初始图像取大小为31*31的矩形窗口。分别以初始图像中各点为窗口中心计算局部灰度标准差σlocal:
    σlocal=Σi=1n(I(xi)-I(x)‾)2n]]>
    其中I(xi)为窗口内某点的灰度,为窗口内所有灰度的平均值,n为窗口包含的像素点数目。由于初始图像各局部灰度范围有差别,为了消除这一影响将局部灰度标准差σlocal除以局部灰度平均值得到灰度变异系数C·V作为衡量灰度对比度的参量,变异系数如下:
    C·V=σlocalI(x)‾]]>
    (1.2)将初始图像中各点所对应的灰度变异系数归一化,对灰度变异系数超过0.5的点标记图像位置,由此得到与初始图像尺寸相同的二值图像。
    (1.3)选择10*10矩形结构元素对二值图像执行图像形态学闭运算,接着由重构做开运算,最后执行膨胀操作得到修正后的二值图像。二值图像中为1的点在初始图像中对应的位置构成感兴趣区域。此感兴趣区域只包含实际激光条纹。
    (2)提取光条中心点
    光条截面的灰度分布符合高斯曲线,数学模型如下式所示:
    f(x)=Ae-x22σl2]]>
    其中A为中心点的灰度,σl为标准差。中心点f(0)是光条截面上的灰度极大值点同时也是一阶导数过零点和二阶导数极小值点。实际中比较方便的做法是将二阶导数绝对值较大的凸点作为光条中心点。
    (2.1)离散化二维高斯函数以及其在x和y方向上的一阶、二阶偏导数以及混合偏导数作为核函数构造卷积模板。在此实施例中高斯函数的尺度因子σ取为5,卷积模板大小为31*31。将各核函数分别与初始图像感兴趣区域部分卷积, 得到对应的5个矩阵。这5个矩阵中对应位置处的元素分别是感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数。
    各核函数如下:
    g(x,y)=12πσ2e-x2+y22σ2,]]>
    ∂g∂x=-x2πσ4e-x2+y22σ2,]]>
    ∂g∂y=-y2πσ4e-x2+y22σ2,]]>
    ∂2g∂2x=-12πσ4(1-x2σ2)e-x2+y22σ2,]]>
    ∂2g∂2y=-12πσ4(1-y2σ2)e-x2+y22σ2,]]>
    ∂2g∂x∂y=-xy2πσ6e-x2+y22σ2.]]>
    (2.2)由感兴趣区域中各点灰度在x和y方向上的二阶偏导数zxx,zyy和混合偏导数zxy构造各点对应的二阶Hessian矩阵H如下:
    H(x,y)=zxxzxyzxyzyy]]>
    求矩阵H的特征值和特征向量,其中绝对值最大的特征值所对应的特征向量(nx,ny)就是该点所在的光条截面方向。
    (2.3)将感兴趣区域中各点灰度在光条截面方向(nx,ny)泰勒展开,得到泰勒展开式如下:
    z(xi+tnx,yi+tny)=z(xi,yi)+tnxzx(xi,yi)+tnyzy(xi,yi)+12+2t2nxnyzxy(xi,yi)+t2ny2zyy(xi,yi)][t2nx2zxx(xi,yi)]]>
    将泰勒展开式对t求一阶导数并令其为0即得光条截面上的一阶导数过零点(xi+tinx,yi+tiny),其中
    ti=-zxnx+zynyzxxnx2+2zxynxny+zyyny2]]>
    将泰勒展开式对t求二阶导数得到点(xi,yi)在光条截面方向上的二阶导数如下:
    z(xi,yi)=nx2zxx(xi,yi)+2nxnyzxy(xi,yi)+ny2zyy(xi,yi).]]>
    (2.4)选取(tinx,tiny)在区间内的点组成光条中心点的候选点集合N。在N中将各点的二阶导数z″除以各点灰度z得到修正后的二阶导数λ,其中z由高斯函数g(x,y)卷积原图像得到。取所有小于0的λ的中位值λmid作为上限, 2λmid作为下限,λ在此范围内的点就是光条中心点。
    (3)光条各段中心线拟合与角焊缝特征点提取
    (3.1)将上一步得到的光条中心点按x或y方向的坐标排序,构成点列P。
    (3.2)取点列P的中位点作为分界点c的初始位置,c将点列P分为两段分别拟合直线方程。拟合直线方程的方法为最小二乘法,定义准则函数为参与拟合的点与拟合直线距离的平方和,极小化准则函数得到拟合直线的参数,如下式:
    kb=Σi=1nxi2Σi=1nxiΣi=1nxin-1Σi=1nxiyiΣi=1nyi]]>
    其中k和b分别为拟合直线方程的斜率和截距,(xi,yi)为拟合点的坐标,n为拟合点的数目。为了使直线方程的参数尽可能精确,每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程,直到所有参与拟合的点都在拟合直线一定距离范围(例如5个像素)内,如图2所示。
    (3.3)得到两条直线方程之后求其交点,在点列P中寻找与其距离最近的点作为新的分界点c,再次拟合两段直线方程。重复以上过程直到分界点c不再改变为止,如图3所示。
    (3.4)计算最终拟合得到的两段直线的交点,该点就是角焊缝特征点,提取该点图像坐标。

    关 键 词:
    一种 基于 激光 视觉 焊缝 自动 跟踪 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种基于激光视觉的角焊缝自动跟踪方法.pdf
    链接地址://www.4mum.com.cn/p-6143053.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03