• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 22
    • 下载费用:20 金币  

    买重庆时时彩秘籍: 一种无特征提取的紧致SFM三维重建方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410139234.4

    申请日:

    2014.04.08

    公开号:

    CN103914874A

    公开日:

    2014.07.09

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06T 17/00申请日:20140408|||公开
    IPC分类号: G06T17/00; G06T7/00 主分类号: G06T17/00
    申请人: 中山大学
    发明人: 陈佩
    地址: 510275 广东省广州市新港西路135号中山大学
    优先权:
    专利代理机构: 广州粤高专利商标代理有限公司 44102 代理人: 林丽明
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410139234.4

    授权公告号:

    ||||||

    法律状态公告日:

    2017.02.01|||2014.08.06|||2014.07.09

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种无特征提取的紧致SFM三维重建方法,包括:输入关于某场景的n幅图像,n≥2;建立与某个相机坐标系相一致的世界坐标系;以三维场景的深度和相机投影矩阵作为变量,构造类似光流估计的目标函数,采用由粗到细的金字塔方法,设计迭代算法对目标函数进行优化,输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵;根据表示场景三维信息的深度,实现紧致的射影、相似或者欧几里德重建。本发明能够一步完成紧致SFM三维重建。由于通过一步优化实现紧致三维信息的估计,以目标函数值作为指标,能够得到最优解,至少是局部最优解,比现有方法有很大改进,已初步得到实验验证。

    权利要求书

    权利要求书
    1.  一种无特征提取的紧致SFM三维重建方法,其特征在于,包括以下步骤:
    S1.输入关于某场景的n幅图像,n≥2;
    S2.建立与某个相机坐标系相一致的世界坐标系,设世界坐标系与第一相机的坐标系相一致,即世界坐标系的原点、x轴和y轴与第一相机的相机中心、第一相机成像平面的x轴和y轴重合,其z轴垂直指向第一相机的成像平面;
    S3.以三维场景的深度和相机投影矩阵作为变量,所述三维场景的深度是指第1幅图像像素点对应的三维空间点具有的深度q;所述相机投影矩阵是指其它(n-1)幅图像的3×4相机投影矩阵Pi,2≤i≤n;
    S4.构造类似光流估计的目标函数,所述目标函数是连续域上的变分目标函数或其离散形式的目标函数;
    S5.采用由粗到细的金字塔方法,在连续域或者离散域上设计迭代算法对目标函数进行优化,输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵;
    S6.根据表示场景三维信息的深度,实现紧致的射影、相似或者欧几里德重建。

    2.  根据权利要求1所述的无特征提取的紧致SFM三维重建方法,其特征在于,在实现射影三维重建中,参数化具体为:在建立世界坐标系的同时,其第一相机的相机投影矩阵为[I3  0]∈R3,4,其中I3是一个3×3的单位阵,0是一个3×1的零向量;其它相机投影矩阵Pi∈R3,4,2≤i≤n,作为待估计的未知参数;场景的三维结构由定义在第一副图像上的三维场景的深度决定:假设与第一幅图像像素(x,y)相对应的三维空间点的三维场景的深度为qx,y,则该三维点的三维坐标为
    (qx,y×x,qx,y×y,qx,y)   (1)
    在射影三维重建中,相机投影矩阵Pi和三维场景的深度qx,y作为待估计的未定参数,为了表达式的简练,在不造成误解的情况下,省略下标x,y。

    3.  根据权利要求2所述的无特征提取的紧致SFM三维重建方法,其特征在于,实现连续域上射影三维重建的具体实现过程为:
    构造的连续域上的目标函数具体为:
    f(P2,...,Pn,q)=fdata+fsmooth_uv+fsmooth_depth   (2)
    其中
    fdata=∫∫dxdyρ(Σi=2nΣI=C1Ck((Ix,y1-Iui,vii)2+β(▿Ix,y1-▿Iui,vii)2))---(3)]]>
    fsmooth_uv=α∫∫dxdyρ(Σi=2n(|▿(ui-x)|2+|▿(vi-y)|2))---(4)]]>
    fsmooth_depht=τ1∫∫dxdyρ(|▿q|2+τ2|Δq|2)---(5)]]>
    对上述目标函数的说明如下:(a)为梯度算子,为拉普拉斯算子;(b)目标函数分为三部分,数据项fdata,偏移平滑项fsmooth_uv和深度平滑项fsmooth_depth,其中α、β、τ1和τ2是非负权重;(c)图像有k个色彩分量C1,...,Ck,代表第一幅图像在位置(x,y)的色彩I分量值,相应地,为第i幅图像在位置(ui,vi)的色彩I分量值;(d)鲁棒函数ρ的引入是为了克服深度发生剧变带来的影响,鲁棒函数ρ为Charbonnier函数其中∈是一个足够小的的正数,ε<10-6;或者为Lorentzian函数σ为某个常数;当不引入鲁棒函数,则ρ(x)=x;(e)ui和vi是定义在图像域上、以相机投影矩阵Pi和深度q为参数的函数:和代表与第一幅图像像素(x,y)相对应的三维点在第i幅图像的成像位置
    ux,yi=Pi,1[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]Tvx,yi=Pi,2[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]T,]]>
    其中Pi,j为第i个相机投影矩阵Pi的第j个行向量;为了表达式的简练,在不造成误解的情况下,在和中省略下标x,y;
    在连续域上设计的优化目标函数(2)的迭代优化算法具体为:因为三维场景的深度是定义在第一幅图像上的连续函数,在极值点必须满足欧拉-拉格朗日 方程;同时,在极值点对相机投影矩阵参数的偏导数为0;在图像的离散格点上,联合欧拉-拉格朗日方程和对相机投影矩阵参数偏导数为0的两类方程,并采用增量方式表示形式,能够把求解相机投影矩阵和三维场景深度增量的迭代过程转化为求解如下线性方程组
    Hδθ+b=0   (6)
    其中向量θ由相机投影矩阵Pi2≤i≤n和三维场景的深度q按次序构造而成;这样,每次迭代归结为求解
    δθ=-H-1b   (7),
    从而确定相应的增量δPi和δq;根据所求解的增量更新参数Pi和q,Pi←δPi+Pi,q←δq+q,直到收敛;
    即算法1的具体过程为:
    输入:n幅图像,初始化三维场景的深度q和相机投影矩阵Pi,2≤i≤n;
    输出:相机投影矩阵Pi( 2≤i≤n)、三维场景的深度q和场景的三维表示;

    1、  迭代
    1)、由欧拉-拉格朗日方程和目标函数对相机投影矩阵参数的偏导数为0确定式子(7)中的H和b;
    2)、由式子(7)计算增量δθ,并确定相应的增量δPi和δq;
    3)、更新参数Pi,2≤i≤n和q:Pi←δPi+Pi,q←δq+q;
    直到收敛

    2、  根据收敛后的三维场景的深度q,由式子(1)计算场景的三维表示。

    4.  根据权利要求3所述的无特征提取的紧致SFM三维重建方法,其特征在于,目标函数(2)中的数据项和偏移平滑项能够采用其它类似的变化形式:
    fdata=∫∫dxdyρ(Σi=1nΣI=C1Ck((I‾x,y1-Iui,vii)2+β(▿I‾x,y-▿Iui,vii)2))---(8)]]>
    fsmooth_uv=α∫∫dxdyρ(Σi=2n(|▿(ui-ui-1)|2+|▿(vi-vi-1)|2))---(9)]]>
    其中I‾x,y=1nΣi=1nIui,vii,]]>Iu1,v11=Ix,y1,]]>▿I‾x,y=1nΣi=1n▿Iui,vii]]>▿Iu1,v11=▿Ix,y1.]]>
    鲁棒函数的引入还能够以其它变化形式出现,式子(3)的数据项的另外一种变化形式为:
    fdata=∫∫dxdy{ρ(Σi=2nΣI=C1Ck((Ix,y1-Iui,vii)2+βρ(Σi=2nΣI=C1Ck(▿Ix,y1-▿Iui,vii)2)}---(10).]]>

    5.  根据权利要求2所述的无特征提取的紧致SFM三维重建方法,其特征在于,构造离散形式的目标函数具体为:
    f(P2,...,Pn,q)=fdata+fsmooth_uv+fsmooth_depth   (11)
    其中
    fdata=Σx,yρ(Σi=2nΣI=C1Ck((Ix,y1-Iui,vii)2+β(▿Ix,y1-▿Iui,vii)2))---(12)]]>
    fsmooth_uv=αΣx,yρ(Σi=2n(|▿(ui-x)|2+|▿(vi-y)|2))---(13)]]>
    fsmooth_depht=τ1Σx,yρ(|▿q|2+τ2|Δq|2)---(14)]]>
    离散目标函数(11)及其变化形式的迭代优化算法具体为:离散形式的目标函数(11)在本质上是一个非线性最小二乘问题,能够采用常规的Levenberg-Marquadt算法或高斯-牛顿算法,每次迭代过程归结为求解一个线性方程组(15):
    δθ=-(H+μI)-1b   (15),
    其中H是海森矩阵或者高斯-牛顿海森矩阵,b是梯度向量,μ是非负数,取决于采用Levenberg-Marquadt算法或高斯-牛顿算法;由式子(15)计算得到的δθ确定相应的增量δPi和δq;根据增量更新参数Pi和q,Pi←δPi+Pi,q←δq+q,直到收敛;
    算法2具体实现过程:
    输入:n幅图像,以及相机投影矩阵Pi和三维场景的深度q的初始化,2≤i≤n;输出:相机投影矩阵Pi( 2≤i≤n)、三维场景的深度q和场景的三维表示;

    1、  迭代
    1)、计算式子(15)中的高斯-牛顿海森矩阵H和梯度向量b;
    2)、由式子(15)计算增量δθ,并分别确定相应的增量δPi和δq;
    3)、更新参数Pi和q:Pi←δPi+Pi,q←δq+q,2≤i≤n;
    直到收敛;

    2、  根据收敛后的三维场景的深度q,由式子(1)计算场景的三维表示。

    6.  根据权利要求1所述的无特征提取的紧致SFM三维重建方法,其特征 在于,由粗到细的金字塔方法步骤具体为:计算图像的n层金字塔表示;在最粗图像层,初始化n-1个相机投影矩阵为Pi=[I3  0],2≤i≤n,所有点的三维场景的深度初始化为1;由粗到细依次估计相机投影矩阵和三维场景的深度,并且对相机投影矩阵和三维场景的深度分别修正和插值,以此作为下一精细图像层迭代过程的初始值;
    关于不同精度层之间三维场景的深度的插值,采用双线性插值或双三次插值方法实现;
    关于不同精度层之间相机投影矩阵的修正,设相邻两级精度的图像在x和y方向的像素比为s1和s2,s1,s2<1,在较低精度图像层估计得到某个相机的相机投影矩阵为P(k+1),其中上标(k+1)代表图像金字塔结构的第k+1层,那么对应第k层图像的相机投影矩阵为
    P(k)=s1000s20001P(k+1)1/s100001/s20000100001---(16)]]>
    由粗到细金字塔方法的具体迭代算法如下:
    即算法3的具体过程为:
    输入:n幅图像;
    输出:相机投影矩阵Pi( 2≤i≤n)、三维场景的深度q和场景的三维表示;

    1、  计算图像的m层金字塔表示;

    2、  迭代:图像层k从第m层依次到第1层
    (1)如果k≠m
    以上一层估计的三维场景的深度q(k+1)为基准,采用插值方法计算在本层的三维场景的深度q(k),以其作为三维场景的深度的初始化;利用上一层图像估计的相机投影矩阵Pi(k+1),2≤i≤n,根据式子(16)计算本层的相机投影矩阵Pi(k),以其作为相机投影矩阵的初始化;
    否则,在第m层图像
    初始化:第i个相机的相机投影矩阵设置为Pi(m)=[I3  0],
    2≤i≤n,所有点的三维场景的深度信息设置为q(m)=1;
    结束
    (2)采用算法1或者算法2估计该层相机投影矩阵Pi(k),2≤i≤n和三维场景的深度q(k);
    结束迭代

    3、  输出相机投影矩阵和三维场景的深度:Pi←Pi(1)(2≤i≤n),q←q(1)。

    4、  根据三维场景的深度q,由式子(1)计算场景的三维表示。

    7.  根据权利要求2或6所述的无特征提取的紧致SFM三维重建方法,其特征在于,实现相似三维重建或者欧几里德三维重建的具体过程为:
    参数化具体为:相机投影矩阵由相机内部参数和相机外部参数描述:
    P=K[R  t]
    其中相机内部参数αx、αy、s、px和py包含在3×3矩阵K=αxspx0αypy001,]]>相机外部参数由3×3的旋转矩阵R和3×1平移向量t确定,旋转矩阵R由三个角度参数确定,即分别绕x轴、y轴和z轴的旋转角度γx、γy和γz:
    R=1000cos(γx)-sin(γx)0sin(γx)cos(γx)cos(γy)0sin(γy)010-sin(γy)0cos(γy)cos(γz)-sin(γz)0sin(γz)cos(γz)0001]]>
    当相机内部参数和外部参数都是未知的,内部参数αx、αy、s、px、pt、平移向量t、旋转角度γx、γt和γz和三维场景的深度q为待估计的未定参数,实现相似三维重建;
    当相机内部参数是已知的,而外部参数是未知的,平移向量t、旋转角度γx、γy和γz和三维场景的深度q为待估计的未定参数,实现相似三维重建;
    当相机的内部参数和外部参数都已知的条件下,实现欧几里德三维重建中,在这种情形中,三维场景的深度q为待估计的未定参数。

    8.  根据权利要求6所述的无特征提取的紧致SFM三维重建方法,其特征 在于,所述无特征提取的紧致SFM三维重建方法还能够推广到大基线情形,具体步骤为:在射影几何中,大基线情形是指相机之间的相对运动比较大,造成图像之间有显著的区别,在大基线情形中,具体来说,SFM三维重建分为三步:
    第一步,从图像提取特征并匹配,提取的特征为:Harris特征、SIFT特征或KLT特征;
    第二步,在所提取特征的基础上,估计特征点的三维信息和相机投影矩阵;
    第三步,在前面两步的基础上,利用算法3实现紧致SFM三维重建;
    其中,以第二步估计得到的相机投影矩阵作为第三步的相机投影矩阵初始值,对第二步估计得到的三维场景的深度进行插值,作为第三步的三维场景的深度初始值。

    关 键 词:
    一种 特征 提取 SFM 三维重建 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种无特征提取的紧致SFM三维重建方法.pdf
    链接地址://www.4mum.com.cn/p-6130845.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03