计算机视觉之三维重建(6)---多视图几何(上)

admin2024-04-03  0

文章目录

  • 一、运动恢复结构问题(SfM)
  • 二、欧式结构恢复
    • 2.1 概述
    • 2.2 求解
    • 2.3 欧式结构恢复歧义
  • 三、仿射结构恢复
    • 3.1 概述
    • 3.2 因式分解法
    • 3.3 总结
    • 3.4 仿射结构恢复歧义

一、运动恢复结构问题(SfM)

 1. 运动恢复结构问题:通过三维场景的多张图像,恢复出该场景的三维结构信息以及每张图片对应的摄像机参数。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第1张

 2. 运动恢复问题建模表述:已知 n n n 个世界坐标点在 m m m 张图像中的对应点的像素坐标 x i j x_{ij} xij,计算出 m m m 个摄像机的投影矩阵 M i M_i Mi n n n 个三维点 X j X_j Xj 的坐标。下图中 M = K [ R , T ] M=K[R,T] M=K[R,T]

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第2张

二、欧式结构恢复

2.1 概述

 1. 欧式结构恢复问题:摄像机内参数已知,外参数未知情况。

 2. 对于欧式结构恢复问题,已知摄像机内参数,根据投影矩阵的计算公式可知 x i j = M i X j = K i [ R i , T i ] X j x_{ij}=M_iX_j=K_i[R_i,T_i]X_j xij=MiXj=Ki[Ri,Ti]Xj。那么求解投影矩阵 M M M 只需要求解外参数 [ R , T ] [R,T] [R,T]

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第3张

2.2 求解

 1. 对于二视图的欧式结构恢复问题,如果把世界坐标系放在第一个坐标系下面,那摄像机 1 1 1 的外参数为 [ I , 0 ] [I,0] [I,0],而摄像机 2 2 2 的外参数 [ R , T ] [R,T] [R,T] 却是未知的。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第4张

 2. 求解步骤:
 (1)求解基础矩阵 F F F(归一化八点法)

 (2)求解本质矩阵 E = K 2 T F K 1 E=K_2^TFK_1 E=K2TFK1

 (3)分解本质矩阵 E → R , T E \rightarrow R,T ER,T

 (4)三角化(求解世界坐标系下的3D坐标)

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第5张

 3. 上面步骤中除了分解本质矩阵 E E E 外,其他都在之前文章中提到过。分解本质矩阵 E E E 在编程下的代码不难,但是推导过程极其复杂,博主在这里就不叙述了。

import numpy as np  
  
# 假设你已经有了一个本质矩阵E  
E = np.array([[...], [...], [...]])  # 用你的本质矩阵替换这里的占位符  
  
# 对E进行奇异值分解  
U, S, Vt = np.linalg.svd(E)  
  
# 根据SVD分解的结果恢复旋转矩阵R和平移向量t  
W = np.array([[0, -1, 0], [1, 0, 0], [0, 0, 1]])  
R1 = U @ W @ Vt  
R2 = U @ W.T @ Vt  
  
# 由于t的方向是不确定的,我们通常选择使t的最后一个分量为正的那个解  
t1 = U[:, 2]  
t2 = -U[:, 2]  
  
# 选择合适的R和t组合  
if np.linalg.det(R1) * np.linalg.det(np.eye(3) - R1) < 0:  
    R, t = R2, t2  
else:  
    R, t = R1, t1  
  
# 现在你有了旋转矩阵R和平移向量t  
print("Rotation matrix R:")  
print(R)  
print("Translation vector t:")  
print(t)

2.3 欧式结构恢复歧义

 1. 在没有先验信息的情况下,我们求解出来的解跟真实解是存在一个相似变换关系(旋转、平移、缩放)。

 2. 度量重构:恢复的场景与真实场景之间仅存在相似变换的重构。如果欧式结构恢复后能达到这种重构的话,那就可以说的上恢复效果是很不错了。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第6张

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第7张

三、仿射结构恢复

3.1 概述

 1. 仿射结构恢复问题:摄像机为仿射相机,内外参数均未知。 一般来说仿射相机代表为弱透视投影摄像机。

 2. 下面图中所有坐标使用欧式坐标,对于仿射变换而言 z z z 轴的 m 3 X = 1 m_3X=1 m3X=1,所以经过等式变换世界坐标的欧式坐标与像平面欧式坐标关系为 x E = A X E + b x^E=AX^E+b xE=AXE+b。其中 A 2 ∗ 3 , b 2 ∗ 1 A_{2∗3},b_{2∗1} A23b21

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第8张

 3. 仿射结构恢复问题可以建模为:已知 n n n 个三维点 X j X_j Xj m m m 张图像中的对应点的像素坐标为 x i j x_{ij} xij,且 x i j = A i X j + b i x_{ij}=A_iX_j+b_i xij=AiXj+bi,其中第 i i i 张图片对应的仿射相机的投影矩阵为 M i M_i Mi。求解 n n n 个三维点 X j X_j Xj 的坐标以及 m m m 个仿射相机的投影矩阵中的 A i A_i Ai b i b_i bi ( i = 1 , 2 , . . . , m i=1,2,...,m i=1,2,...,m)。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第9张

3.2 因式分解法

 1. 数据中心化:对于所有像平面点和世界坐标的三维点,分别减去像平面点和三维点的质心,建立新的关系,可知 x ^ i j = A i X ^ j \widehat{x}_{ij}=A_i\widehat{X}_j x ij=AiX j。其中 x ^ i j = x i j − x ˉ i j \widehat{x}_{ij}=x_{ij}-\bar{x}_{ij} x ij=xijxˉij X ^ j = X j − X ˉ j \widehat{X}_j=X_j-\bar{X}_j X j=XjXˉj。通过数据中心化消掉了 b b b 的影响。

 2. 如果3D点的质心=世界坐标系的中心,那么减去的均值为 0 0 0,所以 x ^ i j = A i X j \widehat{x}_{ij}=A_i{X}_j x ij=AiXj

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第10张

 3. 矩阵形式如下所示。接下来我们要将 D 2 m ∗ n D_{2m*n} D2mn 分解为 M 2 m ∗ 3 M_{2m*3} M2m3 S 3 ∗ n S_{3*n} S3n,即因式分解。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第11张

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第12张

 4. 由于 M M M S S S 的秩为 3 3 3,所以 D D D 的秩为 3 3 3,我们对 D 2 m ∗ n D_{2m*n} D2mn 矩阵进行奇异值分解。可以得到 D 2 m ∗ n = U 2 m ∗ 3 × W 3 ∗ 3 × V 3 ∗ n D_{2m*n}=U_{2m*3} \times W_{3*3} \times V_{3*n} D2mn=U2m3×W33×V3n

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第13张

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第14张

3.3 总结

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第15张

3.4 仿射结构恢复歧义

 1. 仿射结构恢复歧义:投影矩阵存在一个可逆 3 ∗ 3 3*3 33 矩阵的变换,也就是差了一个仿射变换的矩阵系数。对于歧义我们需要引入其他约束来解决歧义。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第16张

 2. 另外对于给定 m m m 个相机, n n n 3 3 3 维点情况下,我们将有 2 m n 2mn 2mn 个等式, 8 m + 3 n − 8 8m+3n-8 8m+3n8 个未知量。

计算机视觉之三维重建(6)---多视图几何(上),在这里插入图片描述,第17张

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!