三维重建（5）--双目立体视觉

发布时间：2024年01月23日

目录

一、平行视图

1、平行视图基础矩阵

?2、平行视图极几何

3、三角测量?

4、平行视图应用?

二、图像校正?

三、对应点搜索?

1、相关匹配法

2、归一化相关匹配法

3、窗口问题

4、相关法存在的问题

5、约束问题

一、平行视图

1、平行视图基础矩阵

? ? ? ? 由于基础矩阵F=e' \times K'RK^{-1}，在平行视图情况下，极点交于无穷远处，所以我们可以假定极点e'=[1,0,0]^T，平行视图下，K=K'，R=I，那么对于平行视图有：

????????????????????????F=e \times K'RK^{-1}=e \times I=\begin{bmatrix} 0 &0 &0 \\ 0 &0 &-1 \\ 0 &1 &0 \end{bmatrix}

?2、平行视图极几何

（1）极线是水平的，平行于u轴。平行视图肯定只在u轴方向有所变换，可以不用证明，数学证明用一般情况下基础矩阵的性质l=F^Tp'。

（2）平行视图下，p和p'在v轴方向坐标相同，即垂直方向没有变换。

（3）极点位于无穷远处

（4）已知p和F的情况下，p'只需要按着扫描线寻找即可，扫描线指的是过p且平行于u轴的线。

3、三角测量?

? ? ? ? 一般来说，平行视图构建时，两个摄像机的各项参数基本一致，焦距也一致。如果已知两个像的视差p_u-p_u'（即两个像在u轴方向的距离），已知焦距f，已知两个摄像机在u轴方向的距离B，那么我们可以通过相似关系推导出深度z，视差与深度z成反比：

????????????????????????????????????????????????????????????????z=\frac{B \cdot f}{p_u-p_u'}

4、平行视图应用?

（1）视差图/深度图

? ? ? ? 平行视图中的视差图，根据两台平行摄像机在不同角度观察同一物体或场景时，由于视角差异造成图像的差异进而推断出物体的深度和距离，得到一副深度信息图，可以用于对物体或场景的三维重建和识别。

（2）3D电影的应用

? ? ? ? 3D电影通过用两个摄像头同时模拟拍摄同一场景，模拟人眼双眼视觉，再将两个平行视图分别投影到屏幕上，由于使用特殊的偏振式眼睛，通过人眼的立体视觉原理，会给观众感知到一种立体的深度效果。

二、图像校正?

? ? ? ? 图像校正：使一组非平行视图通过校正构建成平行视图。

? ? ? ? 图像校正步骤：

（1）在两幅图像l和l'找到一组匹配点p_i\leftrightarrow p_i'，不少于8个。

（2）计算基础矩阵F（八点法），求解两幅图像中的极点e和e'。

? ? ? ? 求解e和e'，利用基础矩阵性质l_i=F^Tp_i'可以列出求解多个l_i，由于所有极线都过极点l_i^Te=0可以列出一个齐次线性方程组，解出e的值，同理也可以解出e'。

（3）选择透视变换H'将e'映射到无穷远点（f,0,0），也就是对H'进行变换，变换公式:???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????H'=T^{-1}GRT

（4）对透视变换矩阵H进行变换，使得经过H和H'变换后的两个像平面满足平行视图要求，在第（3）步中H'已经达到平行视图性质，由于平行视图上两个像平面的点应该满足p_u=p_u'，即u轴方向偏移相同，那么我们可以做反运算，对于多组点i情况下满足min(\sum_id(Hp_i,H'p_i'))?下，求解H。

（5） 分别利用新的矩阵H和H',对左右两幅图像l和l'进行重采样，得到一组平行视图。

三、对应点搜索?

? ? ? ? 对应点搜索问题，即根据p点寻找对应p'点的问题，我们根据平行视图极几何关系可知，p'点一定在扫描线上，这样进一步缩小的检索范围。

1、相关匹配法

? ? ? ? 相关匹配法通过基于一些相似性度量方法，计算区域之间的相似程度，来确定对应点位置。

? ? ? ? 在这里我们介绍一种相关匹配方法，通过点与点之间3*3窗口的相关性来进行判断，注意该方法取对应点组3*3窗口做了flatten之后的点乘均值最大化，作为相关性标准，该方法可行依据在于，一般情况下一个图像上像素颜色或灰度的变化是平滑的，这样近似相同点平方的最大值的和，理论上大于高偏差点平方的最大值的和。

2、归一化相关匹配法

? ? ? ? 对于一个图像上存在像素颜色或灰度变化突变的情况，上一种方法会出现计算误差较大，所以进行归一化。

? ? ? ? 归一化相关匹配法：改变原来的相似性度量，通过每个窗口向窗口均值进行归一化，达到平滑的效果。

3、窗口问题

? ? ? ? 对于较小的窗口：会引入更多的噪声，更容易受到噪声影响，但反之也会在没有噪声影响的地方提供更精确的信息。

? ? ? ? 对于较大的窗口：通过归一化操作可以平滑更多的噪声，但也会丢失一部分细节。

4、相关法存在的问题

（1）透视缩短和遮挡

? ? ? ? 当遇到不规则物体在视角上存在遮挡时，可能由于B/z的过大，两个像平面无法得到更多的信息交互，导致信息丢失，所以可以适当减小B/z。

? ? ? ? 当B/z过小时，由于双目视觉上，遮挡的信息只能尽量的去弱化，不能去消除，所以当B/z过小时，物体的突出部会造成过大的深度误差，从而在三维重建过程中存在视觉上的明显错误。

? ? ? ? 所以一般控制B/z保证减弱遮挡存在的影响的同时，保证不能过小。

（2）同质区域?

? ? ? ? 由于存在世界坐标下不同区域但颜色相近的地方，会导致误差的产生，比如用双目视觉去测量一堵白墙的形状，但光影极其不明显。

（3） 重复模式

? ? ? ? 对于世界实物上存在重复的区域，这会对双目视觉的三维重建产生较大影响。

5、约束问题

（1）唯一性约束

? ? ? ? 对于一张图像中的任何点，在另一张图像上最多只有一个匹配点，不存在同质区域和重复区域。

（2）顺序约束/单调性约束

? ? ? ? 左右视图中的对应点次序一致，保证不存在遮挡，但这个只能减少不能消除。

（3）平滑性约束

? ? ? ? 视差函数通常是平滑的，减少曝光亮度突变的问题

?Refernce：https://www.bilibili.com/video/BV1Ar4y1k7Cm/?spm_id_from=333.788&vd_source=2152dec20715e478285cc87cc31201ed

文章来源:https://blog.csdn.net/m0_60177079/article/details/135737823
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章