视觉SLAM十四讲-第七讲-视觉里程计课件.pptx

《视觉SLAM十四讲-第七讲-视觉里程计课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、视觉SLAM十四讲从理论到实践高翔清华大学2016年冬第七讲视觉里程计（1）Chapter7:VisualOdometry(1)2第七讲视觉里程计（1）本讲目标理解图像特征点的意义,并掌握在单幅图像中提取出特征点，及多幅图像中匹配特征点的方法。理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动。理解PNP问题，及利用已知三维结构与图像的对应关系，求解摄像机的三维运动。理解ICP问题，及利用点云的匹配关系，求解摄像机的三维运动。理解如何通过三角化，获得二维图像上对应点的三维结构。3第七讲视觉里程计（1）

2、从本讲开始，开始介绍SLAM系统的重要算法视觉里程计：特征点法和直接法后端优化回环检测地图构建47.1特征点法57.1特征点法经典SLAM模型中以位姿——路标（Landmark）来描述SLAM过程路标是三维空间中固定不变的点，能够在特定位姿下观测到数量充足，以实现良好的定位较好的区分性，以实现数据关联在视觉SLAM中，可利用图像特征点作为SLAM中的路标67.1特征点法特征点：图像当中具有代表性的部分可重复性可区别性高效本地特征点的信息位置、大小、方向、评分等——关键点特征点周围的图像信息——描述子（Descriptor）

3、例子：SIFT/SURF/ORB见OpenCVfeatures2d模块7特征描述应该在光照、视角发生少量变化时仍能保持一致7.1特征点法例子：ORB特征关键点：OrientedFAST描述：BRIEFFAST连续N个点的灰度有明显差异OrientedFAST在FAST基础上计算旋转87.1特征点法BRIEFBRIEF-128：在特征点附近的128次像素比较ORB：旋转之后的BRIEF描述BRIEF是一种二进制描述，需要用汉明距离度量9BRIEF的比较pattern7.1特征点法特征匹配通过描述子的差异判断哪些特征为同一个点

4、暴力匹配：比较图1中每个特征和图2特征的距离加速：快速最近邻（FLANN）107.2实践：特征提取和匹配117.32D-2D：对极几何127.32D-2D：对极几何特征匹配之后，得到了特征点之间的对应关系如果只有两个单目图像，得到2D-2D间的关系——对极几何如果匹配的是帧和地图，得到3D-2D间的关系——PnP如果匹配的是RGB-D图，得到3D-3D间的关系——ICP137.32D-2D：对极几何几何关系：P在两个图像的投影为两个相机之间的变换为在第二个图像上投影为记，称为极线，反之亦然称为极点实践当中：通过特征匹配得到

5、，P未知，未知待求147.32D-2D：对极几何世界坐标：以第一个图为参考系，投影方程：使用归一化坐标（去掉内参）：齐次关系：两侧左乘：再一步左乘：15对极约束：带内参的形式：7.32D-2D：对极几何对极约束刻画了共面的关系定义：Essential矩阵Fundamental矩阵在内参已知的情况下，可以使用E两步计算位姿：由匹配点计算E由E恢复R,t16对极约束的性质：乘任意非零常数依然满足E共五个自由度当成普通矩阵的话，有八个自由度可用八点法求解7.32D-2D：对极几何八点法求E将E看成通常3x3的矩阵，去掉因子后剩八

6、个自由度一对匹配点带来的约束：向量形式：17八对点构成方程组7.32D-2D：对极几何从E计算R,t：奇异值分解18四个可能的解，但只有一个深度为正7.32D-2D：对极几何SVD过程中：取因为E的内在性质要求它的奇异值为最少可使用五个点计算R,t，称为五点法但需要利用E的非线性性质，原理较复杂197.32D-2D：对极几何八点法的讨论用于单目SLAM的初始化尺度不确定性：归一化t或特征点的平均深度纯旋转问题：t=0时无法求解多于八对点时：最小二乘或RANSAC207.32D-2D：对极几何从单应矩阵恢复R,t：八点法在特

7、征点共面时会退化设特征点位于某平面上：或两个图像特征点的坐标关系：21中间记为H7.32D-2D：对极几何该式是在非零因子下成立的去掉第三行：一对点提供两个约束写成关于H的线性方程：类似八点法先计算H再用H恢复R,t,n,d,K227.32D-2D：对极几何小结2D-2D情况下，只知道图像坐标之间的对应关系当特征点在平面上时（例如俯视或仰视），使用H恢复R,t否则，使用E或F恢复R,t求得R,t后：利用三角化计算特征点的3D位置（即深度）237.4实践：对极约束求解相机运动247.5三角化25已知运动时，求解特征点的3D位

8、置几何关系：求时，两侧乘反之亦然或者同时解求的最小二乘解7.5三角化三角化中的问题：解得深度的质量与平移相关但是平移大时特征匹配可能不成功方程系数矩阵伪逆不可靠行列式近零26特例：相机前进时，虽然有位移，但位于图像中心的点无法三角化（没有视差）7.6实践：三角测量27