视觉SLAM的基础知识

《视觉SLAM的基础知识》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、TheBasicsaboutVisualSLAM视觉SLAM的基础知识高翔（半闲居士）清华大学自动化系2016.7ROS暑期学校RoboticsWhatpeoplethinkWhatIamactuallydoing提要1.视觉SLAM概述2.视觉里程计3.后端优化4.回环检测5.地图构建6.小结1.视觉SLAM概述1.视觉SLAM概述•SLAM:SimultaneousLocalizationandMapping•应用：机器人、无人机、AR/VR、智能硬件……1.视觉SLAM概述机器人的“内外兼修”精确的地图内在外在了解自身位置精确的位姿了解周围环境WhereamI?WhereamI?解

2、决方式同时建模二者误差并优化1.视觉SLAM概述•如何确定位置与地图？——传感器•内部传感器（Interoceptive）•激光、视觉、IMU、轮子等•间接、受噪声影响大•外部传感器（Exteroceptive）•GPS、导轨、标志物等•直接、受噪声影响小•为何强调内部传感器？•对环境不存在假设——适用于任何环境1.视觉SLAM概述SLAM的实现方式与难度，传感器与传感器形式和安装方式有很大关联。•激光传感器•视觉传感器•精确•便宜•快速•轻量•计算量小•信息丰富•研究充分•计算量大•体积大、功耗大•对环境假设强•价格昂贵•易受干扰•细分：单目、双目、RGB-D1.视觉SLAM概述•视觉

3、SLAM细分：单目双目RGB-D其他1.视觉SLAM概述单目双目RGB-D成本低计算深度主动测深度重建效果好距离不受限距离不受限测量范围小尺度不确定性配置复杂受日光干扰初始化问题计算量大受材质干扰1.视觉SLAM概述视觉SLAM过程1.视觉SLAM概述•经典SLAM数学表述•机器人在环境中运动，产生一条轨迹：•环境中存在许多路标点：•机器人从?−1时刻运动到?时刻：运动模型输入噪声•在?时刻观察到了路标??，产生观测???观测模型观测点噪声1.视觉SLAM概述•SLAM数学模型：状态估计问题滤波器或非线性优化•视觉SLAM有何不同？•相机位姿是三维空间旋转和平移——李群与李代数•观测模型

4、是空间点到像素的投影——相机模型•如何确定路标点和数据关联？——视觉里程计（前端）1.视觉SLAM概述•视觉SLAM框架1.视觉SLAM概述•视觉里程计估算相机的帧间运动以及路标的位置•后端优化接受不同时刻视觉里程计测量的相机位姿，计算最大后验概率估计•回环检测判断机器人是否曾经到达过先前的位置•建图根据相机轨迹和图像，建立与任务要求对应的地图SLAMismorelikeaconceptthanasinglealgorithm.*1.视觉SLAM概述•3D刚体运动•旋转矩阵/变换矩阵•3*3和4*4矩阵•角轴（旋转向量）•3*1向量•欧拉角•3*1向量，r-p-y角•直观??????•有

5、奇异性??=?????=???=?????+???01•四元数•4*1向量，扩展的复数•完备，但不直观1.视觉SLAM概述•旋转/变换矩阵最为常用•但只有乘法，没有加法，代数结构上不够好，只成群•旋转/变换矩阵没有加法，无法计算微分•SLAM中需要微调相机位姿——李代数1.视觉SLAM概述相关资料程序库：Eigen,Sophus,tf[1]StateEstimationforRobotics:AMatrix-Lie-GroupApproach[2]Aninvitationto3Dcomputervision2.视觉里程计2.视觉里程计•视觉里程计的目的•根据图像，计算相机的帧间运动（eg

6、o-motion）•*估计特征点（路标点）大致空间位置•Motion&Strcutre•问题1.图像是怎么来的？2.特征点是怎么来的？3.如何根据特征点计算相机运动？4.如何估计特征点位置？2.视觉里程计•图像是怎么来的？——相机模型相似关系：2.视觉里程计•空间点到成像平面：•从成像平面到像素坐标•齐次坐标形式：2.视觉里程计•图像是怎么来的？——相机模型2.视觉里程计•图像是怎么来的？——相机模型空间点相机坐标系下的点成像平面下的点像素坐标1?????=???+??=???=???1•视觉观测模型?1?==?????+??=100??010齐次坐标下：?=????+?2.视觉里程计•

7、视觉里程计基本问题•给定一组空间点在两个相机上的投影•计算两个相机之间的运动单目：只知道像素位置，没有深度RGB-D、双目：深度已知2D-2D：只根据两组像素位置，估计运动——对极几何3D-2D：已知空间位置和投影位置，估计运动——PnP3D-3D：已知两组空间位置，估计运动——ICP2.视觉里程计•2D-2D对极几何空间点P在两个相机中成像：?1=???2=???+?去掉标定矩阵：?=?−1?,?=?−1?1122整理：?2=??