动态SLAM综述思维导图模板_ProcessOn思维导图、流程图

动态SLAM引入

经典SLAM系统需要处理的问题

在连续图像序列中对特征的提取与匹配

利用特征估计相机位姿并同时构建未知环境的连续三维结构

经典SLAM基于静态假设，传统SLAM不能很好的处理动态特征，高动态环境下会失效

动态SLAM分类

传感器

传统相机

分类

单目相机

优：重量轻、功率低、成本低

劣：不能获得全局尺度，依赖于IMU或其他的先验信息

双目相机

优：可以估计深度信息并估计全局尺度

劣：对深度估计的准确性于基线长度高度相关，限制了应用

RGB-D相机

优：可以获得深度信息和全局尺度

劣：对光线敏感

特点

受到帧率限制，存在一定的延时

受到曝光时间限制，动态物体会产生模糊

事件相机

事件：独立像素的亮度随时间的变化

更低的延时、更好的动态范围：适用于处理动态场景

特征匹配

低级特征：像素块、点、线

纹理、几何信息

高级特征：信息融入语义标签

符合人类对世界的认知

优化

filter-based

在处理统计信息的方面有优势

frame-baesd

利用BA实现，被许多开源工作证明其对于视觉SLAM是更有效的

解决方法

检测+剔除（Rubust SLAM）

将动态特征作为异常值剔除

检测+跟踪（SLAM-MOT）

对动态物体轨迹跟踪，并利用这些动态信息估计相机位姿

近期相关工作

鲁棒SLAM

动态特征鲁棒的判断

处理遮挡

保证地图长期一致性

剔除动态导致有效特征变少

多目标跟踪SLAM

缺失数据的处理（遮挡）

单目系统相对尺度问题

存在噪声的测量的概率数据关联

基于低级特征的动态SLAM研究

概述

低级特征

点特征

可以更好的表现纹理

许多动态SLAM系统都是在基于点特征SLAM系统上开发的

【21】

线特征

更好的表现几何结构，适用于人造环境

完全基于线特征的SLAM系统表现往往不如基于点特征的SLAM系统

【56】

近期的工作证明：点线特征结合可以获得更加鲁棒的效果

【58】

基于点特征的匹配方法

基于像素的

对光照敏感：限制其在长期数据关联上的应用

基于描述子的

对光照更加鲁棒：广泛应用

通常利用运动信息和特征的三维位姿进行辅助匹配【21】，但是没有外部传感器很难预测目标的运动

不能在高动态环境下获得足够的动态信息关联

利用光流法解决【14】

数据驱动：利用深度学习训练特征提取器

基于线特征的匹配方法

方法分类

线段检测

二进制描述子

深度学习

比基于点特征的更耗时，动态目标跟踪效果比较差

鲁棒SLAM

主要技术点：区分动态和静态特征，即运动分割

运动分割

光流法

光流：空间运动物体在成像平面的瞬时速度

点特征

光流：像素强度的时间导数

在动态系统中，相机和被观测的物体都可能使运动的

先估计相机自身运动再根据预测图像和观测图像之间的光流来检测动态物体（先有鸡还是先有蛋）

相关工作：利用深度和强度信息由粗到精的估计相机自身运动，再用这个运动计算场景光流来检测动态的特征

【23】

线特征

相关工作：提出了一种线的3D到2D运动之间的描述关系

【66】

被用于多运动分割和三维检测，但目前没有被应用于动态SLAM

几何法

为静态特征设置一个带几何约束的阈值，用以检测动态特征

点特征

equation of epipolar lines

【69】

back-projected rays (triangulationi)

【70】

camera pose estimation

【71】

re-projection error

【72】

思想：首先假定所有特征都是静态的，由此估计极线、3D landmark 位置的最小二乘解、相机位姿、投影。然后计算估计值于观测值的误差，根据阈值筛选动态特征

线特征

相关工作：利用RGB-D相机的深度信息，重建图像中线段对应的3D landmark的结构，使用环境中静态点估计相机初始运动，利用这个运动预测下一帧的线条的位姿，定义了匹配上的3D线段与预测之间的距离，将其作为阈值检测动态特征（思想与点特征一样）

【25】

线特征重投影误差多数在基于点的SLAM系统中用于优化

基于运动的方法

利用相机运动来约束静态特征

思想：利用外部信息（IMU）来区分静态与动态特征。只有静态特征符合IMU信息

相关工作：利用IMU信息补偿连续图像之间的旋转，根据运动矢量对周围动态特征筛选

【75】

讨论

方法总结

光流法不需要额外先验信息，但是对光线敏感

几何方法不需额外先验信息，但是单独使用几何特征会导致运动退化（被观测物体和相机匀速直线运动）

基于运动的方法可以轻易解决运动退化问题

推荐多个方法结合

存在问题

需要通过历史连续帧检测动态

过多的历史帧计算量大

过少的历史帧不鲁棒

相关工作：构建一个概率模型，利用具有长期观测的CRFs检测动态特征

【22】

遮挡问题：被遮挡的静态3D landmark可能因为特征的太少而被剔除

解决方法：检测遮挡

相关工作：基于特征外观和相机的运动检测遮挡，并保存被遮挡的、特征点比较少的3D landmark以提高系统鲁棒性

【24】

把动态特征剔除后，缺少数据关联

解决方案：多目标跟踪SLAM

多目标跟踪SLAM

核心模块

多运动分割

3D目标跟踪与重建

多运动分割

前提：能够根据运动状态进行分类，即多动态分割

方法

子空间聚类

相关工作：提出一种排列空间的聚类方法

【79】

相关工作：建立一个不适用语义信息的SLAM流程，通过有效的降维提高了子空间聚类的性能

【44】

TMPCA：一种高效的数据降维技术，相比于NN有更少的参数，计算量更小，实时性更好

运动模型拟合

基本矩阵

放射基本矩阵

本质矩阵

单应性

适应性

相关工作：提供了一种利用3D传感器的运动拟合模型

【45】

动态特征重建和3D目标跟踪

刚体动态特征重投影误差方程

相关工作：利用上式构建了紧耦合的多目标跟踪SLAM系统

【48】

相关工作：利用上式在静态SLAM的因子图中引入了新的因子表示

【51，82】

对于双目或RGB-D相机：可以获得深度信息，可以比较容易的估计一个刚体的运动

对于单目相机：对运动物体进行重建是个重要的任务

难点

动态特征不能使用标准的三角剖分

相对尺度模糊

解决方法

引入额外的运动约束

利用多个外部信息源来获得移动物体的位置，并在位姿图中保证循环一致性

讨论

对相机和运动物体的轨迹优化方法

松耦合

先优化相机自身运动，在利用这个运动优化运动物体轨迹

紧耦合

同时优化，可以保证运动一致性

遮挡问题

在物体被遮挡后重新出现时：如果没有特殊的处理，可能会给他分配一个新的标签，产生标签不一致的问题

相关工作：根据遮挡期间的历史信息预测物体的运动簇，重新检测到时进行匹配，根据遮挡前后的信息恢复运动物体的轨迹

【47】

基于高级特征的动态SLAM研究

概述

与低级特征相比具有更强的判别性

高级特征在图像空间的表示

边界框

由目标检测获得

像素级掩膜

由像素级语义分割获得

高级特征检测器

支持向量机SVMs

随机条件场CRFs

神经网络NN

对于物体级SLAM，关键是数据关联，其本质是多目标跟踪问题

数据关联方法分类

生成式

判别式：基于检测的跟踪

目标跟踪

外观建模

度量学习

数据关联

基于低级特征的数据关联

相关工作：提出一种新的约束，在至少两帧的边界框中观测到点，并且他们应该足够靠近 3D 边界盒的中心

【14】

相关工作：建立了一个概率模型用于处理快速移动的物体

【47】

基于学习的数据关联

相关工作：为自动驾驶提供了一个3D目标检测方法，利用NN直接检测一对双目图像中对应的物体

【89】

相关工作：将【89】中的概念应用于临近帧，用于处理缓慢移动物体

【90】

鲁棒SLAM

使用高级特征作为基于低级特征SLAM的语义先验

存在的问题

单独使用语义信息没法定义潜在的移动物体，比如人手里拿着的书

边界框里可能包含背景特征