step1：遍历当前帧的地图点，标记这些地图点不参与之后的投影匹配step2：遍历所有局部地图点中除当前帧地图点外的点，判断是否在当前帧视野范围内• 如果在视野内，则该mappoint被观测的统计值加1，参与之后的投影匹配step3：当前帧mCurrentFrame通过投影匹配，获得更多的匹配关系• 调用SearchByProject
CreateNewKeyFrame()
Essential图
OK
system线程
上一帧跟踪成功
step1：从缓冲队列中取出一帧关键帧step2：计算该关键帧特征点的Bow信息step3：当前处理关键帧中有效的地图点，更新normal，描述子等信息step4：更新关键帧间的连接关系（共视图）step5：将该关键帧插入到地图中
构造Frame
当前帧跟踪失败
法向量和深度
处理新的关键帧
局部地图跟踪失败
剔除质量不佳的地图点
track线程
mpReplaced属性
当前帧跟踪成功
非OK
Active地图（1个新地图）
mbOnlyTracking(false)
处理列表中的关键帧，包括计算BoW、更新观测、描述子、共视图，插入到地图等
是
LOST
PoseOptimization()最小化投影误差优化位姿
初始化
生成关键帧
return
MonocularInitialization()
注：mpIniORBextractor相比mpORBextractorLeft提取的特征点多一倍
Visible属性
step4:删除在BA中检测为外点的地图点
重定位失败
NeedNewKeyFrame()
step3.2:关键帧插入到列表 mlNewKeyFrames中，等待local mapping处理
mState系统状态
Frame
mlNewKeyFrames
GrabImageMonocular(im)
检查并融合当前关键帧与相邻关键帧帧（两级相邻）中重复的地图点。1.先完成相邻关键帧与当前关键帧的地图点的融合（在相邻关键帧中查找当前关键帧的地图点）2.再完成当前关键帧与相邻关键帧的地图点的融合（在当前关键帧中查找当前相邻关键帧的地图点）
mbBad属性
false
LocalBundleAdjustment()LocalInertialBA()InitializeIMU()
tracking线程主要任务就是为当前帧跟踪尽可能多的地图点：1.TrackReferenceKeyFrame()通过SearchByBoW()，上一帧中包含了地图点，对这些地图点进行跟踪，由此增加当前帧的地图点2.TrackWithMotionModel()通过SearchByProjection()，将上一帧的地图点投影到当前帧(根据速度模型可以估计当前帧的Tcw)，在投影点附近根据描述子距离选取匹配，以及最终的方向投票机制进行剔除3.TrackLocalMap()的SearchLocalPoints()通过 SearchByProjection()，只对除了 <新增加的，即 TrackReferenceKeyFrame() 函数中匹配上的>地图点进行 SearchByProjection()，以向mCurrentFrame增加新的地图点.
nObs属性
注：在跟踪线程中，涉及到建图的更多是每一帧的地图点
true
上一帧跟踪失败
设置true，即为坏点，相当于擦除了该地图点（实际上要等程序结束，调用析构函数才能回收分配的内存）。成员函数 MapPoint::EraseObservation() 、Replace() 函数（详细解释参见mpReplaced属性）和 MapPoint::SetBadFlag() 函数会设置该属性
step1：在当前关键帧的共视关键帧中找到共视程度最高的n帧相邻关键帧（单目为20）step2：遍历step1中选取的n帧相邻关键帧2.1：判断相机运动的基线/视差角是不是足够长2.2：根据两个关键帧的位姿计算它们之间的基础矩阵2.3：查找特征匹配，通过BoW加速匹配，生成新的匹配点对（借助F矩阵剔除Outlier）2.4：对每对匹配点通过三角化生成3D点2.5：将3D点构造为MapPoint并mlpRecentAddedMapPoints进行一致性观测检查
局部地图跟踪成功
局部BA优化/IMU初始化一阶段
非OK
step3:按需求添加关键帧
收集mvpLocalKeyFrames中每帧关键帧的Mappoints -->mvLocalMapPoints
共视图是一个加权无向图，图中每个节点是相机位姿，若两个关键帧观测到的相同关键点达到一定数量，认为两者具有共视关系。即生成了一条边，边的权重与共视点数量有关。
SetAcceptKeyFrames(true)
Atlas地图集
地图点
UpdateLocalKeyFrames()更新局部关键帧
Non-Active地图（n个旧地图）
step1：根据相机类型设置不同的观测阈值step2：遍历检查的新添加的地图点作用：剔除mlpRecentAddedMapPoints中不好的MapPointsmlpRecentAddedMapPoints来自于：• 通过CreateNewMapPoints函数，关键帧之间三角化恢复一些MapPoints剔除MapPoint的标准为（观测一致性，从被创建开始，未被连续可靠观测到）：• mnFound / mnVisible < 25%• 从MapPoint被创建开始，到现在已经过了不小于2帧关键帧，但是该MaPoints被观测到的关键帧数小于阈值（单目为2）• 从MapPoint被创建开始，到现在已经超过帧关键帧
KeyFrameCulling()
InitializeIMU()ScaleRefinement()
MapPoints
Mono: mImGray
Replace()函数会对该属性操作，有两个地方会对该属性进行修改：1.在形成闭环的时候，会更新关键帧与地图点之间的关系，<闭环帧的中地图点> 对应的描述子与 <当前帧的地图点> 对应的描述子相近(即二者匹配上了)，就认为这两个地图点是同一个地图点(因为它们是来自同一个特征点)，那么就使用闭环帧对应的地图点替换当前帧中地图点2.local mapping线程中，由于当前关键帧产生新的地图点点后，这些地图点有可能会被其他关键帧找到，所以在SearchInNeighbors() 中，分别与一级二级相邻帧(的地图点)中重复的进行合并，将会出现下面两种情况：(1)如果地图点能匹配关键帧的特征点，并且该点有对应的地图点，那么将两个地图点合并（选择观测数多的）(2)如果地图点能匹配关键帧的特征点，并且该点没有对应的地图点，那么为该点添加地图点。
LocalMapping线程
最小生成树
orb关键点具有旋转不变性和尺度不变性。一个地图点会被许多相机观测到，因此每次插入对某个关键帧的Observation后，需要调用 UpdateNormalAndDepth()：1.由该地图点的3D位置到所有 <该MapPoint的观测到关键帧光心> 向量均值确定法向量。2.由它在参考关键帧（创建该地图点时指定）对应的关键点的金字塔层，更新该地图点的最大深度mfMaxDistance和最小深度mfMinDistance
转为灰度图
step2:判断IMU模式并且还未进行IMU初始化
是否生成关键帧
共视图
关键帧
参考帧第一次观测到该点的关键帧
SearchLocalPoints()获得局部地图与当前帧的匹配
当前帧与邻域帧地图点融合
step2:清除观测不到的地图点
bOK跟踪状态
font color=\"ff0000\
UpdateConnections()
CheckNewKeyFrames()
将LocalMapping线程设为空闲
step1:更新匀速运动模型
Relocalization()
地图词袋DBoW2全部子地图共用
step1：统计与当前关键帧每个地图点存在共视关系的关键帧，统计结果放在KFcounterstep2：找到对应权重最大的关键帧（共视程度最高的关键帧）step3：如果没有连接到关键（超过阈值的权重），则对权重最大的关键帧建立连接step4：对共视程度比较高的关键帧对更新连接关系及权重（从大到小）step5：更新生成树的连接
从当前共视关键帧中剔除冗余关键帧
UpdateLocalPoints()更新局部地图点
局部地图跟踪
step1：能观测到当前帧的Mappoints的关键帧-->keyframeCounterstep2：除去无效的关键帧--> mvpLocalKeyFrames• mvpLocalKeyFrames中与其它（共视）连接最多的关键帧作为参考帧mpReferenceKFstep3：共视关键帧也添加进来• mvpLocalKeyFrames中每一帧共视比较好的10帧也添加进来• 自己的子关键帧• 自己的父关键帧
CreateNewMapPoints()
否
相机位姿跟踪
UpdateLocalMap()//更新局部地图
step3.1:将该Frame构建成KeyFrame关键帧
将LocalMapping线程设为繁忙
地图超过10个关键帧时RECENTLY_LOST
ProcessNewKeyFrame()
MapPointCulling()
记录哪些关键帧的那个特征点能观测到该地图点，单目+1。注意，该属性只对关键帧有效这个函数是建立关键帧共视关系的核心函数，能共同观测到某些地图点的关键帧是共视关键帧.
位姿跟踪
IMU时为RECENTLY_LOST
重置当前地图，退出当前跟踪
为当前帧添加地图点
TrackReferenceKeyFrame()
生成新的MapPoints：1.初始化时，使用H矩阵或者F矩阵得到R，t后，使用线性三角化生成新的MapPoints2.local mapping线程CreateNewMapPoints() 通过线性三角化方式生成新的MapPoint
创建新的地图点
共视图连接关系非常稠密，不利于实时的优化。于是构建了Essential图，Essential 图中的节点是全部关键帧的位姿，边包含三种边：生成树的边、共视图中共视关系强（共视点数量超过100）的边、回环形成的边。
注：局部建图线程，首先处理单帧关键帧，更新Atlas需要的词袋、共视图、生成树等。然后优化地图点的质量（包括剔除不好的地图点，产生新的地图点），再降低地图点的数量（与邻域帧融合地图点），最后剔除冗余关键帧。
检查是否有新的关键帧
上一帧跟踪失败(LOST)
step1：取出与当前关键帧共视的所有关键帧vpLocalKeyFrames|step2：对于vpLocalKeyFrames中每个关键帧判断是否是冗余关键帧• 取出该关键帧对应的MapPoints---> vpMapPoints• 如果vpMapPoints中有90%的MapPoints可被至少3帧尺度近似的关键帧观测到，则为冗余关键帧
该属性表示，能观测到该地图点的图像帧数目计数器：1.在track线程跟踪局部地图时，使用 SearchLocalPoints() 向当前帧增加新的地图点时， 首先对当前帧已经匹配上地图点各自的Visible属性增加计数 然后搜索局部地图，只要该地图点满足到当前帧的投影条件，就增加一次计数。2.满足上面的投影条件就增加计数，但这些地图点并不一定能和当前帧的特征点匹配上，这就是 SearchByProjection() 函数要做的事情. 注意，这里并没有对这些匹配上的地图点与当前帧进行关联，仅仅是把匹配上的地图点添加到当前帧mvpMapPoints属性中3.在local mapping中fuse当前关键帧新生成的地图点时、以及形成闭环时，会调用 Replace() 函数进行替换，会对观测更多的地图点增加计数，增加的数目为原来那个地图点的计数值.
step1：获得当前关键帧在共视图中权重排名前n的邻接关键帧(单目为10)step2：存储一级相邻关键帧及其二级相邻关键帧step3：将当前帧的地图点分别与一级二级相邻关键帧地图点进行融合 -- 正向step4：将一级二级相邻关键帧地图点分别与当前关键帧地图点进行融合 -- 反向step5：更新当前帧地图点的描述子、深度、观测主方向等属性step6：更新当前帧的地图点后，更新与其它帧的连接关系
SearchInNeighbors()
输入图像
重定位成功
跟踪
剔除冗余关键帧
TrackWithMotionModel()
SetAcceptKeyFrames(false) 线程状态同步
InsertKeyFrame()
产生新的地图点
一个地图点可能被很多关键帧观测到，使用ComputeDistinctiveDescriptors() 函数选择最具代表性的描述子，因此当地图点添加了新的关键帧观测后，需要判断是否更新当前点的最适合的描述子.选取规则是，先获得当前点的所有描述子，然后计算描述子之间的两两距离，最好的描述子与其他描述子应该具有最小的距离中值
生成树用最少的边连接所有关键帧节点（即共视图中所有的节点）。当一个关键帧被加入到共视图当中后，这个关键帧与共视图中具有最多观测点的关键帧之间建立一个边，完成生成树的增长
关键帧加入闭环检测队列
mbOnlyTracking(true)
step3:创建新的地图//即地图关键帧超过5帧&&纯视觉模式||IMU模式且已初始化
IMU初始化二、三阶段
step1:判断地图中关键帧数量是否小于5帧
mDescriptor属性
