Sparse4D(2023 horizon) BEV based检测方法缺点： 在感知范围、感知精度、计算效率这几个方面总要做一定的取舍； 在高程上总有一些信息损失； 这片文章用DETR的方式，直接用3D空间中的query提取2D空间的feature： 在box中取了一些keypoint点，在multi scale、 multi view上提取特征，然后在时序上提取...

CornerNet(2018 UT Austin) 通过识别corner、匹配corner来完成bbox的检测，避免了anchor的生成步骤。跟这篇论人体关键点检测的论文几乎是一样的方法：Associative embedding: End-to-end learning for joint detection and grouping。 使用hourglass网络作为backbo...

LSS(2020 NVIDIA) Lift, Splat, Shoot 对每个像素预测一个D维的深度分布，和一个context feature； 把深度的概率值和context feature相乘，把特征转换成3D空间中的点云，这一步叫”Lift”； 使用pointpillars的方式，对每个pillar中的特征进行相加的操作，得到BEV的feature，这一步成为”Spl...

HDMapNet(2021 Tsinghua) 把图像和lidar都在bev空间进行encode、融合。然后直接在bev空间用FCN进行分割、instance embeding、方向的预测，最后通过一个后处理（聚类、NMS、greedily connecting），把地图要素恢复出来。 VecotrMapNet（2023 Tsinghua） BEV Encoder得到BEV featu...

MaskFormer (2021 Facebook AI) Per-Pixel Classification is Not All You Need for Semantic Segmentation. 本文为实例分割和语义分割提出了一个统一的框架：mask预测。可以看成是DETR在分割领域的姊妹篇。 图像先下采样encode，然后用一些learnable query（insta...

DETR (2020 Facebook AI) 在训练的阶段，利用和GT的二分图匹配，使得最终模型不需要使用NMS，同时因 为有learnable query，也不需要显式的anchor生成步骤。 需要注意的点： 预测的bbox和GT匹配时，既考虑了bbox的loss，也考虑了类别的loss；但是匹配用的Loss和监督Loss不完全一致； decoder中添加了辅助loss，...

VectorNet(2020 waymo) 第一个提出通过矢量化的方式来编码地图和轨迹等context信息，通过PointNet提取每个地图要素的特征，然后通过self-attention的GNN来获得最终的地图编码。用了一个MLP作为decoder来预测轨迹。 训练的时候随机将一些graph中的特征mask掉来使得模型更好的学习到不同轨迹和地图的交互关系，并且模型会预测mask掉的...

C++工程的debug方法 C++程序性能分析方法 C++工程Debug方法 常规方法 通过Debug编译，将CMAKE_BUILD_TYPE设置为Debug，关闭编译优化。然而这样做最大的问题是程序运行会很慢，调试不方便。 改进方法 将CMAKE_BUILD_TYPE设置为RelWithDebInfo 将待调试的代码块关闭编译优化： ...

在Bundle Ajustment的线性方程组中，通常采用Schur消元法进行求解，而Schur消元这一操作占用了迭代中的大部分时间，如下图所示。ICE-BA对H矩阵采取增量更新的方式加快了BA优化的速度，从而使得滑动窗口中可以包含更多的帧数来联合优化，提高SLAM性能。 增量式BA 前面提到在BA中，Schur消元占用了主要的时间。两帧$i,j$之间的共视点会对两帧的位姿产生约...

ICE-BA和RKD-SLAM中采用了预条件共轭梯度法（preconditioned conjugate gradient, PCG）来求解线性方程组，该PCG算法专门为Bundle Adjustment设计。 预调节共轭梯度法 简介 共轭梯度法（conjugate gradient，CG）是一种求解线性方程组的非静态迭代法，每次优化的方向以及优化残差均关于系数矩阵$\boldsy...