国内车载毫米波雷达企业中，哪家技术比较有优势？
自动驾驶中雷达与相机融合的目标检测工作多模态目标检测： 介绍的工作都比较冷门，很少有源码开放，因此对一些细节分析可能并不到位，欢迎大家在评论区讨论，提出自己的宝贵意见，指正我的一些偏见。 强烈推荐！自动驾驶与AI学习社区：欢迎加入国内首个自动驾驶开发者社区！这里有最全面有效的自动驾驶与AI学习路线（感知/定位/融合）和自动驾驶与AI公司内推机会！ 这项工作的输入数据，并不是常见的雷达点云形式，这类点云是经过CFAR等算法处理后的结果，这类算法处理后的结果会导致原始信息丢失的问题(部分工作将CFAR更换为DL模型后能够有效降低点云噪声)，近期的一些工作例如CRUW数据集，提供点云的上层数据-Range-Doppler数据，这类数据能够以较小损失的条件下保留较多的原始信息，但是，相对点云原始数据无法直接将数据用于检测等现有任务并且数据的直观性和结构化降低。在GCN中，RD不能够直接用于构建Graph，作者将其处理为range-beam-doppler坐标系下的voxel用于构建节点，edge则采用两种方案：根据节点的距离确定和固定权重。 (1) 极坐标系和笛卡尔坐标系 这里简单聊一下毫米波数据的转换过程，如上图所示，从左到右经过三次FFT变换，从原始的传感器采集到的MNK维度的IF信号到最后的RD数据，就是我们所需要的原始雷达数据，对RD数据进一步处理，得到点云数据信息，我们需要的是上图中最后一个数据的形式。 (2) 图的构建 首先，Radar-Doppler-Tensor作为输入数据(HWC)，然后将输入切分成range-beam为单位的cell作为基本单元，每个cell(256 channels doppler)作为node feature，这样就完成了节点的原始特征定义。对于edge的定义如下(图的边则连接相邻range或者相邻angle的节点，边的权重与欧式空间中节点距离成反比(实验证明这个权重的设置并不重要)： GCN包括两层的图卷积(Aggregate Spatial Information, ReLU)，此时向量变为channel=3的Tensor，然后经过双线形插值将数据转换为笛卡尔坐标系方便目标检测，后送入到FPN中融合多尺度的Range-Doppler数据，最后通过two-stage方法，将RoI-Proposal的向量提取并通过两个FC进行类别和属性的判别并通过NMS进行处理。以下是原始的Radar beam Tensor和经过转换到笛卡尔坐标系后的Tensor。 如下，作者采集自真实场景的数据集各项参数：可以看出，部分遮挡的目标占有大半部分，目标大都分布在33.7m左右 如下，数据集中对于目标检测难度的定义：从距离和遮挡程度两者考虑 Baseline（GRT-Net）：作者仅是为了证明voxel-based方法和graph-based方法的优劣性，将上述的两层图卷积网络替换为普通的2D卷积，激活函数等其他网络设置相同，具体结果如下所示： 可以看到，作者设置了两种对比，GRT-Net即作者提出的模型，第二三个模型的edge权重是不同的(cartesian-based和identical edge weights)，通过12实验对比，可以得到，graph-based-method得到了全面的性能提升，23实验对比，identical的edge weights是有优势的。 以上结果是IoU=0.3的情况下，三类样本的PR曲线。 以上作者只与baseline进行了对比，其他的工作只是列举了他们的实验细节，也可以从这一节看出，在非毫米波点云数据的工作中(当然点云数据集也仍然没有高度公认的)，还没有大部分工作都认同的数据集，我猜测：一是不同毫米波传感器之间的属性差别大难以统一、二是毫米波的论文开源工作较少，目前我找到的大部分工作都是只有论文，细节描述不清，因此难以复现出原本的性能。三是开源的大型数据集较少。希望未来大家能够将自己的工作开源，至少说明足够复现的细节。 GCN和Voxel两类网络对比：在复杂度方面，graph-based的计算复杂度与点云数量呈线性相关性，而grid-based方法检测性能不仅受到grid大小，大量的voxel等于0值造成计算资源浪费，并且也受到检测距离的关系而需要在检测精度和效率之间做trade-off。在中心特征计算方面，radar pointcloud的点云过于稀疏，许多前景目标仅投影个位数的点云，通过voxel等方法会造成过度降采样和中心特征丢失。当前各类榜单上grid-based方法能够有效避免point数量过大导致的复杂度过高的问题而成为主流超越point-wise的方法，但是由于radar的稀疏性(Nuscenes中radar和lidar大概是50:1的关系)，采用point-wise的方法并不会导致很大的延迟。 Radar检测优劣：优势：另一方面，radar由于其长波优势，探测的距离也较大，对于高速公路这类检测目标单一且方向等属性较为单一的场景下，radar有着较大的优势。劣势：由于两个工作并不是同一数据集，所以两者无法横向对比，能够得到的几点是：毫米波所包含的信息是能够独立地进行3D检测，但是仅对于车辆(卡车、汽车、建造车辆等)大型反射性良好的目标进行检测，而对于弱反射的交通目标则检测效果较差。 两种数据对比：基于radar点云的检测都是需要预定义每个需要检测的类的bouding box大小，毫米波在辨别物体时有一定的优势，但是在物体的regression任务上缺乏可参考的尺寸特征(仅有RCS)，在回归任务上需要预设大小。相比之下，在RD原始数据中显示地带有了目标的横截面积反射强度等信息(Doppler)，工作2**(暂定没有预设尺寸)**可以在没有预设尺寸情况下较好回归目标属性。但是，在高度属性等地面垂直方向属性预测上，雷达这种平面数据无法有效预测。 这类工作主要对Lidar Based方法进行改进，用于Radar。 2D Car Detection in Radar Data with PointNets (2019 IEEE Intelligent Transportation Systems Cnference) 出发点： 在point-level借鉴frustum-pointnet和pointnet进行3D目标检测。 作者基于Frustum-Pointnet和Pointnet进行了改进，提出一种point-wise的3D目标检测网络。整个模块分为三个部分： Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection (2021 8月  arxiv 清华) 出发点： 在BEV空间，在point level和object level两个层面实现图像特征和点云特征的融合。 图像分支：通过LSS的方法将图像特征转换到BEV空间，并通过ConvLSTM融合多帧的毫米波grid-based特征作为时序radar特征，与图像BEV特征进行point-wise的concate后，通过BEV特征编码器完成模态融合并基于此进行heatmap生成。 radar分支：通过对radar特征图的heatmap生成并与图像的heatmap进行融合，送入最终检测头预测。 融合分支：采用point-wise fusion和object-wise fusion两种融合兼顾的方式。 (1) point-fusion和ROI fusion两种融合并存互补的想法； (2) two-stage-fusion方法：两个模态分支各自完成heatmap生成后，再次进行融合，在特征细粒度和全局信息融合上都有考虑到，融合结构如下所示：在融合之前，不用保持分辨率的一致，在point-wise融合时两个不同分辨率的模态要分别经过上下采样统一后融合。 (3)  在radar上使用conv-lstm这类方法进行时序雷达信息融合，作者以此解决点云的部分噪声问题：杂波和数据稀疏，但是没有通过消融实验证明lstm结构的合理性。 (4) 雷达数据处理：temporal-spatial feature encoder (5) 图像特征提取：LSS 和BEVDet的方法一致，提取feature-map后，经过一系列的转换（lift）将特征转换为基于视锥分布的深度特征图，后通过pooling的方式（splat)特征到BEV空间。 作者在BEV空间中以top-down的形式检测，没有引入先验的目标尺寸信息，而是通过中心点回归其他信息。 RadSegNet: A Reliable Approach to Radar Camera Fusion (2022 年 8月) 出发点： 用语义分割结果渲染点云图，对毫米波点云引入图像语义信息用于3D检测。 (1) 点云渲染 通过对比，可以看出在语义通道中，毫米波通过语义分割渲染后的点云带有图像本身的语义信息，能够直观反映了其能够弥补毫米波缺少类别特征的劣势。 (2) 检测头 (3) 天气模拟 作者使用图像增强库模拟增加极端天气：大雾、大雪等天气，可以控制雪花大小、下降速度等参数模拟真实环境。 (4)模型输入： 作者在Astyx dataset数据集完成训练任务，在RADIATE进行测试。RADIATE相比训练的数据集，极端环境的占比更多，对模型的鲁棒性要求更高。 (1)在Astyx数据集对比中：baseline选取Perspective-view-based方法当时的SOTA-Centerfusion进行比较，为了保持公平，将预训练的centernet微调到新数据集中，实验结果也证明微调后的网络比from-scratch的centernet网络表现更好，作者基于此对centernet进行了微调并用于centerfusion。centerfusion性能下降很多，但是作者没有给出足够的细节，我能推测出来的：RadSegNet在BEV下3D检测的结果与Centerfusion的FOV检测结果相比较。 (2)作者使用segmentation后的结果渲染point，所以融合的效果严重依赖于分割的效果，在极端天气下的分割效果如下图所示，点云的语义特征会严重退化； (3) lidar vs radar 作者将pointcloud换成lidar进行了对比试验，可以看出，在近处激光雷达的效果要优于毫米波，在远处发生了目标的遮挡并且lidar点云的密度急剧下降，作者计算了不同的感知距离上限下性能的变化，可以看出radar在远距离检测的优越性。毫米波作为长波，相比激光雷达，在穿透性和感知距离上都要更优，但是同时也导致了毫米波雷达的多路径干扰等问题。 (4) 相比nuscenes，作者使用的这两个采集自真实场景的数据集由于其极端环境的占比较高，因此对于算法的鲁棒性要求更高，在nuscenes数据集上，点云过于稀疏同时极端的环境占比并不高，在许多 作者出发点： 随着lidar-based的深度估计方法用于3D目标检测(BEVDepth)，radar-based方法也通过改进，根据radar特性设计了一些深度估计的方法。作者结合DORN网络并进行改进，引入radar分支用于深度检测。在阅读之前，Depth Estimation from Monocular Images and Sparse Radar Data， 由两个图可知，在经过滤波、高度扩展后，各方面性能都有一定提升，包括平均深度误差等参数。 作者的出发点： 在BEV上通过BEVFORMER的方式"无参数化"地完成Lift操作(将图像特征转换到BEV空间)，融合雷达点云特征图，用于分割任务，性能超越了之前的分割模型。 雷达feature-map构成：0\1的occupy map，nuscenes提供的所有特征(RCS,X,Y,Z,V...)作为输入concate到一起作为输入特征。检测范围是[-100, 100m]，网格的大小是200x200。 总结为三点：对于分割任务，输入过多的属性提升不明显(occupy only已经达到53)，对multi-path的毫米波雷达点滤除反而导致性能下降(意料之中，因为multi-path的毫米波虽然会导致噪声，但是其扫描到的物体可能正是位于被遮挡的区域)，增加sweeps的数量性能也会提升(毕竟点云密度大了)。 See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar (2020， 斯坦福) Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities 作者的出发点： 通过lidar这种数据质量较高的模态，监督毫米波雷达生成质量较高的占据栅格地图，解决在这个过程中的两个问题：一解决occupy网格生成存在于传感器之间的内生性问题：传感器感知距离不一，传感器穿透性不一问题；二解决长距离网格生成问题；生成的occpy grid map可用于下游的路径规划等问题。 为了称呼方便，将生成的occupy grid map中的unit统称为点云，其中，绿色代表模型生成的正确点云，红色代表lidar检测到但是模型没有生成的点云，蓝色代表模型生成但是GT不存在的点云。 如上图所示，由实验得到，通过预处理，模型的FP大大降低； 以上是效果图，可以看到，原本的radar输入是非常混乱的，带有非常多的噪声，第二列是训练数据可以看到lidar的点云非常规则能够反映区域内比较完整的几何信息，第三列是输出的结果，通过lidar数据的监督，能够在lidar区域以外，生成噪声较小，能够反映路面分布的点云图。第四列是人工标注的GT，最后生成的result与GT相较radar更为接近。在BEVDepth对网络预测深度监督时，深度本身的模态无关的信息，不加改变地监督深度预测网络是可行的，但是对于radar和lidar两种模态，各自有各自的特性，强制地把一种模态地特征监督另一种模态而不加变化，势必会导致本文中出现的虚警等情况， 欢迎加入国内首个自动驾驶开发者社区！这里有最全面有效的自动驾驶与AI学习路线（感知/定位/融合）和自动驾驶与AI公司内推机会！ 建了自动驾驶之心-多传感器融合交流群！想要进交流群的同学，可以直接加微信号：wenyirumo。加的时候备注一下：融合+学校/公司+昵称，即可。然后就可以拉你进群了。 强烈推荐大家关注自动驾驶之心知乎账号和【自动驾驶之心】微信公众号，可以快速了解到最新优质的自动驾驶方向论文。 自动驾驶之心 | 速度精度双SOTA! TPAMI2022最新车道线检测算法（Ultra-Fast-Lane-Detection-V2） 自动驾驶之心 | IROS 2022 | 自动驾驶感知/定位/融合/规划方向论文汇总！ 自动驾驶之心 | 大盘点 | 基于Range-View的数据处理及3D检测算法（LaserNet/RangeRCNN/RCD/PPC） 自动驾驶之心 | 超全汇总！多传感器离线/在线时空联合标定方法 自动驾驶之心 | 最新SOTA | 基于range和camera融合的多模态3D语义分割（IV2022） 自动驾驶之心 | 一文尽览 | 传统光流方法汇总及其在深度学习中的应用！（基于相位/能量/匹配/变分） 自动驾驶之心 | BEV最新综述 | 学术界和工业界方案汇总！优化方法与trick 自动驾驶之心 | 纯视觉3D目标检测新SOTA！STS：基于Camera的深度估计新方法 自动驾驶之心 | 3D多目标跟踪新思路！基于多传感器融合的加权几何距离关联方法 自动驾驶之心 | L0到L4超全介绍！30+自动驾驶方案汇总