多激光雷达与摄像头的融合算法(一)
2020年得第一篇博客,真是好长时间没发博客,这半年里毕业到一家v2x公司之后比较忙,不发博客内心是比较着急,总觉得没记录点啥。年底了,写点东西吧,不然csdn恐怕要取消我博客专家的评级了。 接下俩我分两章介绍一下文章,小编手里有两个传感器,6个激光雷达与摄像头,还有一个微波摄像头,分别装在一个路口的不同地方,需要将这些传感器进行融合输出目标列表。如图: 安装如图: 第一篇讲解如何进行通信,后面第二章讲解具体算法实现。 先摆一下最终结果吧: 激光雷达可以获取目标前方的环境信息,返回前方障碍物的距离数据,并且距离信息的精度非常高,误差可以达到厘米级别,但由于得到的是目标的几何轮廓信息,很难分辨得到运动目标与目标运动的速度(在本项目中激光雷达虽然给出目标ID与速度,但置信度是不高的)。微波雷达可以给出前方运动目标的速度,角度信息都比较准确,但距离信息不准确。摄像头在感知系统里使用频率最高,单一摄像头可完成车辆行人等二维信息获取及其细分类问题,从而弥补激光雷达的缺陷。因此本项目的主要思路是完成互补信息的投影融合。得到融合后的目标数据之后,边缘计算设备按照内部协议发送至网络中。 软件架构如下: 1、protobuf介绍 Protobuf产生于Google,是一种序列化和反序列化协议,具有空间开销小、解析速度快、兼容性好等优点,非常适合于对性能要求高的RPC(Remote Procedure