本篇博客是这个微信推送的笔记，觉得写的还可以，简单记录一下。
1.相机的工作方式
一般而言，相机拍摄一帧影像包含曝光和读出两个阶段。曝光阶段就是指相机传感器的数据采集过程将光信号转化为电信号，而读出阶段则是将转化后的电信号读取出来的过程。这两个阶段在时间关系上可能互相重叠(交叠曝光)，也可能没有重叠(非交叠曝光)，这取决于不同相机传感器的特性。简单理解就是，非交叠曝光指上一次的曝光+读出过程结束以后，再进行新一次的曝光+读取，两次在时间上不存在任何的重叠。而交叠曝光则是在某次数据读取还没结束的时候，就开始下一次的曝光。示意图如下。
上图为非交叠式曝光。曝光过程和读出过程在时间上没有重叠。
上图为交叠式曝光。上次读出过程还没结束的时候，下次曝光就开始了。
所以，根据上面的描述，可以看出，交叠曝光理论上可以提供比非交叠曝光更高的影像帧率。 当然了，这里需要注意的是，对于一次成像过程(曝光+读出)，读出过程是在曝光结束之后进行的，而不是正在曝光或者还没曝光完成就开始读出。这和上面的描述是有不同的，可以仔细体会一下。
2.相机的触发
上一部分我们说了相机的工作方式。那么自然而然会有下一个问题：如何让相机以一定频率进行数据采集呢？显然相机不会每时每刻都在采集数据。正确的做法是以“触发”的机制。简单来说就是我发送一个信号给相机，相机接收到信号以后就拍摄一次，否则就一直处于待机状态。具体而言，相机的触发又分为内触发和外触发两种模式。内触发模式是指相机通过设备内部给出的信号采集图像；外触发模式是指通过设备外部给出的信号采集图像。当然了，外部的信号可以来自于软件(软件触发模式)，也可以来自于硬件(硬件触发模式)。
这里稍微对硬件触发补充一些。具体而言，外部设备通过相机的I/O接口与相机进行连接，触发脉冲信号由外部设备传递给相机。一般情况下，工业相机模块都支持外部硬件触发的模式。一个硬件触发的示意图如下所示。
首先，外部硬件发送一个触发信号Trigger_in1，相机接收到这个信号以后，立即开始曝光，然后数据读取(也就是上面提到的过程)。在本次读取过程还没结束的时候，相机又受到了新的触发信号Trigger_in2，相机又开始下一次曝光过程，以此循环。从这个图中也可以看到，如果固定曝光时间，相机的帧率是有上限的，而且肯定会比计算出来的要再低一些。因为总会存在读取耗时。
3.相机的触发输出
相机除了输出影像，其实还会输出个“触发输出”信号。具体说来，相机的曝光发生时，会立即输出一个Strobe信号，该信号为高电平有效。这里需要说明的是，Strobe是预输出的，其早于曝光生效。其工作原理为延迟曝光先进行Strobe输出。该功能可应用于响应比较慢的外部设备。示意图如下。
首先相机发出一个Strobe信号，但因为有“延迟”的设计，所以曝光开始时间会晚于Strobe信号。
4.相机与LiDAR的时间戳同步
简单来说有三种方式：硬触发、软触发、软触发+硬触发。
4.1 硬触发
这是最容易理解的一种方式。简单来说就是通过一个外部统一的设备(如MCU，微控制单元)，向LiDAR和相机发送相同的触发信号，同时驱动LiDAR和相机，传感器接收到触发信号后开始工作。示意图如下。
4.2 软触发+硬触发
具体方式是：先调用相机的SDK对相机进行软触发，然后利用前面提到的相机的Strobe输出信号对LiDAR、其它相机等进行触发。示意图如下。
当然，这里有个需要注意的地方。也就是回答为什么相机的曝光会晚于Strobe信号。设想一下，如果相机在输出Strobe信号的时候就进行了曝光，那么这个Strobe信号传输给其它传感器的时候总是会消耗一些时间。这样的结果就是导致了那个作为“指挥中心”的相机始终会比其它传感器快一些，无法完全同步。所以才需要Strobe预输出，即Strobe信号发出后，稍微等待一段时间再曝光。
其实，如果和上面的硬触发比较的话，会发现其实这里我们是把某个传感器当作了硬触发里的MCU。从而以一种“曲线救国”的方式实现了时间戳同步。如果要问这样的好处的话，那当然是在硬件上成本更低，不需要额外的MCU。但在算法和实现层面，就会更加麻烦一些。
4.3 软触发
软触发相比于上面两种，并不被推荐，因为代码都是顺序执行的。比如如下的代码段。
while True:
readCamera1()
readCamera2()
readLiDAR()
虽然程序执行的很快，但是显然，readCamera1()比readLiDAR()要先执行，这就造成了时间上的差异。
4.4 后处理
上面说的其实都是在线实时处理的情况。如果是数据采集好了，再做时间戳的对其则是属于后处理的范畴了。
5.参考资料
- [1] https://mp.weixin.qq.com/s/bXQHy9Wt7q6J-zQhD9cnlg
本文作者原创,未经许可不得转载,谢谢配合
