1. 加串解串芯片作用?
A: 加串和解串是成对出现的,串行器在模组内,将并行信号转换为串行信号,然后用一根线可以实现远距离传输。sensor输出的raw data如果不加串,需要8根线传输,很难传输很远,加串之后,一根线即可传输,而且能实现远距离传输(十几米都可以)。加串后的数据,通常通过lvds协议进行传输,从模组内传输到soc端,整个流程是:
raw->isp->加串->lvds接口把数据从模组内传输到开发板->开发板侧解串器解串->解串后的数据按mipi协议包装->soc内部mipi模块硬解mipi数据->数据保存在ddr/sram中供上层使用。
注意:
mipi是板内和soc的串行接口协议,传输速度很快,解串后的数据,通常要包装成mipi格式,然后传输到soc端,由soc端的mipi模块进行硬解。
lvds是控制器和camera之间的通信协议,是板间通信接口。lvds是一种通信方式的统称,fpdlink是TI的lvds叫法,美信的叫GMSL.
Q2: camera模组内一定要有ISP吗?
A: 不一定。sensor输出的是raw data, ISP可以对raw data进行处理,例如raw转yuv,也可以对图像进行自动曝光、自动白平衡、去噪等,ISP是专用的图像处理芯片,对这类任务,计算效率高、效果好。当camera模组内拥有ISP时,ISP能很好的完成这些工作。当模组内没有ISP时,这些工作就要在系统端(比如你的host机器上)进行完成了,你要在cpu上进行raw格式转换、白平衡调节等工作,这是很耗cpu资源的。当然,现在一些开发板/soc上也带有ISP,当模组没有ISP时,可以用soc上的ISP对解串后的raw数据进行处理。比如华为的麒麟芯片,就拥有功能很强强大的ISP,可同事处理多路camera数据流。
Q3: 模组内若有ISP,数据流是什么顺序?
A: sensor输出raw data —> ISP处理 —>加串芯片把数据转为串行 —>解串芯片 —> 数据经USB发送到host.
即,先经ISP处理,在加串。如果没有isp,则直接加串。
Q4: RAW格式是什么?
A: RAW data格式: RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(Metadata,如ISO的设置、快门速度、光圈值、白平衡等)的文件。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片,滤光片按Bayer pattern分布。将每一个像素的数据直接输出,即RAW RGB dataRaw data(Raw RGB)经过彩色插值就变成RGB.
Q5: 曝光/AE算法简介-
- 1: ir camera,通常配有led灯,一旦led选型结束,led的功率就固定了,比如1w/3w的led灯。AE算法不会改变LED灯的功率。
- 2:led灯,有两种工作方式,一种是常亮,通常配合rolling shutter的sensor(因为是逐行扫描,所以led要常亮);第二种是sensor曝光时,led灯才工作,曝光结束后,led就关闭(省电)。通常配合global shutter的sensor。
- 3:对于30fps的camera, 曝光时间最长是1000ms/ 33 = 33.33ms,即曝光时间必须在这个范围以内。曝光和图像传输,通常是同步的,即sensor在本次曝光时,上一次的图像数据可能在忘寄存器里写=》传输到上位机。
- 4 : 曝光时间越长,光电转换时间越长,图像趋向越亮.
- 5:AE算法通常由isp去实现(on 0144这款sensor,sensor内自带了简化的ae算法,不需要isp,但是效果很一般)。isp控制sensor的曝光时间,通过和用户设定的图像亮度阈值比对,动态调整曝光时间或sensor增益,进而控制图像亮度。
参考资料:
【1】https://blog.csdn.net/lgfun/article/details/99640748
【2】https://blog.csdn.net/lgfun/article/details/100581240
【3】https://blog.csdn.net/lgfun/article/details/99640748
来源:oschina
链接:https://my.oschina.net/u/4355947/blog/4534579