相机拍摄物体的大致过程为:物体反射(或照射)的光线经过镜头,到达图像传感器,图像传感器把光信号转换为电信号,然后模数转换器件把电荷信号转换成数字信号,数字信号经过放大电路进入微处理器,数字信号经过ISP运算处理之后传输到存储器中存储为图像。 示意图如下:
1. 图像传感器
图像传感器是相机的主要组件之一,对成像质量影响很大。
传感器将从镜头上传导过来的光线转换为电信号,再通过内部的DA转换为数字信号。由于传感器的每个pixel只能感光R光或者B光或者G光,如下图,因此每个像素此时存贮的是单色的,我们称之为RAW DATA。要想将每个像素的RAW DATA还原成三基色,就需要信号处理器ISP来处理。
图像传感器主要分两种,CCD(charge-coupled device,电荷耦合器件)和CMOS(complementary meta-oxide semiconductor,互补金属氧化物半导体)。CCD传感器成像质量好,图像明锐通透,细节丰富,色彩还原度好,但是成本较高,耗电功率高。CMOS传感器成像质量稍差,但耗电功率较低,成本也比DDC低。当今手机中主要还是采用CMOS传感器。CMOS传感器中集成了模数转换器,CCD传感器没有集成了模数转换器。
2. 图像信号处理器
图像信号处理器(Image Signal Processing,ISP)的作用就是对图像传感器传输过来的信号进行运算处理,最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果。ISP能够在很大程度上决定相机最终的成像质量。
ISP 的主要功能特性包括:
-
DEMOSAIC
DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA,光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成,每种遮光罩只允许一种颜色通过,因此每个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据,即通常所说的 RAW 数据。显而易见,RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将将每个像素所代表的真实颜色计算出来。
-
FOCUS
根据光学知识,景物在传感器上成像最清晰时处于合焦平面上。通过更改 LENS 的位置,使得景物在传感器上清晰的成像,是 ISP FOCUS 功能所需要完成的任务。FOCUS 分为手动和自动两种模式。ISP 可以运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。
-
EXPOSURE
曝光。EXPOSURE 主要影响图像的明暗程度。ISP 需要实现 AE 功能,通过控制曝光程度,使得图像亮度适宜。
-
WB
白平衡。白平衡与色温相关,用于衡量图像的色彩真实性和准确性。ISP需要实现 AWB 功能,力求在各种复杂场景下都能精确的还原物体本来的颜色。
-
LSC
用于消除图像周边和图片中心的不一致性,包含亮度和色度两方面。ISP 需要借助 OTP 中的校准数据完成 LSC 功能。
-
GAMMA CORRECTION
伽玛校正。传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。
-
CROP/RESIZE
图像剪裁,即改变图像的尺寸。可用于输出不同分辨率的图像。
-
VRA
视觉识别。用于识别特定的景物,例如人脸识别,车牌识别。ISP 通过各种 VRA 算法,准确的识别特定的景物。
-
DRC
动态范围校正。动态范围即图像的明暗区间。DRC 可以使得暗处的景物不至于欠曝,而亮处的景物不至于过曝。ISP 需要支持 DRC 功能。
-
CSC
颜色空间转换。例如,ISP 会将 RGB 信号转化为 YUV 信号输出。
-
IS
图像稳定。IS 的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS 有很多种,例如 OIS、DIS、EIS。ISP 可以实现 DIS 和 EIS。
事实上,ISP 除了上面提到的主要功能外,还需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等调整功能。
【参考文献】
手机摄像头的技术结构与原理:http://www.sohu.com/a/229372898_257861
手机摄像头的组成结构与工作原理:https://www.cnblogs.com/straybirds/p/7350535.html
相机系统综述--ISP:https://blog.csdn.net/xiangz_csdn/article/details/53172741