Camera理论知识和基本原理（2）

4. 摄像头

摄像头的通用硬件结构如上图所示。利用透镜折射原理，景物光线透过镜头在聚焦平面上形成清晰的像，然后通过感光材料CMOS或CCD记录影像，并通过电路转换为电信号。2

Lens一般是有几片透镜组成，按材质可分为

Plastic ：塑胶透镜
Glass ：玻璃透镜
Glass比Plastic贵。在透光率和感光性等光学指标上也比Plastic要好。手机考虑到成本，一般使用的是Plastic。
?

结合以上2种结构，摄像头采用的镜头结构有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色。

5. 传感器 Sensor

????????负责将Lens的光信号转换为电信号，再进过内部AD转换为数字信号。
由于 Sensor 的每个 pixel 只能感光 R 光或 B 光或 G 光，因此每个像素此时存贮的是单色的，称之为 RAW DATA 数据。
想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。
目前常用Sensor主要有CCD和CMOS：
5.1 CCD（Charge Coupled Device) 电荷耦合器件传感器
????????高感光度半导体材料制成，由许多感光单位组成，通常以百万像素为单位。
当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。
5.2 CMOS（Complementary Metal-Oxide Semiconductor）互补性氧化金属半导体
????????硅和锗做成的半导体，使其在CMOS上共存着带N(-)和P(+)级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。
CMOS传感器主要以美国、韩国和中国台湾为主导，主要生产厂家是美国的OmnVison、Agilent、Micron，中国台湾的锐像、原相、泰视等，韩国的三星、现代。
5.3 CCD VS CMOS
5.3.1 CCD特点
????????技术成熟、成像质量高、灵敏度高，噪声低，响应速度快，有自扫描功能，图像畸变小，无残像、应用超大规模集成电路工艺技术生产，像素集成度高，尺寸精确
5.3.2 CMOS特点
????????读取信息的方式简单、输出信息速率快、耗电省（仅为CCD芯片的1/10左右）、体积小、重量轻、集成度高、价格低等特点。

5.3.3 特点分析

如图-CCD和CMOS的感光二极管排列。

CCD阵列，是在仅有一条总线后加A/D转换(紫色箭头，见2. Basic Concept)。在时钟信号同步下，一步步移位读对应二极管的电平值。
CMOS阵列，是在每个感光二极管旁都加入了A/D转换。是主动式输出采集的数据信息，而CCD是在同步电路控制下被动式的输出采集的数据。
因此我们详细在性能，耗电，画质等方面做初步比较

性能

CCD需在同步时钟控制下以行为单位一位一位输出信息，速度当然慢不适合快速连拍，保存图像速度慢。
CMOS阵列有坐标嘛，传感器采集光信号的同时就可以取出电信号，保存图像速度快。
耗电

CCD耗电大，在同步信号控制下一位位读取，需要时钟控制电源和三组电源供电。
CMOS耗电小。CMOS传感器经光电转换后直接产生电流或电压信号，信号读取十分简单，而且感光二极管所需的电压，直接由晶体放大输出，所以需要施加在源极的电平很小
画质

CMOS是主动式输出数据，阵列上每个点都要经过两条传输总线，路程长，传输时的噪声引入多。
CMOS阵列的每个二极管旁边都有A/D，光电传感元件与电路之间距离很近，相互之间的光电磁干扰较为严重，放大的同时可能带入的噪声也大。
CMOS因为二极管旁带有A/D电路，同样尺寸的sensor，二极管能受光线面积小，一部分光线被浪费了，受光弱于CCD的感光二极管，带入的一点小噪声就会被放大。
发展

CCD传感器制作技术起步较早，技术比较成熟。近年来，CMOS技术发展一日千里，在中小尺寸传感器上，CMOS和CCD的画质区别已经很小。

5.4 传感器尺寸和画质的关系

传感器尺寸大小对于画质的影响，就是采集光线数据的正确性和完整性的不同。

传感器面积越大，感光阵列面积就越大，相邻感光电路的距离就越大，加电时产生的电磁干扰就越小。
传感器面积越大，感光阵列面积就越大，对应单个像素的透镜就能做的越大，聚集到的光线就越多，感光二极管受光后产生的输出电平就越高。带来更高的信噪比，转换后的信息处理正确率就越高

6. ISP and DSP

由于本人专业知识有限，不深入进行总结分析，感兴趣可参阅数字信号处理等相关书

????????ISP 处理Image Sensor（图像传感器）的输出数据，如AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Gamma校正、祛除坏点、Auto Black Level、Auto White Level 等等。
????????DSP功能较多，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。
可以认为ISP是一类特殊的处理图像信号的DSP。
数字信号处理芯片，感兴趣的可参阅5

7.图像

7.1 像素
一部手机屏幕的分辨率是1280×720，说明水平方向有720个像素点，垂直方向有1280个像素点，有1280×720个像素点（分辨率）。每个像素点都由三个子像素点。当要显示某篇文字或者某幅图像时，就会把这幅图像的每一个像素点的RGB通道分别对应的屏幕位置上的子像素点绘制到屏幕上，从而显示整个图像7。

7.2 RGB表示方式
通用图像数据格式，理论上任何颜色都可以用红绿蓝三种基本颜色混合而成。有RGB888、ARGB8888、RGB565等格式(Android)

RGB565：共16比特，占2个字节。G站6位是因为人的眼睛对绿光最为敏感，可表示颜色数为2^16 = 65536色。
RGB888：共24比特，占3个字节，可表示颜色数为2^24 = 1677W。
ARGB8888：共32比特，占4个字节，可表示颜色数为2^32。
7.3 YUV表示方式
对于视频帧的裸数据表示，更多的是YUV数据格式，主要应用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。相比RGB它最大的优点在于只需要占用极少的频宽（RGB要求三个独立的视频信号同时传输）。8

Y：Luma 明亮度，也称灰阶值，以前的黑白电视，是只有Y信号而没有UV信号。
UV：Chroma 色度，色彩及饱和度，用于指定像素的颜色。 “色度”定义了颜色的两个方面——色调(Cr)与饱和度(Cb)
Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异
Cb反映的则是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
7.4 YUV采样格式
主流有如下三种

YUV 4:4:4 采样
YUV 4:2:2 采样
YUV 4:2:0 采样