由于相机在成像距离较远时,随着视场角慢慢增大,能够通过照相机镜头的斜光束将慢慢减少,从而使得获得的图像中间比较亮,边缘比较暗,这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响。同时由于对于不同波长的光线透镜的折射率并不相同,因此在图像边缘的地方,其R、G、B的值也会出现偏差,导致CA(chroma aberration)的出现,因此在矫正渐晕的同时也要考虑各个颜色通道的差异性。
常用的镜头矫正的具体实现方法是,首先确定图像中间亮度比较均匀的区域,该区域的像素不需要做矫正;以这个区域为中心,计算出各点由于衰减带来的图像变暗的速度,这样就可以计算出相应R、G、B通道的补偿因子(即增益)。下图左边图像是未做镜头阴影校正的,右边图像是做了镜头阴影校正的。
由于感光器件制造工艺和电路问题,Gr,Gb数值存在差异,将出现格子迷宫现象可使用均值算法处理Gr,Gb通道存在的差异,同时保留高频信息。
另外一个说法是:Sensor芯片的Gr,Gb通道获取的能量或者是输出的数据不一致,造成这种情况的原因之一是Gr,GB通道的半导体制造工艺方面存在差异,另一方面是Microlens的存在,特别是sensor边缘区域,GB,Gr因为有角度差异,导致接收到的光能不一致。如果两者差异比较大,就会出现类似迷宫格子情况。主要是考虑G周围的G的方法进行平均化。
使用 cmos sensor 获取图像,光照程度和传感器问题是生成图像中大量噪声的主要因素。同时, 当信号经过 ADC 时, 又会引入其他一些噪声。 这些噪声会使图像整体变得模糊, 而且丢失很多细节, 所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、 高斯滤波等。
但是, 一般的高斯滤波在进行采样时主要考虑了像素间的空间距离关系, 并没有考虑像素值之间的相似程度, 因此这样得到的模糊结果通常是整张图片一团模糊。 所以, 一般采用非线性去噪算法, 例如双边滤波器, 在采样时不仅考虑像素在空间距离上的关系, 同时加入了像素间的相似程度考虑, 因而可以保持原始图像的大体分块, 进而保持边缘。
颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较,以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中,及可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正,以获得最接近于物体真实颜色的图像。
一般情况下,对颜色进行校正的过程,都会伴随有对颜色饱和度的调整。颜色的饱和度是指色彩的纯度,某色彩的纯度越高,则其表现的就越鲜明;纯度越低,表现的则比较黯淡。RGB三原色的饱和度越高,则可显示的色彩范围就越广泛。
伽马校正的最初起源是CRT屏幕的非线性,研究CRT电子枪的物理表明,电子枪的输入电压和输出光之间满足5.2幂函数关系,即荧光屏上显示的亮度正比于输入电压的5/2次方,这个指数被称为伽马。这种关系源于阴极、光栅和电子束之间的静电相互作用。由于对于输入信号的发光灰度,不是线性函数,而是指数函数,因此必需校正。校正原理如下图1-9所示:
但是实际情况是,即便CRT显示是线性的,伽马校正依然是必须的,是因为人类视觉系统对于亮度的响应大致是成对数关系的,而不是线性的。人类视觉对低亮度变化的感觉比高亮度变化的感觉来的敏锐,当光强度小于1lux时,常人的视觉敏锐度会提高100倍t2118]。伽马校正就是为了校正这种亮度的非线性关系引入的一种传输函数。校正过程就是对图像的伽玛曲线进行编辑,检出图像信号中的深色部分和浅色部分,并使两者比例增大,从而提高图像对比度效果,以对图像进行非线性色调编辑。由于视觉环境和显示设备特性的差异,伽马一般取2.2~2.5之间的值。当用于校正的伽马值大于1时,图像较亮的部分被压缩,较暗的部分被扩展;而伽马值小于1时,情况则刚好相反。
现在常用的伽马校正是利用查表法来实现的,即首先根据一个伽马值,将不同亮度范围的理想输出值在查找表中设定好,在处理图像的时候,只需要根据输入的亮度,既可以得到其理想的输出值。在进行伽马校正的同时,可以一定范围的抑制图像较暗部分的噪声值,并提高图像的对比度。还可以实现图像现显示精度的调整,比如从l0bit精度至8bit精度的调整。上图分别是未做Gamma校正的,下图是做了Gamma校正的。
不同场景下,光照的强度有着很大的差别。人眼有着自适应的能力因此可以很快的调整,使自己可以感应到合适的亮度。而图像传感器却不具有这种自适应能力,因此必须使用自动曝光功能来确保拍摄的照片获得准确的曝光从而具有合适的亮度。
AE 模块实现的功能是:根据自动测光系统获得当前图像的曝光量,再自动配置镜头光圈、sensor快门及增益来获得最佳的图像质量。自动曝光的算法主要分光圈优先、快门优先、增益优先。光圈优先时算法会优先调整光圈到合适的位置,再分配曝光时间和增益,只适合p-iris 镜头,这样能均衡噪声和景深。快门优先时算法会优先分配曝光时间,再分配sensor增益和ISP 增益,这样拍摄的图像噪声会比较小。增益优先则是优先分配sensor增益和ISP 增益,再分配曝光时间,适合拍摄运动物体的场景。
自动曝光的实现一般包括三个步骤:光强测量、场景分析和曝光补偿。光强测量的过程是利用图像的曝光信息来获得当前光照信息的过程。按照统计方式的不同,分为全局统计,中央权重统计或者加权平均统计方式等。全局统计方式是指将图像全部像素都统计进来,中央权重统计是指只统计图像中间部分,这主要是因为通常情况下图像的主体部分都位于图像的中间部分;加权平均的统计方式是指将图像分为不同的部分,每一部分赋予不同的权重,比如中间部分赋予最大权重,相应的边缘部分则赋予较小的权重,这样统计得到的结果会更加准确。场景分析是指为了获得当前光照的特殊情况而进行的处理,比如有没有背光照射或者正面强光等场景下。对这些信息的分析,可以提升图像传感器的易用性,并且能大幅度提高图像的质量,这是自动曝光中最为关键的技术。目前常用的场景分析的技术主要有模糊逻辑和人工神经网络算法。这些算法比起固定分区测光算法具有更高的可靠性,主要是因为在模糊规则制定或者神经网络的训练过程中已经考虑了各种不同光照条件。在完成了光强测量和场景分析之后,就要控制相应的参数使得曝光调节生效。主要是通过设定曝光时间和曝光增益来实现的。通过光强测量时得到的当前图像的照度和增益值与目标亮度值的比较来获得应该设置的曝光时间和增益调整量。在实际情况下,相机通常还会采用镜头的光圈/快门系统来增加感光的范围。
在进行曝光和增益调整的过程中,一般都是变步长来调整的,这样可以提高调整的速度和精度。一般来讲,增益和曝光的步长设定如下图所示:
从上图中可以看出,在当前曝光量与目标量差别在range0以内的时候,说明当前曝光已经满足要求,不需要进行调整;差别在rangel的范围内时,则说明当前曝光与要求的光照有差别,但差别不大,只需要用较小的步长来进行调节即可;当差别在range2的时候,则表明差别较大,需要用较大步长来进行调节。在实现过程中还需要注意算法的收敛性。
当计算出正确的亮度参数后,一般并不会让其立刻在下一帧图像就生效。这是因为如果增益变化较大,图像就会产生闪烁,主观感受不好。通常人们更喜欢画面平滑过渡,因此每帧图像的增益变化不宜过大。实现平滑的方法就是给新的参数人为施加一个阻尼,使其缓慢地向新参数过渡。用数学公式描述就是
g(n)= (1-s) * g(n-1) +s * g_target
不妨取 s=0.2,此时每个g参数包含80%的旧参数和20%的目标参数,经过若干帧后旧参数自然衰减,新参数收敛到目标参数,即 g(n)=g_target
从数学上看 (1-0.2)^10=0.1, (1-0.2)^30=0.001,说明10帧之后(约0.3秒)旧参数的比重下降到10%,30帧之后(约1秒)旧参数的比重可忽略。对于典型的安防应用场景,一般建议经过8 ~ 16帧图像过渡到理想亮度。而对于运动和车载型应用,由于场景动态变化大且快,一般建议经过3~4帧图像过渡到理想亮度。
线阵相机是采用线阵图像传感器的相机。其相较面阵相机具有高分辨率的特点,非常适合高精度测量行业的应用。
1、固定线扫描速度连续模式
(1)Fixed line rate固定扫描速度
(2)目标物体以恒定速度运行
(3)线扫描速度取决于行同步信号的频率
2、可变线扫描速度触发模式
(1)Line trigger线触发
(2)目标物体运行速度不定
(3)线扫描速度取决于外部触发脉冲时间
3、可变线扫描速度可变帧大小模式
(1)Line trigger线触发+Frame trigger场触发
(2)目标物体运行速度不定且大小不固定
(3)线扫描速度取决于外部触发脉冲时间
1.像素大小(Pixel Size): 指个别感应像素的实际尺寸大小,不论是长或宽,都以μm(Micrometer)为计量单位。像素愈大,则所需曝光成像时间较短,但却会牺牲些许空间分辨率。反之,像素愈小,则需较久的曝光成像时间,成像之后的影像分辨率,则较好。
2.AE(AutoExposure): 结合AGC及IRIS马达控制的使用,使工业相机能在很宽广的光线条件下使用。AGC能在很低亮度的条件下放大视讯信号,而IRIS能在高亮度下降低光线进入工业相机,马达光圈控制能被CCD IRIS控制所取代。
3.AGC(Automatic Gain Control) : 一种电路能自动地调整视讯信号的电子放大,来补偿因照明亮度位阶的改变。
4.AspectRatio: 表示影像的长宽比例,标准TV影像是4:3,宽视野是16:9。
5.ATW(Auto Tracking White Balance) : 在ATW模式下,白平衡会依被照体的色温不同一直被连续调整。
6.Backlight Compensation: 在AE模式下的一种特别补偿功能。当背景太亮或是物体太暗时背光补偿功能就会去修改自动曝光的动作使得物体更清晰。
7.BayonetMount: 一种工业相机的mount,介于镜头后面mounting面和工业相机的CCD面的距离: 有38mm 或 48mm。
8.C-mount: 一种工业相机的mount,在镜头后面mounting面到工业相机的CCD面距离为17.526mm是聚焦清楚的。
9.CCD(Charge Coupled Devices) : 个别光感应组件(称为Pixels)组合成矩阵或线形式的半导体装置,光学镜头把影像聚在此Sensor上,每一个Pixels累积和光成正比的电荷,然后传送读出。输出矩阵大小是感光元矩阵的一半就是interlace模式CCD,如是相同大小就是Progressive Scan CCD。
10.CCDIRIS: CCD Camera的电子快门的特别操作模式。快门Timing自动调整来维持相同视讯输出准位会降低工业相机Sensitivity。可使固定光圈镜头应用在光线变化环境下,常会和AGC功能一起使用。
11.EIA(Electronics Industries Association) : 黑白视讯标准,每个Frame有525条线及2个交错图场,每秒有30 Frames。NTSC的黑白版本常以RS-170 表示。
12.CCIR: 欧规黑白标准视讯信号,每个Frame有625条扫描线及2个交错图场,每秒有25Frames,PAL的黑白版本。
13.NTSC(National Television System Committee): 彩色信号标准,主要使用在美国、日本 。NTSC每张影像使用525条扫描线,每秒30个Frames,每个Frame是由2个图场以Interlace方式构成。
14.PAL(Phase Alternation Line) : 彩色讯号标准,欧洲是先驱使用者,也被使用在世界其它地方。PAL每张影像有625条扫描线,每秒有25Frames,每个Frame是由2个图场以Interlace方式构成。
15.Composite Sync: 把HD及VD组合成一个信号,常用在黑白系统中作同步或Genlock之用。
16.景深 (Depth of Field) : 最近和最远点之间的距离能聚焦清楚,受镜头焦距长及光圈大小影响。降低焦距长及光圈缩小,景深就会增加。
17.数字讯号处理 (DSP) : 工业相机内的动作,感光Sensor输出讯号在被显示及传送前必须被处理。一般处理的步骤有讯号放大,Gamma校正,Black Level校正,边缘加强,彩色处理,彩色平衡,彩色校正,输出讯号编码。影像质量是非常依赖这些处理器的精确性及稳定性。
18.电子快门(ElectronicShutter) : CCD Camera操作模式,积分时间可以缩短,不需任何机械装置被用来降低抓取快速移动物体产生的模糊现象。
19.图场 (Field) : TV影像的一半,由奇数线或偶数线组成。NTSC/EIA讯号规格是每秒60个262.5扫描线的图场。PAL/CCIR讯号规格是每秒50个312.5扫描线的图场。奇/偶图场对再合组成Frame。
20.Frame: 一个完全的TV影像,由两个交错扫描的图场所构成。NTSC/EIA规格每秒有30张Frame,每个Frame有525扫描线。PAL/CCIR规格每秒有25张Frame,每个Frame有625扫描线。
21.Field/ Frame Integration: 在CCD交错扫描输出中两种不同画素(Pixels)读出的技术以积分时间说明,Field积分时间(16.6ms NTSC / EIA或20ms PAL / CCIR) ,Frame积分时间(33.3ms NTSC / EIA 或40ms PAL / CCIR) 。在Field Integration 2条相邻的Pixels同时以一个Pixel输出。所以全部CCD是以图场(Field)输出,达到更高影像输出,但降低了垂直分辨率。现在此模式大部份应用在抓取高速移动影像。在FrameIntegration Pixels是个别读出的,在2 个图场(Field)后,全部CCD读出,全部垂直分辨率可以达到。Progressive Scan CCD 只能在Frame Integration下操作。
22.Gain: 讯号的电子放大功能。
23.Gamma: 为补偿Video Monitor CRT非线性问题面对工业相机输出讯号所作的校正法则。典型的Gamma值是0.45,它会使CRT的影像亮度呈现线性。
24.Genlock: 同步一组讯号和另外一组讯号的电路称之为Genlock。有3种形式Genlock:V-lock,HV-lock及Full-color。V-lock是用在从一台B/W或Color电源切换到另一台。HV-lock是用在B/W工业相机的全同步,需要HD+VD输入,同步输入或复合VS视讯讯号输入。Full Color Genlock 是用在影像要混合但色彩不衰减情形下,它需要VBS复合视讯输入。
25.HD(Horizontal Drive) : 用在由外部Source来同步工业相机线扫描速率的讯号,大部分和VD一起用在黑白工业相机应用。
26. IEEE 1394: 一种为高速数据传输的数字网络接口。目前速度频宽有200Mb/s及400Mb/s,800Mb/s正在规划中。IEEE 1394是一种介于计算机及Audio / Video产品的理想接口,因为它具备以低价位传送及时数据的能力,稳定及使用方便的特色。
27.Interlace Scanning: 一种扫描方法。半数的扫描线被扫成一个图场 (奇数线) ,另外一半扫描线被扫成另一个图场 (偶数线) 。当影像RefreshRate高于25/30 frame/sec时,交错扫描并不适用。
28.IT(Interline Transfer) : 是CCD传送的一种方法,把被感光画素的电荷立刻传送到旁边的不曝光垂直读出区。IT装置是容易制造且比FT (Frame Transfer)便宜,常用在工业及消费用的工业相机上。
29.Long-term Integration: 特殊工业相机模式,类似照相机上B快门设计,CCD积分一段长的(可自己定义) 周期,达到高的Sensitivity。物体必须静止不动,外部工业相机控制及Frame Memory是必须一起配合使用。
30.Minimum Illumination: 指工业相机调到最大的Gain,镜头光圈全开下能达到视讯输出准位的50%或100%的最小光量。
31.暗电流(Dark Noise Current): 在某特定工作温度的条件下,遮蔽CCD的感应器,使其避免任何光源的照射或感光,而经由感测组件本身产生的电荷数(Electrons)。噪声值的大小,以特定温度,每秒产生的电荷数为主要单位。
32.输出噪声(Readout Noise) : CCD正常工作时,除了真正有效的输出讯号外,因其它因素造成而随之输出的电荷数,皆称之。
33.量子效益(QuantumEfficiency) : 直接进入或投射在感测组件上的光子总数(Photons) ,与被传感器换成电荷数的比率,通常用百分比(%)来表示。
34.电位井容量(Fall-wellCapacity) : 每个图素所有容纳的电荷总数量。数目愈多,影像的动态范围(Dynamic Range)愈大;更能表现影像上,任何微小明暗度的变化。
35.MTF(Modulation Transfer Function) : 定义镜头的分辨率能力。大部分镜头在光圈开口中间位置时MTF是最佳的。
36.NDFilter (Neutral Density Filter) : 加在镜头前面来降低进入光线量的滤镜,它对彩色没有影响。
37.NFMount: 一种工业相机Mount,从镜头后面Mounting面到工业相机的CCD面有12mm聚焦距离。
38.Progressive Scan: 一种新的CCD设计,能同时抓取奇﹑偶图场。Progressive Scan在高速应用下能提供全部垂直分辨率输出。
39.Restart / Reset: 一种特殊模式,当CCD在读出周期时,由外面触发讯号终止,然后重新开始同步读出。
40.RS-232C: 计算机上顺序的(Serial)数据传输,可用来控制工业相机功能。
41.S/N(Signal To Noise Ratio) : 常以dB为单位表示,是正常讯号输出和电子讯号内的噪声比。
42.SquarePixel: 用来判定CCDSensor的Pixel中心和中心是否有水平和垂直等距离。当影像由Non-square pixel sensor抓取时,需要作软件校正才能达到正确影像几何。
43.模拟数字化(Analog ToDigital) : 是CCD工业相机输出影像讯号的格式。早期所制定的标准型的CCD,多采用模拟讯号输出。目前各厂商,则陆续推出内建模拟转数字(ADC)电路的数字化工业相机。工业相机所能提供的影像灰阶度,则取决于A/D转换电路的位数。譬如,8位工业相机,可提供28=256灰阶影像输出,而10位,则代表1024灰阶度表现力,依此类推。
44.频谱特性(SpectralCharacteristics) : CCD传感器对外界不同波长的光,对应的响应系数(Responsibility)或感应强度。一般常见的工业相机最佳频谱特性,多半座落于可见光范围,即400~800nm。
45.StrobeSynchronization : 此功能设计来抓取快速移动物体,在黑暗的环境下打闪光以获得全Frame影像。此项功能需和影像卡搭配使用。
46.VBS(Video+Burst+Sync) : 复合视讯讯号,包括彩色信息。
47.VS (Video+Sync): 复合黑白视讯讯号,常用作在黑白系统的Genlock信号。
48.VD(Vertical Drive) : 经由外部来源来同步工业相机图场速率的信号,经常和HD一起应用在黑白系统中。
49.WB(White Balance) : 在彩色工业相机,白平衡是调整CCD彩色差别数值讯号的手续,所以影像中由特殊光源所照明白色物体,显示成白色或灰色 (即没彩度)。工业相机不像是人的眼睛会自动寻找,它是绝对量测装置,它的彩色平衡必须调整去适应反射光源的色温。
50.Y / C (Also Called S-Video): 视讯讯号分离成Luminance及Chrominance 2部分输出的讯号,可以得到较高影像分辨率,接头是4pin Mini-DIN。