008-关于FPGA/ZYNQ直接处理图像传感器数据输出的若干笔记(裸板采集思路)

发布时间:2024年01月11日


前言

最近也是未来需要考虑做的一件事情是,如何通过FPGA/ZYNQ去做显微镜图像观测下的图像采集传输与后续的处理。目前显微镜观测领域通常是以PC端连接工业相机接口,这个接口可以是USB3.0,可以是网口,也可以是其它传输方式。常常通过工业相机输出的为视频流数据,厂商会提供对应的协议,只需要用他们的软件去进行控制即可,但这种方式,明显不自由,也会受一些限制。如果能够做一款自己的工业相机出来,是不是会把这种限制给解决。

当然,这个要解决的问题需要很多,我最近也在研究和调研这个方向的知识。目前国际上做图像传感器做的比较好的有很多厂商,外国的厂商是占据明显优势的,当然我们国内的厂商也不容小觑,豪威,格科微,思特威,长光辰芯,锐芯微蓬勃发展。就显微镜图像观测这个领域,国内也在不断的发力,相信在未来能取得更大的发展。未来我或许也会从事这个行业的工作,希望能为国产显微镜这个领域,贡献出自己的一份力量,虽说道阻且长,但是一辈一辈人的奋斗,总能够在未来取得成效。为了让更多人了解这个方向和市场,更多的发散自己的思维,今天决定写这篇文章简单的将一些知识做一些汇总,后续如果有一些成果我也会与大家分享一下(碍于是为平台做的设计,所以核心的东西没有办法分享,但是思路是共享的)


一、图像传感器厂商

从CIS供应商来看,索尼和三星一直都是属于图像传感器行业的龙头老大,据网上搜到的数据和信息,2020年索尼在销售额占比约为40%,三星22%,国内的龙头豪威占12%,ST占6%,国内格科微占4%,安森美占4%,SK海力士占2%,思特微占1%。前十里面有三家国产的CIS厂商,总共营收占比合计17%。国内还有一些做的比较好的图像传感器厂商,例如长光辰芯,瑞芯微等等。

我们不评价整体大的市场形式,但国产化肯定是未来中国市场的主流,无论是FPGA,ZYNQ还是各类芯片(包括图像传感器),经历了卡脖子事件,我相信无论是国家还是各个企业,都已经在筹备许多器件国产化的替代。这个过程虽然会比较漫长,但是未来肯定是我们主要投入心思进去的一个方向。

在做这个图像传感器数据采集的过程,既然sony这个品牌卖的最好,销量最高,就先要搞清楚人家的一个参数,对比外国产品和国内产品的一个差距,只能说,人家确实做的不错,产品面也做得很全。这方面网上有很多调研,今天写这篇文章的主要目的不是这个。

二、图像传感器的参数解析

1、分辨率:相机能够输出像素点的多少,比如分辨率为4096*4096,则代表感光区域为正方形,边长为4096个像素点。

2、光学尺寸:传感器的大小

3、像素尺寸:传感器中像素点的宽度和高度尺寸大小

4、感光面积:相机或传感器上光敏元件的面积大小,通常以平方毫米为单位

5、快门类型:卷帘快门或者全局快门

6、峰值量子效率:特定条件下,光电器件再单位时间内能转换为电信号的最高效率

7、满阱容量:是指填满一个像素所需要的电子数,因此更大的像素面积将容纳更多的电子数

8、输入时钟频率:同步电路中时钟的基础频率

9、读出噪声:相机测量它在一次信号采集中捕获到的每个像素的光子数量时,总是存在一定程度的误差,这种不准确性被称为读出噪声

10、暗电流:镜头无光线透过的条件下观测到的电流,是传感器成像过程中的一种非理想因素

11、动态范围:相机能够捕捉到的最大和最小亮度的比率

12、最高帧率:每秒能够采集并输出的最大帧率

13、输出接口:LVDS,MIPI接口等等,高速图像数据传输接口

14、最大数据率:Gbps/s这种格式,每秒能传输多大的像素数据量。

15、色彩:彩色数据或者黑白数据

16、功耗:传感器运行过程中消耗的功率

17、供电电压:传感器正常工作的电压大小

18、封装形式:具体的封装规格

三、图像传感器中的全局曝光和卷帘曝光

一般而言,CCD相机是全局曝光,而CMOS相机则存在卷帘曝光。

全局曝光就是光圈打开后,整个图像芯片同时曝光,因此曝光时间与机械的开关速度有关,那么就存在理论上的最小曝光时间。

卷帘曝光的方式与卷帘概念相关。这种方式是光圈打开后,还存在具有一定间隔的卷帘来控制传感器的曝光时间。卷帘的方式是从左到右的。因此,曝光时间长短完全取决于卷帘的开口大小与卷帘的运动速度,也就是说卷帘运动的越快,眷恋间距就越小,其传感器的曝光时间就越小,因此意味着卷帘曝光方式能够有更小的曝光时间。

全局曝光优点是所有像素点同时曝光。缺点是曝光时间存在局限,存在机械极限的最小曝光时间。

卷帘曝光的优点是具有更小的曝光时间。其缺点是由于逐行的是在不同时间进行曝光取向,如果图像是高速运动的,则存在明显的拖影。因此,卷帘曝光不适合拍摄高速运动的物体。

总结来说就是对于拍摄运动速度快的物体全局曝光有优势,静态物体卷帘曝光速度快,曝光时间短。无论何种方式,FPGA都能够进行处理,像素点的输出方式已经确定了,只需要采集数据即可

曝光时间的问题就是相机采集图像过程中的两个部分。第一部分是曝光,第二部分是曝光后,从传感器的寄存器中读出数据并传送出去。曝光时间越长,拍摄速度越慢,但是曝光时间越短,进光量就会变少,此时就需要调大光圈,增加光照,才能保证图像的亮度。
在这里插入图片描述
逐行曝光sensor 实现如上图逐行曝光模式所示。与全局曝光不同,逐行曝光从第一行开始曝光,一个行周期之后第二行才开始曝光。依次类推,经过N-1 行后第N 行开始曝光。第一行曝光结束后开始读出数据,读出一行需要一行周期时间(含行消隐时间)。至第一行完全读出后,第二行刚好开始读出,依次类推,当第N-1 行读完后,第N 行开始读出,直到整幅图像完全读出。逐行曝光的sensor 技术难度较全局曝光sensor 低,价格便宜,且分辨率较大,对于一些静态图像拍摄是不错的选择。

全局曝光Sensor的所有行同时开始曝光,并同时结束曝光,在曝光结束后,Sensor将所有电子从感光区转到存储区,之后逐行地读出像素数据。这样曝光的好处是获得图像每一行的曝光时间比较一致,并且在拍摄运动物体时图像不会出现偏移和歪斜。

不管是全局曝光还是卷帘曝光,我们都不用担心FPGA采集的问题。这两者的区别主要是在于针对的方向不同,全局曝光在动态物体运动拍摄上有优势,但是存在机械限制,卷帘曝光的帧率可以很高,但是拍摄速度快的物体就容易出现重影的问题。

四、处理传感器图像数据流程

1.研究当前图像传感器输出格式

一般的图像传感器输出方式都是LVDS信号输出,我们需要做一个图像传感器底板,让图像传感器芯片能够正常工作,并且将图像传感器能够输出的信号接口引出底板,以FPC排线的方式或者直接集成到我们的主控FPGA上。以我的板子为例,由于只有mipi2lane的接口,因此就需要将lvds转成2lane的mipi接口数据,在板子上进行解析。

一般的图像传感器都会说明数据传输的格式,以下图为例,图中的左下角就是数据流的输出接口,通过搜集手册也可知道其属于CSI的接口,我们就可以用MIPI接口进行数据的解析,这个过程需要我们进行数据的采集和解包,具体的拆解过程要对照图像传感器芯片手册的输出格式来。
在这里插入图片描述
再例如下图,这个芯片就采用lvds 8通道输出,我们就需要对照其输出格式做一个lvds的传输底板,再转换成我们能接收的数据解码。这个过程一定要对准好,完成了数据的解析基本上工作就已经完成了一大半了(前提是底板电路做好了,而且你高速接口板子也没什么问题)
在这里插入图片描述

2.FPGA处理图像数据

LVDS图像采集主要分为几个阶段:

1、图像数据源的行程

2、数据信息的处理和缓存

3、帧数据的转发。

图像传感器作为图像数据的来源,为系统提供高分辨率的可见光和红外图像,考虑系统的实时性和高可靠性因素,一般的图像传感器都是采用LVDS接口实现数据长距离高速传输,解决传输瓶颈的问题,图像数据进入FPGA之前通过数据格式转换接口,采用MAX9218实现,将串行的数据转换成并行数据接口(这个是网上的一种方案,真正可实现的方案有很多,选择最适合你的去做,我也在学习之中,后期有好的方案会分享)。

高速图像传感器?LVDS接口板?接口转换?接受缓存?乒乓存储?图像缓存显示。
最难的就是图像数据及相关参数信息的采集、缓存、组帧和图像数据的转发。FPGA根据图像源中帧同步、行同步、图像选择信号接收解串图像,存储至缓存区,并将图像附带的参数信息写入缓存后部,经组帧状态机形成所需的图像数据帧。

数据帧被FPGA进行解码以后再通过一系列的图像处理方式。比如如果是8bit的bayer数据输出,就需要经过时钟域同步,反马赛克,bayer转rgb888,rgb888转ycbcr等等一系列的操作,这些操作主要是为了获得我们所需的图像数据。若你想存储至PL端,则通过MIG核实现数据存储至DDR中,若你想存储到PS端,则通过AXI_DMA将数据传输至PSDDR,后续想要做一些图像的传输就通过PS端以太网,或者USB接口传输数据。


总结

今天吃的是湖南大碗菜,不得不说,农家一碗香就是嘎嘎好吃

文章来源:https://blog.csdn.net/qq_44858397/article/details/135526216
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。