【BI&AI】Lecture2-Visual system

Lecture 2 - Visual System

专业术语

central nervous system(CNS) 中枢神经系统
pupil 瞳孔
iris 虹膜
cornea 角膜
retina 视网膜
fovea 中央凹 或 黄斑区
kens 晶状体
optic nerve 视神经
Bipolar cells 双极细胞
Ganglion cells 神经节细胞
rods 杆状细胞
cones 锥状细胞
Synaptic terminal 突出末梢
Depolarization 去极化
action potential 动作电位
interneurons 中间神经元
lateral geniculate nucleus（LGN） 脑的侧膝体核
ventral pathway 腹侧通路
dorsal pathway 背侧通路

课程大纲

Evolution of the eye

Function of the Visual System

The visual system is a part of the central nervous system (CNS) that gives organisms the ability to detect, process,interpretinformation from visible light, with the goal of building a representation of the surrounding environment.(视觉系统是中枢神经系统的一部分，它赋予生物体检测、处理、解释可见光信息的能力，旨在构建周围环境的表征。)

眼睛不是相机，不是图片成像，是电信号的处理。

Structure of the Eye

但是眼睛和camera很像

• Lens + Cornea: help focus light onto the eye, like camera lenses.(晶状体 + 角膜：帮助将光线聚焦到眼睛上，就像相机的镜头一样。)
• Photoreceptors(感光细胞) in Retina: convert light energy into neuronal activity, like camera sensors.(视网膜中的感光细胞：将光能转化为神经活动，就像相机传感器一样。)
• pupil: to adjust based on illumination of lighr, like aperture of the camera.(瞳孔：根据光照的强弱进行调节，就像相机的光圈一样。)
• optic nerve: transmit the image signal to the brain, like camera electronics.(视神经：将图像信号传输到大脑，就像相机的电子部件一样。)

Retina

视网膜如何将光信号转化为电信号？
光信号最先传到最里面一层的感光细胞（rods and cones），然后到Bipolar cells，再到Ganglion cells。最后经过视神经传输到大脑。

Rods and Cones

Rods(120 millions)：more sensitive to light than the cones, not sensitive to color. (night)
Cones(6~7 millions): color sensitivity, concentrated in the central yellow spot known as macula.(day)

Signal conversion

• Outer segment: Electromagnetic -> Chemical（当光线进入外段时，光能被感光色素吸收，触发一系列的化学反应，将光信号转化为化学信号，从而引发视觉传递过程）
• Inner segment: Chemical -> Eletrical（内段是视觉感受器官中感光细胞的一部分，它接收来自外段的化学信号，并将其转化为电信号。在内段中，化学信号被转化为电位变化，这是由于化学反应在细胞膜上产生了离子流动，从而形成神经电信号）
• Synaptic terminal: Electrical -> Chemical（突触末梢是神经元之间信息传递的位置，当电信号（神经脉冲）到达突触末梢时，它会引发一系列的化学反应，将电信号转化为化学信号。这些化学信号以神经递质的形式释放到突触间隙中，然后通过与下游神经元的接收器结合，再次转化为电信号，从而实现神经信息的传递和传导）

Human：one type of Rods, three types of Cones

因为视锥细胞(cones)是对色彩的感知，所以就是对应rgb三种颜色的设计，分别对应蓝光波长，绿光波长，红光波长。
而所谓的色弱其实就是缺少某一种cones。红绿色盲缺少m-cones。
Fish和birds有四种cones，所以它们看到的色彩更加丰富。

Electrical signals are generated

用光刺激Bipolar细胞和Ganglion细胞，得到的膜电位变化图如下：

Q: 纵轴depolarization解释？
A: “Depolarization” 的中文翻译是 “去极化”。在神经生理学中，去极化是指细胞膜电位向正方向变化的过程。当细胞膜电位由负值变为更接近于零或正值时，我们称之为去极化。这种改变通常是由离子通道的打开，导致正离子（如钠离子或钙离子）进入细胞，或者负离子（如氯离子）离开细胞所引起的。

我们可以看到，刚开始膜电位为负值，因为此时是静息状态，当time=0，接受到光刺激时，膜电位发生去极化。
针对Bipolar细胞，不同刺激的光，去极化的程度也不同，并且去极化时间没有滞后。
针对Ganglion细胞，去极化会有一个滞后时间。

Action Potential are generated by Ganglion cells

虽然去极化是细胞膜电位的一种状态，但与动作电位（action potential）相比，它在神经系统中的信息传递和功能上有一些限制。
如：

• 信号传递距离：去极化是一种局部的电位变化，它只在细胞膜附近发生。它的传播范围有限，不适合传输长距离的信号。相比之下，动作电位能够在神经元的轴突上迅速传播，实现长距离的信号传递。
• 强度和可靠性：去极化的幅度和持续时间通常受到刺激的强度和持续时间的影响，因此去极化的变化可能会相对较小且不稳定。相比之下，动作电位是一种快速、突然、大幅度的电位变化，具有更明确的阈值和可靠的产生，从而更有效地传递和解码信息。

因为去极化的值变化非常小，无法区分噪声和信号，但是动作电位的峰值非常明显。如下图所示。

Information Integration by Ganglion Cell

上图是视网膜不同的照明模式，即光线在视网膜上形成的分布。
模式（A），当视网膜中间区域亮，四周暗，就会导致视网膜上中间排列的感光细胞被激活，然后信息传到Ganglion cell，那么这个信息可能会导致Ganglion cell最大化激活。
模式（B），中间暗四周亮的时候，四周的信息可能会抑制Ganglion cell。
模式（C），中间和四周都亮的时候，有的信息激活Ganglion cell，有的抑制Ganglion Cell。
所以不同的模式会有不同的Ganglion cell。

Visual pathway: from the eye to the cerebral cortex

信息首先在Rods和cones上实现转换，再在Interneurons上实现模拟电路的处理，在Ganglion上实现模拟到数字的转换，然后通过Optic fiber把数字电路的信息传到大脑里面，最后通过LGN映射到不同的V1（视觉皮层）的神经元上去，到了大脑皮层后进行更高级的处理，分为ventral pathway和dorsal pathway。（关于背侧通路和腹侧通路的介绍，大家可以参考这篇博客BCI-Two-streams hypothesis（双流假说））

Discussion

Q1: Whether can we predict the neural signals based on the input image?

答案是可以通过输入图像预测神经元的活动，设计的网络的每一层可以映射到不同层的神经元活动的。如下图所示，这种映射是简单的线性预测。

Q2: Whether can we reconstruct the image based on neural signals?

答案是可以的，但是因为是上采样，所以实现难度较大。

Q3: Whether can mechanism of visual system help AI improve performance?(BI inspires AI)

答案是可以，如下图的一个工作VOneNet。将CNN的第一层用V1替换，V1是由卷积层+非线性层+随机层构成的。（VOneNet的V1模块是根据对大脑V1区域的研究和观察设计的，它尝试通过卷积层和特定的滤波器来模拟V1神经元对边缘、方向和纹理等低级视觉特征的感知。）