29、Convnet For BCI:人类第一次深思CNN构架，用于脑机接口编码解码

前言：

本文所讲论文是人类第一次真正认真思量[CNN构架如何设计，以适用于BCI数据]的问题，比EEGNet(2018年美国陆军实验室提出)For BCI模型早一年，看完本文豁然开朗，补上了自己BCI CNN发展最重要的一块基石，真的没想到，自从CNN用于BCI领域后，CSP及其变体是CNN必须面临的一座高峰。对于CNN，CSP这座阴影，在此论文中随处可见。基于论文篇幅过长，不会全讲。

论文：

《Deep Learning With Convolutional Neural Networks for EEG Decoding and Visualization》

单位：

德国弗莱堡大学计算机科学系机器学习自动化算法设计实验室

弗莱堡大学医学中心癫痫中心转化神经技术实验室

弗莱堡大学brainlinkbraintools卓越集群

弗莱堡大学计算机科学系脑态解码实验室

德国弗莱堡大学计算机科学系自主智能系统实验室

于2017年9月发表于《Hum Brain Mapp》IF:4.8/JCR：Q1

代码：

https://github.com/robintibor/braindecode/.

0、Abstract

卷积神经网络(Deep ConvNets)的深度学习通过端到端学习(即从原始数据中学习)彻底改变了计算机视觉。人们对使用深度卷积神经网络进行端到端脑电图分析越来越感兴趣，但仍然需要更好地理解如何设计和训练卷积神经网络进行端到端脑电图解码，以及如何将卷积神经网络学习的信息脑电图特征可视化。在这里，我们研究了具有一系列不同架构的深度卷积神经网络，这些架构旨在解码来自原始EEG的想象或执行任务。我们的研究结果表明，机器学习领域的最新进展，包括批归一化和指数线性单元，以及裁剪训练策略，提高了深度卷积神经网络的解码性能，至少达到了与广泛使用的滤波器组公共空间模式(FBCSP)算法一样好的性能(平均解码准确率82.1% FBCSP, 84.0%深度卷积神经网络)。虽然FBCSP被设计为使用频谱功率调制，但卷积神经网络所使用的特征并不是先验固定的。我们将学习到的特征可视化的新方法表明，卷积神经网络确实学会了在alpha、beta和高gamma频率中使用频谱功率调制，并且在空间上证明了它的实用性。

通过揭示不同频带特征对解码决策的因果贡献的地形来映射学习到的特征。因此，我们的研究展示了如何设计和训练卷积神经网络来解码来自原始脑电图的任务相关信息，而不需要手工制作的特征，并强调了深度卷积神经网络与基于脑电图的高级可视化技术相结合的潜力。

1、Introduction：

本论文解决了两个关键问题：

1.卷积模型的设计选择(例如，模型整体构架或其他设计选择，激活类型等)对解码精度的影响是什么？

2.卷积神经网络训练策略(例如：对整个片段试验/其中)

本论文主要贡献如下：

1.首次证明，在没跨被试的情况下，端到端训练的深度卷积神经网络在解码EEG任务相关信息时，至少可以达到与FBCSP相同的精度范围。

2.我们在EEG解码任务上评估了大量的卷积神经网络设计选择，并且我们表明，最近从深度学习领域开发的方法，如批归一化和指数线性单元，对于达到高解码精度至关重要。

2、Method：

本文设计的CNN模型以FBCSP为基准模型，因为：

FBCSP [Ang等，2008;Chin et al .， 2009]是一种广泛使用的解码振荡脑电图数据的方法，FBCSP是BCI IV 2a中表现最好的方法。FBCSP还赢得了其他类似的EEG解码比赛[Tangermann et al .， 2012]。因此，我们认为FBCSP是本研究中评估卷积神经网络性能的合适基准算法。

FBCSP工作步骤：

1.Bandpass filtering:采用不同的带通滤波器将原始脑电信号分离到不同的频带（4hz一段）

2.Epoching:将连续的EEG信号做切段处理

3.CSP计算：采用公共空间模式(common spatial patterns, CSP)算法对每个频带提取空间滤波器。CSP旨在提取空间滤波器，通过空间滤波的试验信号的功率使试验可区分。

4.空间滤波：将步骤三计算的空间滤波应用于步骤2切好的EEG信号

5.特征构建：特征值由滤波后的信号构建，具体的：特征向量是对每个频带和每个空间滤波器进行空间滤波后的对数方差

6.分类：根据特征向量预测试验标签

3、CSP原理解读

一句话总结CSP：

共空间模式算法的基本原理是利用矩阵的对角化。找到一组最优空间滤波器进行投影，使两类信号的方差差异化最大，从而得到具有较高区分度的特征向量(滤波器)。

CSP算法过程：

1.分段:原始EEG数据按照类别进行分段，例如：两类样本数据E可分为第一类：E1；第二类：E2

2.计算E1、E2的协方差矩阵：

trace()=矩阵R的迹；R1=第一类E1数据的空间协方差矩阵的期望；R2=第二类E2数据的空间协方差矩阵的期望

则，所有类别的协方差之和：

R = R1+R2

问题：

CSP论文给出的计算R1、R2的协方差公式，根本不是计算协方差的标准形式，标准形式应为：

标准形式是去均值后的数据再进行对列运算，上述R1、R2协方差求取公式，对原始EEG信号矩阵X进行转置运算是为了对行计算，因为EEG信号数据一般按行进行存储，但并没有减去均值或者求取平均

经过查阅得知：EEG数据经过滤波后，均值已经为零，所以公式中不必再减去均值。

并且，为何求取协方差R1、R2要使用迹：

是为了使用正则化，以消除不同实验对值的影响

3.特征值排序获取白化矩阵：

简言之：排序是为了找到影响最大的特征向量(滤波器)，而滤波器对应的是你自己设置的滤波频段范围，假如，F3滤波器(16-20Hz)特征向量值最大，则该频段特征数据对于模型分类性能影响最大(最有利)

4、FBCSP

1、FBCSP是什么?

公共空间模式(CSP)算法是脑电信号分类中最有效特征提取算法之一。滤波器组公共空间模式（FBCSP）算法是在CSP算法的基础上增加了滤波器组，将原始脑电信号划分为多个子频段信号，再分别对每个滤波后的子频段信号使用CSP算法提取空间能量特征。FBCSP在较小的频率尺度范围内对有效数据进行分析，增加了信噪比，并在一定程度上实现了滤波器的个体自适应。

2、FBCSP原理：

1. 对频带进行切片；

2. 对切片后的各个子频带进行CSP滤波；

3. 对进行CSP滤波后的特征进行特征选择；

4. 将特征选择后的数据放到各个分类模型里面进行分类。

5、参考：

《Multiclass Common Spatial Pattern for EEG based Brain Computer Interface with Adaptive Learning Classifier》

FBCNet：完美融合FBCSP与CNN的用于BCI的模型，请参考我的另一篇博客：

25、新加坡南洋理工、新加坡国立大学提出FBCNet：完美融合FBCSP的CNN，EEG解码SOTA水准！[抱歉老师，我太想进步了！]-CSDN博客