【Gene Expression Prediction】Part3 Deep Learning in Gene Expression Analysis

来自Manolis Kellis教授（MIT计算生物学主任）的课
YouTube：(Gene Expression Prediction - Lecture 09 - Deep Learning in Life Sciences (Spring 2021)
Slides: slides
本节课分为四个部分，本篇笔记是第三部分。
主要是Xie Lab的一个讲座，讨论其组里的一些工作。在基因表达分析中应用深度学习。从介绍D-GEX开始，用于从关键基因预测基因表达的模型。接下来，将深度生成模型在基因组学中的应用，包括流形假设、自编码器，以及变分自编码器。此外，还介绍SAILER，这是一种基于单细胞ATAC-seq数据的模型，以及VAE。最后探索了多模态深度学习在单细胞多组学中的应用。

6 第二个讲座：Deep Learning in Gene Expression Analysis

6.1 Introduction

高通量测序技术的发展，越来越多的生物数据

• 基因组学/表观基因组学：WGS、WES、ChIP-seq、DNase-seq、ATAC-seq
  • 主要分析DNA序列和调控的
• 转录组
  • RNA-seq、smRNAseq、IncRNA-seq
  • 研究RNA表达与功能
• 代谢组
• 蛋白质组

数据来自不同的生物学方面，进行整合和处理输入到模型中

• 需求与挑战
  • 需求：需要能够可视化、整合和解释数据的方法，以推动生物学发现。
  • 挑战：
    • 维度的诅咒（Curse of dimension）：数据特征数量远多于样本数量，可能导致分析模型过拟合。
    • 噪声（Noise）：数据收集过程中的随机误差或变异。
    • 稀疏/缺失值（Sparse/missing values）：不完整的数据可以导致分析困难。
      • single cell genomics容易出现
    • 偏见，实验工件（Bias, experimental artifacts）：数据可能包含非生物学信号的偏差，如实验操作不当产生的工件。

开发基于多模态的，整合多个技术，来进行潜在生物学分析的方法论非常关键

• 多模态单细胞组学
  • 基因表达：scRNA-seq（单细胞RNA测序）
  • 染色质可及性：通过测序技术如ATAC-seq来测量。
  • DNA甲基化：通过单细胞甲基化测序（scM&T-seq）来测量。
  • 染色体构象：通过Hi-C技术来测量。
  • 核小体占据：通过单细胞ChIP测序等技术来测量。

这些技术在单细胞水平上为我们提供了一个全面的生物学图景，使我们能够理解在单个细胞内基因是如何被调控的

• 多模态深度生成模型（四种）
  • 潜在因子分解
  • 联合生成
  • 交叉生成
  • 协同

• 简单介绍了一下他们实验室的模型
  • DANQ：identify非编码区的DNA序列功能
  • D-GEX：预测基因表达
  • FactorNet：预测转录因子在全基因组中的结合
    • 通过大量ChIP-seq analysis的数据，训练，来预测特定细胞类型方式中的转录因子集合类型
  • scFAN
    • 单细胞上的转录因子结合
    • 感兴趣的是单个细胞上单个转录因子的结合方式
  • uFold
    • RNA二级结构预测
  • SAILER
    • 生成模型，ATAC-seq数据，表达和染色质数据都是高维数据，包含成千上万个基因/基因组位置的测量值。
    • 这里使用生成模型来学习数据的压缩表示，来揭示基因表达模式背后的隐藏因素（在染色质分析中，它可能有助于理解基因调控元件之间的关系，如增强子和沉默子如何影响基因的表达。）

1. 先介绍一下D-GEX
2. 概述一下VAE如何应用在基因组学的研究
3. 使用生成模型对ATAC-seq分析进行扩展，思考如何从数据集中消除试验性的混杂因素，学习反应生物表征，而不是实验制品。涉及一些新方法
4. 多模态

6.2 D-GEX

6.2.1 Connectivity map project

时间不够了，很快的进行展示

2006年就发起的项目，C-Map，包含了不同小分子药物对培养的人类细胞处理后的基因表达数据

疾病、基因、药物之间的关系。研究人员可以查询某种药物引起的特定基因表达模式，看它是否与某种疾病状态的基因表达模式相匹配，进而发现可能的药物再利用（drug repurposing）机会或新的药物靶点。

后来人们想要将这种方法扩展到大型化学库、不同的基因型、多个细胞系。但是面临基因表达分析十分昂贵的问题

于是提出了**“The 1000-Gene Solution”**，只测量1000个基因（有代表性的）的表达，这可以以高通量和低成本进行，而不是整个基因组中的20000个基因都测。剩余基因的表达模式是推断出来的。

主要思想是，很多基因表达高度相关，所以可以通过小部分，来推测出全基因组的表达模式。

我们通过PCA进行降维，发现少量的主成分，可以解释绝大部分的方差。这样子的方式激发了他们去进行**“The 1000-Gene Solution”**方法的开发

6.2.2 Predicting gene expression from landmark genes

基于cmap

后续他们就开发了深度学习方法，通过已经测量的978个基因，来预测剩余的21000个基因的表达水平

6.3 Deep generative models for genomics

6.3.1 Manifold hypothesis

处理高维数据的技术——流形假设

• 虽然数据（如生物数据）可能存在于多维空间中，但“真实”的可变性可以在更少的维度中捕获。

  • 发现数据的低维表示，这些表示被称为平滑流形。这通过在更少的维度空间中表示数据，同时仍保留原始数据集的内在属性，来简化数据的复杂结构。

• 流形学习——发现高维数据中低维结构的无监督学习

  • 理解大型生物医学数据集更有帮助

• NDR（非线性降维）/流形学习的转换

  • 其中高维聚类中的数据点被投影到保留某些结构（标记为A和B的簇）的低维空间中。

6.3.2 Autoencoders

生成模型（自编码器、VAE、GAN）

6.3.3 Generative models and variational autoencoders

主要是介绍了VAE，我就不记录了，李宏毅那自己学

一些相关模型，主要功能是填补缺失值、去噪（如测序错误），学习潜在的细胞表达水平的概率分布等等

• scRNA-seq往往是离散的数据集，不是连续的，而且有很多0值，所以人们使用**零膨胀负二项分布（ZINB）**来对其进行建模

• 跟自编码器的区别就是不是基于高斯分布的，是基于这个ZINB的

• 除了去噪外，还有处理dropout事件（比如基因有表达但是没测到）

  • 处理dropout：通过ZINB分布来建模数据，自编码器不仅能够捕获基因表达的平均水平和变异性，还能专门对dropout事件进行建模。

还有一项类似的工作，不详细介绍

6.4 SAILER

6.4.1 scATAC-seq

scATAC-seq（单细胞ATAC测序）是一种技术，它可以在单个细胞的水平上评估染色体DNA上区域的可及性。

该技术生成的数据是高维的，并且通常难以解释。

数据分析的第一步通常包括降维和聚类，其目标是学习a representation informative on biological variations，同时对混杂因素保持不变。

6.4.2 SAILER

• SAILER方法旨在

  • 从多个批次的scATAC-seq数据中提取一个潜在表示（latent representation）
  • 同时处理混杂因素
    • 批次效应（Batch information）：不同批次的数据展现出不一致的模式
    • 测序深度（read depth）：不同细胞的测序深度

• 混杂因素与细胞数据concat，并一同输入到decoder中。

• 目标是学习一个在混杂因素变化时保持不变的潜在表示，并在训练过程中尽量减少潜在变量和混杂因素之间的互信息

6.4.3 Conditional VAE

这块CVAE具体的数学原理我自己还需要学习，还有如何贴合SAILER这个模型解决的问题（去噪）

VAE的潜在空间的某个维度与已知生物标志物的关联，我们可以验证与特定通路之间的关系。

• 条件变分自编码器（CVAE）

通过学习输入数据的潜在表示来重构输入数据，同时能够编码与混杂因素（如实验批次或测序深度）无关的信息

• 该编码器被训练为忽略与混杂因素相关的信息，只编码与生物学变异有关的信息
• condition那个部分，一般是指某个特定的实验条件
• 目标函数：在保留与混杂因素无关的数据表示的同时，最大化条件对数似然（即数据的概率，给定潜在表示和混杂因素）。这通常涉及最小化潜在变量和混杂因素之间的互信息。

变分损失（Variational loss）:

• 描述了CVAE的训练过程中需要最小化的损失函数，包括重构误差和潜在空间的正则化项（例如KL散度）。这有助于模型学习如何生成数据的潜在因素，同时忽略不相关的噪声或混杂因素。

1. 展示了SAILER方法如何用于学习在各种混杂因素存在时的稳健的潜在细胞表征。

   • 细胞类型的数量和批次效应。
   • 使用降维方法，展示了不同方法（LSI, SCALE, SAILER）对潜在空间的可视化，尝试展示在控制混杂因素如批次效应和测序深度的同时，如何聚集相同类型的细胞。
   • 一个表格展示了不同方法之间潜在表征和混杂因素之间的互信息（Mutual Information），互信息越低表示方法越能有效地分离生物变异和混杂因素。

2. 进一步讨论了SAILER如何处理真实的鼠标图谱数据以及如何合并两个不同的鼠脑数据集。

   • 在这里，SAILER的性能与其他方法（例如SCALE和SnapATAC）进行了比较。
   • 还有可视化图表，显示了在不同数据处理方法下细胞如何分布，以及如何用SAILER来减轻混杂因素的影响。

6.5 Multimodal DL for Single Cell Multimodal Omics