浅谈深度生成模型

本文原先的主题是 Introduction to Flow Matching and Diffusion Models ，但后来觉得这样的讨论主题太狭窄了，于是扩展为了 Introduction to Deep Generative Models 。我将尽量以合理、严格且 self-contained 的方式介绍生成模型。然而由于本人此前并没有系统性的学过微分方程，物理也学得不好，所以本文中我们可能会跳过一部分引理的证明。

本文的参考资料包括 MIT6.S184: Generative AI with Stochastic Differential Equations ，Imperial70010 Deep Learning ，MIT6.S978 Deep Generative Models 。

本文将仍然采用多篇的形式，本篇是全文的目录。

目录

1. Variational Auto Encoder

   本文将简要的介绍 VAE 、VQ-VAE ，以及一些现代的混合架构模型。

2. Basic Fluid Mechanism

   我相信大多数人会将流模型视作概率模型，然而其具体刻画概率流演化的方式基本是单纯流体力学的。因此，为了严谨性和直观性，我们还是要特别的谈点物理基础。

3. Flow Models

   本文中我们将简要介绍一般生成模型的范式，并详细的介绍流模型的框架、训练目标的构建、以及训练方法。

4. Definition of Stochastic Differential Equation

   本文的目标是从较为严格的角度提供随机微分方程的定义，使得我们可以定义后续的扩散模型。限于篇幅和本人的数学水平，本文跳过了大部分证明。

5. Diffusion and Fokker-Planck Equation

   本文简略的介绍了物理上的扩散过程以及描述扩散分布演化的关键的 Fokker-Planck 方程，目的在于提供直观，并为扩散模型铺垫。

6. Diffusion Models

   本文通过之前的结果构建了广泛的扩散模型的范式，并详细介绍了扩散模型的框架，训练目标的构建，以及训练过程。

7. Instance：Image Generators

   通过先前的章节，我们已经基本清楚的介绍了流模型和扩散模型的理论框架。本文将侧重于生成模型在图像生成方面的应用，简要的介绍如何实现带有要求的指向（条件）生成，具体神经网络架构的设计，并分析几个现代的大型生成模型的实例。