RPChe_'s Blog

这一节要讲的主要是向量值函数求导的记号与性质。由于篇幅不长，就当为未来的杂项预留了。 向量值函数求导 我们要介绍这一套记号，主要是因为在最优化问题中我们要操作的目标函数可能包含向量值函数。具体的，目标函数往往是多元的，对其求高阶导会遇到维度爆炸的问题，因此我们往往会使用一阶的方法，例如 KKT conditions 。而因为我们只考虑一阶导数，所以要求导的函数一般最高仅包...

通过先前的章节，我们已经基本清楚的介绍了流模型和扩散模型的理论框架。本文将侧重于生成模型在图像生成方面的应用，简要的介绍如何实现带有要求的指向（条件）生成，具体神经网络架构的设计，并分析几个现代的大型生成模型的实例。

本文通过之前的结果构建了广泛的扩散模型的范式，并详细介绍了扩散模型的框架，训练目标的构建，以及训练过程。

本文简略的介绍了物理上的扩散过程以及描述扩散分布演化的关键的 Fokker-Planck 方程，目的在于提供直观，并为扩散模型铺垫。

本文的目标是从较为严格的角度提供随机微分方程的定义，使得我们可以定义后续的扩散模型。限于篇幅和本人的数学水平，本文跳过了大部分证明。

本文中我们将简要介绍一般生成模型的范式，并详细的介绍流模型的框架和训练目标的构建。

我相信大多数人会将流模型视作概率模型，然而其具体刻画概率流演化的方式基本是单纯流体力学的。因此，为了严谨性和直观性，我们还是要特别的谈点物理基础。

从 Lagrange Condition 到 KKT Condition 再到 Lagrange Duality 基本是层层深入，我们会渐渐的介绍对优化问题更深入的刻画。

我们将在这里尽量详细的介绍不等式约束优化问题的 KKT condition ，我会尽量以符合直观，并且严谨的方式来写。

我们将在这里尽量详细的介绍等式约束优化问题的 Lagrange condition ，我会尽量以符合直观，并且严谨的方式来写。