RPChe_'s Blog

本文介绍了 Support Vector Machines ，使用 Lagrange Duality 推导了 Hard SVM 的对偶形式，并使用表示定理导出了 Soft SVM 的一般形式，讨论了选取复杂核函数时对 Soft SVM 的解读。

本文介绍了与先前的判别式算法不同的生成式算法，特别是 Gaussian Discriminant Analysis 和 Naive Bayes 。

本文继续介绍了 Logistic Regression 与 Generalized Linear Models 。

本文介绍了一些基本的术语，以及线性回归与 Locally Weighted Linear Regression 。

这一节要讲的主要是向量值函数求导的记号与性质。由于篇幅不长，就当为未来的杂项预留了。 向量值函数求导 我们要介绍这一套记号，主要是因为在最优化问题中我们要操作的目标函数可能包含向量值函数。具体的，目标函数往往是多元的，对其求高阶导会遇到维度爆炸的问题，因此我们往往会使用一阶的方法，例如 KKT conditions 。而因为我们只考虑一阶导数，所以要求导的函数一般最高仅包含矩阵值的因子...

通过先前的章节，我们已经基本清楚的介绍了流模型和扩散模型的理论框架。本文将侧重于生成模型在图像生成方面的应用，简要的介绍如何实现带有要求的指向（条件）生成，具体神经网络架构的设计，并分析几个现代的大型生成模型的实例。

本文通过之前的结果构建了广泛的扩散模型的范式，并详细介绍了扩散模型的框架，训练目标的构建，以及训练过程。

本文简略的介绍了物理上的扩散过程以及描述扩散分布演化的关键的 Fokker-Planck 方程，目的在于提供直观，并为扩散模型铺垫。

本文的目标是从较为严格的角度提供随机微分方程的定义，使得我们可以定义后续的扩散模型。限于篇幅和本人的数学水平，本文跳过了大部分证明。

本文中我们将简要介绍一般生成模型的范式，并详细的介绍流模型的框架和训练目标的构建。