RPChe_'s Blog

You know that I was writing these notes in Chinese for convenience and better expression. However later I realized that these things are written mostly for peers, so I am writing in English from now.

We have discussed a few aspects of deep generative models in previous parts, specifically VAE and a brief cover (from MIT 6.S184) of diffusion and flow models. As I finished CS3936 I realized that these theories are merely an aspect of stochastic interpolants. So I decide to have a more detailed discussion on these closely related sampling and generative algorithms along with basic mathematical tools and more detailed proofs, as I intend to pursue such fields in the future.

交大的 CS3308 还是讲得太烂了，因此本文是对 Stanford CS229 的重新摘要。总的来说，本文将按照一定的脉络尽量严格的介绍传统机器学习方法，并尽量避免如同其它大部分资料一般的感性与杂乱。

本文原先的主题是 Introduction to Flow Matching and Diffusion Models ，但后来觉得这样的讨论主题太狭窄了，于是扩展为了 Introduction to Deep Generative Models 。我将尽量以合理、严格且 self-contained 的方式介绍生成模型。然而由于本人此前并没有系统性的学过微分方程，物理也学得不好，所以本文中我们可能会跳过一部分引理的证明。

本文的参考资料包括 MIT6.S184: Generative AI with Stochastic Differential Equations ，Imperial70010 Deep Learning ，MIT6.S978 Deep Generative Models 。

最优化方法其实是一门相对比较杂的学科，这里面既有理论，也会有对机器算法的收敛性的分析。我们在这里主要挑了一些比较重要的部分来写。阅读本文应该需要一定的凸优化基础。方便起见，文中的向量就不加粗了。

本人参加了南京大学举办的 计算理论之美 2025 暑期讲习班 。总体来说，讲课内容还是相当有趣的，于是在这里挑了一部分记录了下来。本次讲习班有 7 个专题，其中次模函数没有接触过、LLM理论没咋听、分布式计算不太感兴趣，所以这几个部分没有写。其余的随机算法、哈希设计、概率集中不等式与随机数值线性代数则分别写了一些比较基本的部分。

本文是我复习近世代数的时候写的，其中略过了讲群的部分，因为虽然我还不熟悉每个定理的证明，但这些理论的脉络和直观是较为明晰的。本文的主题将是环和域的理论，加上有限群的西罗定理的证明。另外由于本人很可能没有精力去深究每个部分的详细证明，我们会侧重于更重要的理论框架。

本篇是我复习信息论的时候写的。本来想把标题取作“写给小学生看的信息论”之类的，但感觉有点怪，所以就叫做《基础信息论》了。本文的重点不是完全严格的理论叙述，所以没有取题为《信息论基础》。

其实是对着 UMich EECS 498-007 / 598-005: Deep Learning for Computer Vision 写的，所以主题是 Computer Vision 。本文中会有配图，是从 Justin Johnson 的 slides 上蒯的。

编撰以应对并记录可能出现的技术难处。

本文将简要的介绍 VAE 。本来还想谈谈 VQ-VAE ，但是觉得这种模型比较平凡，因此不讲了。