RPChe_'s Blog

本文是对着 MIT6.S184: Generative AI with Stochastic Differential Equations 写的。其实我很早以前就想正经学点生成模型了，但是一直苦于找不到好的资源。这次有幸找到了 MIT 的这门课，就作为一个引子好了。

特别的，本人此前并没有系统性的学过微分方程，物理也学得不好，所以本文中我们可能会跳过一部分引理的证明。

最优化方法其实是一门相对比较杂的学科，这里面既有理论，也会有对机器算法的收敛性的分析。我们在这里主要挑了一些比较重要的部分来写。

本人参加了南京大学举办的 计算理论之美 2025 暑期讲习班 。总体来说，讲课内容还是相当有趣的，于是在这里挑了一部分记录了下来。本次讲习班有 7 个专题，其中次模函数没有接触过、LLM理论没咋听、分布式计算不太感兴趣，所以这几个部分没有写。其余的随机算法、哈希设计、概率集中不等式与随机数值线性代数则分别写了一些比较基本的部分。

本文是我复习近世代数的时候写的，其中略过了讲群的部分，因为虽然我还不熟悉每个定理的证明，但这些理论的脉络和直观是较为明晰的。本文的主题将是环和域的理论，加上有限群的西罗定理的证明。另外由于本人很可能没有精力去深究每个部分的详细证明，我们会侧重于更重要的理论框架。

本篇是我复习信息论的时候写的。本来想把标题取作“写给小学生看的信息论”之类的，但感觉有点怪，所以就叫做《基础信息论》了。本文的重点不是完全严格的理论叙述，所以没有取题为《信息论基础》。

其实是对着 UMich EECS 498-007 / 598-005: Deep Learning for Computer Vision 写的，所以主题是 Computer Vision 。本文中会有配图，是从 Justin Johnson 的 slides 上蒯的。

实在找不到什么好的资料，于是就自己来写一个吧。

本文将从基础开始介绍机器学习的算法。

想想还是算了，学到什么写什么得了。你实在是很难在基础的ML课找到什么正经讲理论的东西。

编撰以应对并记录可能出现的技术难处。

通过先前的章节，我们已经基本清楚的介绍了流模型和扩散模型的理论框架。本文将侧重于生成模型在图像生成方面的应用，简要的介绍如何实现带有要求的指向（条件）生成，具体神经网络架构的设计，并分析几个现代的大型生成模型的实例。

本文通过之前的结果构建了广泛的扩散模型的范式，并详细介绍了扩散模型的框架，训练目标的构建，以及训练过程。