Definition of Stochastic Differential Equation

本文的目标是从较为严格的角度提供随机微分方程的定义，使得我们可以定义后续的扩散模型。限于篇幅和本人的数学水平，本文跳过了大部分证明。

布朗运动

• 为了描述扩散模型，我们需要先做一定的理论准备，特别是定义 SDE（Stochastic Differential Equation）。这其实是一件挺难的事，其依赖于很多随机分析的结果，我在这里只好给出一个大概的框架，并且跳过具体的证明，就从布朗运动开始。定义布朗运动为随机过程 ，使得 ，并且满足以下性质：
  1. 对于任意 ，其中 为样本空间，迹 是连续的。
  2. 对于任意 ，即 服从均值为 ，方差为 的高斯分布。
  3. 对于任意 ，随机变量 相互独立。
• 布朗运动的存在性。[Admitted]

随机微分方程的微分形式

• 根据以上对于扩散过程的描述，其应该由两部分构成，其一是由速度场指导的漂移；其二则是由布朗运动指导的扩散。记速度场为 ，并假设扩散过程具备与位置无关的扩散系数 ¹，则在形式上我们期待对于迹 有： 这便是 SDE 的标准形式。当然，我们实际上对布朗运动的迹做不了微分，其几乎处处不可微，因此以上的 基本上只是形式记号，意义是布朗运动的微小增量。

变差与黎曼-斯蒂尔杰斯积分

• 现在我们希望将以上叙述的 SDE 严格化。对于一般的 ODE 我们知道： 既然微分无法提供严格化，我们考虑使用积分形式定义，即： 其中第一个积分是一般的黎曼积分，问题是我们需要想办法定义第二个积分。固定 ，由于 不可微，我们没法将其写成 。这类问题有一个直接的解决方法，称作黎曼-斯蒂尔杰斯积分（简记为 R-S 积分），大概就是把黎曼积分的定义在 上再走一遍。为此，我们要先做一些准备，即定义变差这一概念。²

• 对于连续函数 ，考虑其定义域上的区间 ，我们将 视作粒子随时间从 到 时在一维上的运动轨迹。则定义其变差 为 在该区间中经过的总路程： 对于可导的 ，容易看出： R-S 积分的动机是解决做积分： 时 不可微的问题。此时该积分不能转为黎曼积分，但是其在恰当的定义下仍然是收敛的。具体的，R-S 积分的定义为：若存在 ，使得对于任意 ，存在 ，满足对于区间 任何细度 的分划均有： 其中 。则称 在 上对 的 R-S 积分存在，记为： 对于 R-S 积分的可积性，有定理：

  • 【定理 1. 黎曼-斯蒂尔杰斯积分的可积性】函数 在 上对 的 R-S 积分存在，当且仅当：
    1. 是有界的。
    2. 的变差有界。
    3. 和 在 上不能有共同的不连续点。

  [Admitted]. 特别的，取定 时，R-S 积分退化为一般的黎曼积分。

二次变差与伊藤积分

• 尝试发现 R-S 积分的框架仍然做不了对 的积分，因为 在任意 上的变差几乎总是无限的，也就是说任意小的时间内布朗运动都在剧烈抖动。我们可以考虑在某种程度上衡量布朗运动的抖动程度，这就是二次变差 ​ 。对于 的分划 ，定义 。则二次变差定义为：

  那么对于时间 内的布朗运动 的二次变差 ，我们考察其期望：³ 以及其方差： 注意到 ，则 。这说明： 由 Chebyshev Bound ， 几乎处处为 。此处也有另一个看法，就是 是 级别的，这恰好可以解释其一次发散而二次可积。

• 而伊藤积分的动机就是利用 的二次变差几乎处处为 的性质来定义积分。由于伊藤积分的严格定义需要更多的数学工具，此处我们仅提供一个特例与伊藤积分的简单定义。考虑下例： 使用类似 R-S 积分的方式，使用分划对其逼近： 注意到后一项恰为布朗运动的二次变差，所以我们得到： 几乎处处成立。可以看到该极限形式上其实与黎曼积分很像，然而多出了一项 ，这是因为黎曼积分或是 R-S 积分中的积分器性质较好，使得二次变差为 ，而布朗运动的二次变差则为一常数。如果我们把随机积分就定义成该极限，那么其结果其实是一个随机变量。更一般的，我们考虑积分： 其中 为一“性质好”的随机过程。我们希望也将该积分定义成一个随机变量，具体的方式则是通过均方收敛。即，对于随机变量 与 ，满足它们的二阶矩有界。若 依 收敛到 ，即 ，则称 均方收敛到 。另外不同于黎曼积分，在极限过程中选择的取值点 也会影响积分的取值。此处我们强制 ，这样可以保证 与 独立。综上，我们可以给出伊藤积分的一个不完全的定义：

  对于“性质好”的随机过程 ，取 的等距分划 ，则若随机变量列： 在 时均方收敛于随机变量 ，则称 为 在 上的伊藤积分。⁴特别的，一般随机积分的积分器不一定为 ，似乎可以是二次变差几乎处处存在的任意随机过程。

随机微分方程的积分定义

• 通过伊藤积分，我们最终可以写出 SDE 的严格形式，即： 其解 是一个随机过程，即一个 的映射。

• 先前我们给出了 ODE 的解条件，而实际上只要对向量场 和扩散系数 做类似的要求，SDE 就也有唯一存在的解。

  • 【定理 3. SDE 的解的存在与唯一性】若速度场 连续可微导数有界，且扩散系数 连续，则 存在唯一的解随机过程 。

  [Admitted]

随机微分方程的数值解

• 模拟 SDE 的方式和先前模拟 ODE 的 Euler's Method 也是类似的，按照：

  • 【Euler-Maruyama Method】对于随机微分方程： 考虑区间 上的均匀分划 ，记 ，，按照： 递推得到 。

  我们仍然期待 可以很好的近似真实结果 ，实际上可以证明 。⁵[Admitted]

---

1. 一般的 SDE 没有这个要求，不过 SOTA 的扩散模型似乎是这样建模的。↩︎

2. 其实我们还需验证变差是良定义的，不过以下跳过了这一部分。↩︎

3. 先承认期望是可交换的，因为我忘记 DCT 那一套了。↩︎

4. 正式的定义似乎不依赖于分划，而是通过简单适应过程以及均方收敛定义的。↩︎

5. 此处的分析也许类似于 SDE 的微分形式的严格化。↩︎