Denoising Diffusion Probabilistic Models

发布于 2026 年 9 月 5 日

1. 我们到底想解决什么问题

训练集中有许多真实图片，它们来自某个未知的数据分布：

$$x\sim p_{\mathrm{data}}(x).$$

我们希望训练一个生成模型 $p_\theta(x)$，使它生成的图片也像是来自真实数据分布。这里 $\theta$ 表示模型中所有需要通过训练学习的参数；下标 $\theta$ 表示这个概率分布会随着模型参数改变。

“两个分布尽可能接近”可以写成最小化：

$$D_{\mathrm{KL}}\left(p_{\mathrm{data}}\|p_\theta\right) = \mathbb E_{p_{\mathrm{data}}} \left[ \log \frac{p_{\mathrm{data}}(x)}{p_\theta(x)} \right].$$

将它拆开：

$$D_{\mathrm{KL}}(p_{\mathrm{data}}\|p_\theta) = \underbrace{ \mathbb E_{p_{\mathrm{data}}}[\log p_{\mathrm{data}}(x)] }_{\text{与 }\theta\text{ 无关}} - \mathbb E_{p_{\mathrm{data}}}[\log p_\theta(x)].$$

因此，最小化两个分布之间的 KL，等价于最大化真实图片在模型下的对数似然：

$$\max_\theta \mathbb E_{x\sim p_{\mathrm{data}}} [\log p_\theta(x)].$$

训练集中只有有限张图片，所以实际优化的是样本平均：

$$\max_\theta \frac{1}{N} \sum_{n=1}^{N} \log p_\theta(x^{(n)}).$$

到这里，DDPM 与 VAE 的出发点完全一样：

让模型给真实图片分配更高的概率。

2. 直接学习图片分布困难

一张图片可能包含物体、纹理、姿态、光照和背景等复杂结构。让神经网络直接写出并计算 $p_\theta(x)$ 很困难。

但有一件事情非常容易：把一张图片逐渐破坏成高斯噪声。

如果我们能构造下面这条过程：

$$\text{真实图片} \longrightarrow \text{略带噪声的图片} \longrightarrow \cdots \longrightarrow \text{高斯噪声},$$

那么生成就可以考虑走相反的方向：

$$\text{高斯噪声} \longrightarrow \cdots \longrightarrow \text{清晰图片}.$$

从标准高斯中采样很容易。于是原来的难题被改写为：

能否学习许多个简单的“小步去噪”，最终把高斯噪声变成真实图片？

这就是扩散模型的核心思路。

然后具体的实现是预测噪声 然后带噪声的图减去噪声 多个时间步后完成图片生成

3. 把图片逐步变成噪声

3.1 变量定义

现在把训练图片记作 $x_0$。下标表示噪声时间：$x_0$ 是干净图片，$x_t$ 是经过 $t$ 次加噪后的图片。

第 $t$ 步的前向加噪定义为：

$$q(x_t\mid x_{t-1}) = \mathcal N \left( x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I \right).$$

式中：

• $q$ 表示人为规定的前向加噪过程，它没有可学习参数；
• $q(x_t\mid x_{t-1})$ 表示在给定 $x_{t-1}$ 后，$x_t$ 的条件概率分布；
• $\mathcal N(x;\mu,\Sigma)$ 表示变量 $x$ 服从均值为 $\mu$、协方差为 $\Sigma$ 的高斯分布；
• $I$ 是单位矩阵，因此 $\beta_t I$ 表示各维噪声方差都是 $\beta_t$，并且不同维度之间不相关。

$\beta_t$ 表示这一步加入多少噪声，通常是一个很小的正数。对应的采样过程是：

$$x_t = \sqrt{1-\beta_t}\,x_{t-1} + \sqrt{\beta_t}\,z_t, \qquad z_t\sim\mathcal N(0,I).$$

这一步同时做了两件事：

1. 用 $\sqrt{1-\beta_t}$ 稍微缩小原有信号；
2. 加入方差为 $\beta_t$ 的新高斯噪声。

为了让后续公式更简洁，这时再定义：

$$\alpha_t=1-\beta_t, \qquad \bar\alpha_t=\prod_{s=1}^{t}\alpha_s.$$

$\alpha_t$ 是单步信号保留比例，$\bar\alpha_t$ 是从 $x_0$ 到 $x_t$ 的累计信号保留比例。

3.2 难道训练时要一步一步加噪吗

如果每次训练都必须计算：

$$x_0\to x_1\to\cdots\to x_t,$$

代价会很高。连续的线性高斯变换可以合并，因此我们可以直接得到任意时刻 $t$ 的条件分布：

$$q(x_t\mid x_0) = \mathcal N \left( x_t; \sqrt{\bar\alpha_t}x_0, (1-\bar\alpha_t)I \right).$$

它对应的一步采样公式是：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon, \qquad \epsilon\sim\mathcal N(0,I).$$

展开证明：为什么多步加噪可以合并成这一个公式？

前向过程的单步采样公式是：

$$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\,z_t, \qquad z_t\sim\mathcal N(0,I).$$

先看前两步：

$$x_1 = \sqrt{\alpha_1}x_0 + \sqrt{1-\alpha_1}\,z_1.$$

将 $x_1$ 代入第二步：

$$\begin{aligned} x_2 &= \sqrt{\alpha_2}x_1 + \sqrt{1-\alpha_2}\,z_2\\ &= \sqrt{\alpha_2} \left( \sqrt{\alpha_1}x_0 + \sqrt{1-\alpha_1}\,z_1 \right) + \sqrt{1-\alpha_2}\,z_2\\ &= \sqrt{\alpha_1\alpha_2}\,x_0 + \sqrt{\alpha_2(1-\alpha_1)}\,z_1 + \sqrt{1-\alpha_2}\,z_2. \end{aligned}$$

信号部分的系数已经变成：

$$\sqrt{\alpha_1\alpha_2} = \sqrt{\bar\alpha_2}.$$

再看噪声部分。由于 $z_1,z_2$ 相互独立，且都服从 $\mathcal N(0,I)$，它们的线性组合仍然是均值为 $0$ 的高斯。

这里用到了“独立随机变量线性组合的方差可以相加”。这个结论可以直接由协方差的定义证明。

设两个随机向量为 $X,Y$，令：

$$U=aX+bY.$$

根据协方差矩阵的定义：

$$\operatorname{Cov}(U) = \mathbb E \left[ (U-\mathbb E[U]) (U-\mathbb E[U])^\mathsf T \right].$$

将 $U=aX+bY$ 展开：

$$\begin{aligned} \operatorname{Cov}(aX+bY) =&\; a^2\operatorname{Cov}(X) + b^2\operatorname{Cov}(Y)\\ &+ ab\operatorname{Cov}(X,Y) + ab\operatorname{Cov}(Y,X). \end{aligned}$$

其中交叉协方差为：

$$\operatorname{Cov}(X,Y) = \mathbb E \left[ (X-\mathbb E[X]) (Y-\mathbb E[Y])^\mathsf T \right].$$

如果 $X$ 与 $Y$ 相互独立，那么：

$$\begin{aligned} \operatorname{Cov}(X,Y) &= \mathbb E[X-\mathbb E[X]] \, \mathbb E[Y-\mathbb E[Y]]^\mathsf T\\ &=0. \end{aligned}$$

同理 $\operatorname{Cov}(Y,X)=0$，所以：

$$\operatorname{Cov}(aX+bY) = a^2\operatorname{Cov}(X) + b^2\operatorname{Cov}(Y).$$

注意，相加的是乘完系数后的方差 $a^2\operatorname{Cov}(X)$ 和 $b^2\operatorname{Cov}(Y)$，不是把标准差 $a,b$ 直接相加。

回到 $x_2$ 的噪声部分，取：

$$a=\sqrt{\alpha_2(1-\alpha_1)}, \qquad b=\sqrt{1-\alpha_2}.$$

又因为：

$$\operatorname{Cov}(z_1) = \operatorname{Cov}(z_2) =I,$$

所以这两个噪声的协方差为：

$$\begin{aligned} &\alpha_2(1-\alpha_1)I + (1-\alpha_2)I\\ &= \left( \alpha_2-\alpha_1\alpha_2+1-\alpha_2 \right)I\\ &= (1-\alpha_1\alpha_2)I = (1-\bar\alpha_2)I. \end{aligned}$$

所以可以用一份新的标准高斯噪声 $\epsilon\sim\mathcal N(0,I)$ 表示整个噪声部分：

$$\sqrt{\alpha_2(1-\alpha_1)}\,z_1 + \sqrt{1-\alpha_2}\,z_2 = \sqrt{1-\bar\alpha_2}\,\epsilon.$$

于是：

$$x_2 = \sqrt{\bar\alpha_2}x_0 + \sqrt{1-\bar\alpha_2}\,\epsilon.$$

下面证明一般的第 $t$ 步。假设第 $t-1$ 步已经能够写成：

$$x_{t-1} = \sqrt{\bar\alpha_{t-1}}x_0 + \sqrt{1-\bar\alpha_{t-1}}\,\epsilon_{t-1}, \qquad \epsilon_{t-1}\sim\mathcal N(0,I).$$

把它代入第 $t$ 步：

$$\begin{aligned} x_t &= \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\,z_t\\ &= \sqrt{\alpha_t\bar\alpha_{t-1}}x_0\\ &\quad+ \sqrt{\alpha_t(1-\bar\alpha_{t-1})}\, \epsilon_{t-1} + \sqrt{1-\alpha_t}\,z_t. \end{aligned}$$

根据 $\bar\alpha_t=\alpha_t\bar\alpha_{t-1}$，信号部分就是：

$$\sqrt{\alpha_t\bar\alpha_{t-1}}x_0 = \sqrt{\bar\alpha_t}x_0.$$

后面两个独立高斯噪声的协方差之和为：

$$\begin{aligned} &\alpha_t(1-\bar\alpha_{t-1})I + (1-\alpha_t)I\\ &= \left( 1-\alpha_t\bar\alpha_{t-1} \right)I\\ &= (1-\bar\alpha_t)I. \end{aligned}$$

所以它们也能合并成一份新的标准高斯噪声：

$$\sqrt{\alpha_t(1-\bar\alpha_{t-1})}\, \epsilon_{t-1} + \sqrt{1-\alpha_t}\,z_t = \sqrt{1-\bar\alpha_t}\,\epsilon.$$

最终得到：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon, \qquad \epsilon\sim\mathcal N(0,I).$$

因此：

$$q(x_t\mid x_0) = \mathcal N \left( x_t; \sqrt{\bar\alpha_t}x_0, (1-\bar\alpha_t)I \right).$$

随着 $t$ 增大，$\bar\alpha_t$ 越来越小：

• $x_0$ 的系数逐渐趋近于 $0$；
• 噪声的系数逐渐趋近于 $1$；
• 最终 $x_T$ 近似服从 $\mathcal N(0,I)$。

前向过程 $q$ 是人为规定的，不需要训练。

4. 生成图片需要学习什么

4.1 形式化

前向加噪容易计算，但我们的目标是生成，所以需要沿相反方向运行：

$$x_T\to x_{T-1}\to\cdots\to x_0.$$

生成过程从：

$$x_T\sim p(x_T)=\mathcal N(0,I)$$

开始，然后反复使用一个可学习的条件分布：

$$p_\theta(x_{t-1}\mid x_t).$$

当每一步噪声 $\beta_t$ 足够小时，反向的一小步也可以用高斯近似：

$$p_\theta(x_{t-1}\mid x_t) = \mathcal N \left( x_{t-1}; \mu_\theta(x_t,t), \Sigma_\theta(x_t,t) \right).$$

式中每个符号的含义是：

• $p_\theta$：需要训练的反向生成模型；
• $\theta$：去噪网络的所有可学习参数；
• $\mu$：希腊字母 mu，表示高斯分布的均值；
• $\mu_\theta(x_t,t)$：由模型参数 $\theta$ 决定的均值函数。它接收当前带噪图片 $x_t$ 和时间步 $t$，返回一个与 $x_t$ 形状相同的向量；
• $\Sigma$：希腊字母 Sigma，表示高斯分布的协方差矩阵；
• $\Sigma_\theta(x_t,t)$：反向一步的不确定性；它决定从均值附近采样时可以偏离多远；
• 下标 $\theta$：表示这个量由模型参数决定，并不是新的时间下标；
• 分号前的 $x_{t-1}$：表示这个高斯分布所描述的随机变量；
• 分号后的两项：依次是该高斯分布的均值和协方差。

所以这条公式可以直接读成：

给定 $x_t$，模型认为 $x_{t-1}$ 服从一个高斯分布；该分布的均值是 $\mu_\theta(x_t,t)$，协方差是 $\Sigma_\theta(x_t,t)$。

这句话不是说 $x_{t-1}$ 是一个固定答案，而是说：给定当前带噪图片 $x_t$，上一步较清晰的图片 $x_{t-1}$ 仍有多种可能，DDPM 用一个高斯分布描述这些可能性。

• 均值 $\mu_\theta(x_t,t)$ 表示 $x_{t-1}$ 最可能位于哪里，也就是主要的去噪方向；
• 协方差 $\Sigma_\theta(x_t,t)$ 表示这一步还保留多少不确定性。

$\mu_\theta$ 是反向模型最终需要得到的均值参数，但在原始 DDPM 的常用实现中，U-Net 并不直接输出 $\mu_\theta$。网络真正输出的是噪声预测：

$$\epsilon_\theta(x_t,t).$$

4.2 真正不能直接求的是什么

这里必须区分真实反向分布和模型反向分布：

$$\underbrace{q(x_{t-1}\mid x_t)}_{\text{真实反向分布，无法直接计算}} \qquad \underbrace{p_\theta(x_{t-1}\mid x_t)}_{\text{模型给出的高斯近似，可以计算和采样}}.$$

无法直接处理的不是 $p_\theta(x_{t-1}\mid x_t)$，而是 $q(x_{t-1}\mid x_t)$。根据 Bayes 公式：

$$q(x_{t-1}\mid x_t) = \frac{ q(x_t\mid x_{t-1})q(x_{t-1}) }{ q(x_t) }.$$

其中分母还可以写成：

$$q(x_t) = \int q(x_t\mid x_{t-1}) q(x_{t-1}) \,dx_{t-1}.$$

逐项来看：

• $q(x_t\mid x_{t-1})$：已知，因为它就是我们规定的单步高斯加噪过程；
• $q(x_{t-1})$：无法直接求，因为它是所有真实图片经过 $t-1$ 步加噪后的边缘分布；
• $q(x_t)$：无法直接求，因为它需要对所有可能的 $x_{t-1}$ 做积分。

4.3 加上 $x_0$ 后可以求

训练时，干净图片 $x_0$ 是已知的。加上这个条件后，可以计算：

$$q(x_{t-1}\mid x_t,x_0) = \frac{ q(x_t\mid x_{t-1},x_0) q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

由于前向过程满足马尔可夫性，一旦知道 $x_{t-1}$，$x_t$ 就不再依赖 $x_0$，所以：

$$q(x_t\mid x_{t-1},x_0) = q(x_t\mid x_{t-1}).$$

因此：

$$q(x_{t-1}\mid x_t,x_0) = \frac{ q(x_t\mid x_{t-1}) q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

右边三个分布都能由前向加噪公式直接得到，并且都是高斯分布，所以 $q(x_{t-1}\mid x_t,x_0)$ 可以解析计算。

训练的目标就是让模型分布：

$$p_\theta(x_{t-1}\mid x_t)$$

逼近这个可计算的真实后验：

$$q(x_{t-1}\mid x_t,x_0).$$

经过计算，最终得到：

$$q(x_{t-1}\mid x_t,x_0) = \mathcal N \left( x_{t-1}; \tilde\mu_t(x_t,x_0), \tilde\beta_t I \right),$$

其中：

$$\tilde\beta_t = \frac{1-\bar\alpha_{t-1}} {1-\bar\alpha_t} \beta_t,$$ $$\tilde\mu_t(x_t,x_0) = \frac{ \sqrt{\bar\alpha_{t-1}}\beta_t }{ 1-\bar\alpha_t }x_0 + \frac{ \sqrt{\alpha_t}(1-\bar\alpha_{t-1}) }{ 1-\bar\alpha_t }x_t.$$

展开计算：代入三个高斯分布并完成配方

首先写出正确的 Bayes 公式：

$$q(x_{t-1}\mid x_t,x_0) = \frac{ q(x_t\mid x_{t-1},x_0) q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

由前向过程的马尔可夫性：

$$q(x_t\mid x_{t-1},x_0) = q(x_t\mid x_{t-1}).$$

所以：

$$q(x_{t-1}\mid x_t,x_0) = \frac{ q(x_t\mid x_{t-1}) q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

这里要代入三个已知的高斯分布。

第一项是单步前向加噪：

$$q(x_t\mid x_{t-1}) = \mathcal N \left( x_t; \sqrt{\alpha_t}x_{t-1}, \beta_t I \right).$$

第二项是从 $x_0$ 直接加噪到 $x_{t-1}$：

$$q(x_{t-1}\mid x_0) = \mathcal N \left( x_{t-1}; \sqrt{\bar\alpha_{t-1}}x_0, (1-\bar\alpha_{t-1})I \right).$$

第三项是从 $x_0$ 直接加噪到 $x_t$：

$$q(x_t\mid x_0) = \mathcal N \left( x_t; \sqrt{\bar\alpha_t}x_0, (1-\bar\alpha_t)I \right).$$

将三个高斯直接代入 Bayes 公式，并使用 $\beta_t=1-\alpha_t$，得到与图中式 (72) 相同的形式：

$$\begin{aligned} q(x_{t-1}\mid x_t,x_0) = \frac{ \mathcal N\!\left( x_t;\sqrt{\alpha_t}x_{t-1},(1-\alpha_t)I \right) \mathcal N\!\left( x_{t-1};\sqrt{\bar\alpha_{t-1}}x_0, (1-\bar\alpha_{t-1})I \right) }{ \mathcal N\!\left( x_t;\sqrt{\bar\alpha_t}x_0, (1-\bar\alpha_t)I \right) }. \end{aligned}$$

把高斯密度写成指数形式，便得到图中的式 (73)：

$$\begin{aligned} q(x_{t-1}\mid x_t,x_0) \propto \exp\Bigg\{ -\frac{1}{2}\Bigg[ &\frac{ \|x_t-\sqrt{\alpha_t}x_{t-1}\|^2 }{ 1-\alpha_t }\\ &+ \frac{ \|x_{t-1}-\sqrt{\bar\alpha_{t-1}}x_0\|^2 }{ 1-\bar\alpha_{t-1} }\\ &- \frac{ \|x_t-\sqrt{\bar\alpha_t}x_0\|^2 }{ 1-\bar\alpha_t } \Bigg] \Bigg\}. \end{aligned}$$

第三项来自分母 $q(x_t\mid x_0)$。它只包含已经给定的 $x_t,x_0$，不包含待求随机变量 $x_{t-1}$，所以官方推导在下一步把它记入常数 $C(x_t,x_0)$。

因此，在求关于 $x_{t-1}$ 的分布形状时，可以去掉第三项以及其他与 $x_{t-1}$ 无关的归一化常数：

$$\begin{aligned} q(x_{t-1}\mid x_t,x_0) &\propto q(x_t\mid x_{t-1}) q(x_{t-1}\mid x_0)\\ &\propto \exp \left[ -\frac{1}{2} \left( \frac{ \|x_t-\sqrt{\alpha_t}x_{t-1}\|^2 }{\beta_t} + \frac{ \|x_{t-1}-\sqrt{\bar\alpha_{t-1}}x_0\|^2 }{ 1-\bar\alpha_{t-1} } \right) \right]. \end{aligned}$$

这一步重新使用了 $\beta_t=1-\alpha_t$

为了更容易看出配方结构，暂时令：

$$y=x_{t-1}.$$

只保留指数中与 $y$ 有关的项并展开：

$$\begin{aligned} &\frac{\|x_t-\sqrt{\alpha_t}y\|^2}{\beta_t} + \frac{ \|y-\sqrt{\bar\alpha_{t-1}}x_0\|^2 }{ 1-\bar\alpha_{t-1} }\\ ={}& \left( \frac{\alpha_t}{\beta_t} + \frac{1}{1-\bar\alpha_{t-1}} \right)\|y\|^2\\ &- 2 \left( \frac{\sqrt{\alpha_t}}{\beta_t}x_t + \frac{ \sqrt{\bar\alpha_{t-1}} }{ 1-\bar\alpha_{t-1} }x_0 \right)^\mathsf T y + C, \end{aligned}$$

其中 $C$ 收集所有与 $y$ 无关的项。

定义二次项系数：

$$A = \frac{\alpha_t}{\beta_t} + \frac{1}{1-\bar\alpha_{t-1}}.$$

利用：

$$\beta_t=1-\alpha_t, \qquad \bar\alpha_t=\alpha_t\bar\alpha_{t-1},$$

可以化简：

$$\begin{aligned} A &= \frac{ \alpha_t(1-\bar\alpha_{t-1})+\beta_t }{ \beta_t(1-\bar\alpha_{t-1}) }\\ &= \frac{ 1-\alpha_t\bar\alpha_{t-1} }{ \beta_t(1-\bar\alpha_{t-1}) }\\ &= \frac{ 1-\bar\alpha_t }{ \beta_t(1-\bar\alpha_{t-1}) }. \end{aligned}$$

高斯分布指数中的二次项系数是协方差的逆，因此：

$$\tilde\beta_t=A^{-1} = \frac{ \beta_t(1-\bar\alpha_{t-1}) }{ 1-\bar\alpha_t }.$$

再定义线性项中的向量：

$$b = \frac{\sqrt{\alpha_t}}{\beta_t}x_t + \frac{ \sqrt{\bar\alpha_{t-1}} }{ 1-\bar\alpha_{t-1} }x_0.$$

对 $A\|y\|^2-2b^\mathsf T y$ 配方：

$$A\|y\|^2-2b^\mathsf T y = A\|y-A^{-1}b\|^2 - A^{-1}\|b\|^2.$$

因此高斯均值是：

$$\tilde\mu_t=A^{-1}b=\tilde\beta_t b.$$

分别整理 $x_0$ 和 $x_t$ 的系数：

$$\begin{aligned} \tilde\mu_t(x_t,x_0) ={}& \frac{ \sqrt{\bar\alpha_{t-1}}\beta_t }{ 1-\bar\alpha_t }x_0\\ &+ \frac{ \sqrt{\alpha_t}(1-\bar\alpha_{t-1}) }{ 1-\bar\alpha_t }x_t. \end{aligned}$$

于是完成计算：

$$q(x_{t-1}\mid x_t,x_0) = \mathcal N \left( x_{t-1}; \tilde\mu_t(x_t,x_0), \tilde\beta_t I \right).$$

4.4 继续消去 $x_0$

上面的真实后验均值仍然含有 $x_0$。训练时 $x_0$ 已知，但生成时只有 $x_t$，所以还要利用：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon$$

消去 $x_0$。直接代换后的答案是：

$$\tilde\mu_t = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon \right).$$

展开计算

先从前向采样公式反解 $x_0$：

$$x_0 = \frac{ x_t-\sqrt{1-\bar\alpha_t}\,\epsilon }{ \sqrt{\bar\alpha_t} }.$$

把它代入刚刚求出的真实后验均值：

$$\begin{aligned} \tilde\mu_t ={}& \frac{ \sqrt{\bar\alpha_{t-1}}\beta_t }{ 1-\bar\alpha_t } \frac{ x_t-\sqrt{1-\bar\alpha_t}\,\epsilon }{ \sqrt{\bar\alpha_t} }\\ &+ \frac{ \sqrt{\alpha_t}(1-\bar\alpha_{t-1}) }{ 1-\bar\alpha_t }x_t. \end{aligned}$$

因为：

$$\bar\alpha_t=\alpha_t\bar\alpha_{t-1}, \qquad \frac{\sqrt{\bar\alpha_{t-1}}}{\sqrt{\bar\alpha_t}} = \frac{1}{\sqrt{\alpha_t}},$$

所以：

$$\begin{aligned} \tilde\mu_t ={}& \frac{\beta_t} {\sqrt{\alpha_t}(1-\bar\alpha_t)}x_t - \frac{\beta_t} {\sqrt{\alpha_t}\sqrt{1-\bar\alpha_t}}\epsilon\\ &+ \frac{ \sqrt{\alpha_t}(1-\bar\alpha_{t-1}) }{ 1-\bar\alpha_t }x_t. \end{aligned}$$

合并两个 $x_t$ 项：

$$\begin{aligned} \tilde\mu_t ={}& \frac{ \beta_t+\alpha_t(1-\bar\alpha_{t-1}) }{ \sqrt{\alpha_t}(1-\bar\alpha_t) }x_t\\ &- \frac{\beta_t} {\sqrt{\alpha_t}\sqrt{1-\bar\alpha_t}}\epsilon. \end{aligned}$$

利用：

$$\begin{aligned} \beta_t+\alpha_t(1-\bar\alpha_{t-1}) &= 1-\alpha_t+\alpha_t-\alpha_t\bar\alpha_{t-1}\\ &= 1-\bar\alpha_t, \end{aligned}$$

得到：

$$\begin{aligned} \tilde\mu_t &= \frac{1}{\sqrt{\alpha_t}}x_t - \frac{\beta_t} {\sqrt{\alpha_t}\sqrt{1-\bar\alpha_t}}\epsilon\\ &= \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon \right). \end{aligned}$$

这个结果不再显式依赖 $x_0$。只要模型能够从 $x_t$ 预测累计噪声 $\epsilon$，就能得到反向分布的均值。

这个结果后面也会用到

5. 从极大似然推导

到目前为止，我们已经知道怎样构造训练样本：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon,$$

也知道只要让网络预测这份噪声：

$$\epsilon_\theta(x_t,t)\approx\epsilon,$$

就能够构造反向均值并训练模型。因此，从实现角度看，“预测噪声 + 对噪声做MSE损失”已经足够写出训练代码。

但是仍然需要回答一个理论问题：

为什么最小化噪声预测 MSE，会让生成分布 $p_\theta(x_0)$ 接近真实数据分布？

答案是：它可以从最大似然的变分下界推导出来。不过要注意，原始 DDPM 实际使用的无权重 $L_{\mathrm{simple}}$ 是对严格变分下界目标的进一步简化，并不与负对数似然逐项完全相等。

5.1 最大似然最终变成什么目标

完整的最大似然目标需要对真实数据分布中的图片取期望：

$$\max_\theta \mathbb E_{x_0\sim p_{\mathrm{data}}} \left[ \log p_\theta(x_0) \right].$$

真实分布 $p_{\mathrm{data}}$ 没有解析表达式，我们只有包含 $N$ 张图片的训练集，所以使用数据集均值近似：

$$\max_\theta \frac{1}{N} \sum_{n=1}^{N} \log p_\theta\!\left(x_0^{(n)}\right).$$

实际使用大小为 $B$ 的 mini-batch 训练时，再用 batch 均值作为这个期望的随机估计：

$$\frac{1}{B} \sum_{b=1}^{B} \log p_\theta\!\left(x_0^{(b)}\right).$$

下面和 VAE 的推导一样，为了简化符号，先固定其中一张训练图片 $x_0$，推导它的单样本目标：

$$\log p_\theta(x_0).$$

推导完成后，还要在最外层对 $x_0\sim p_{\mathrm{data}}$ 取期望。因此后文只写 $\log p_\theta(x_0)$，并不表示训练时只使用一张图片。

---

中间变量 $x_1,\ldots,x_T$ 没有被观测，所以：

$$p_\theta(x_0) = \int p_\theta(x_{0:T}) \,dx_{1:T}$$

无法直接计算。下面不是直接“写出”ELBO，而是一步一步把不可计算的积分改造成可以采样估计的期望。

首先，我们已经知道如何从干净图片 $x_0$ 采样整条前向噪声链，因此有：

$$q(x_{1:T}\mid x_0) = \prod_{t=1}^{T} q(x_t\mid x_{t-1}).$$

这是一个合法的条件概率分布，所以：

$$\int q(x_{1:T}\mid x_0)\,dx_{1:T}=1.$$

在 $p_\theta(x_0)$ 的积分中同时乘上和除以这个分布，积分值不会改变：

$$\begin{aligned} p_\theta(x_0) &= \int p_\theta(x_{0:T}) \,dx_{1:T}\\ &= \int q(x_{1:T}\mid x_0) \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \,dx_{1:T}. \end{aligned}$$

根据期望的定义：

$$\mathbb E_{z\sim q(z)}[f(z)] = \int q(z)f(z)\,dz,$$

所以上面的积分可以写成：

$$p_\theta(x_0) = \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right].$$

这一步仍然是严格等式。两边取对数：

$$\log p_\theta(x_0) = \log \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right].$$

问题在于对数位于期望外面，这个量仍然不方便直接优化。由于 $\log$ 是凹函数，Jensen 不等式给出：

$$\log\mathbb E[Y] \ge \mathbb E[\log Y].$$

令：

$$Y = \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) },$$

便得到：

$$\begin{aligned} \log p_\theta(x_0) &\ge \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \log \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right]\\ &:= \mathcal L_{\mathrm{ELBO}}(x_0). \end{aligned}$$

符号 $:=$ 表示把右边这个期望定义为 $\mathcal L_{\mathrm{ELBO}}(x_0)$。因为它不超过 $\log p_\theta(x_0)$，所以称为“证据下界”。

这个下界与真实对数似然之间究竟差多少，也可以精确写出。模型的真实后验为：

$$p_\theta(x_{1:T}\mid x_0) = \frac{ p_\theta(x_{0:T}) }{ p_\theta(x_0) }.$$

计算前向分布与该真实后验之间的 KL：

$$\begin{aligned} &D_{\mathrm{KL}} \left( q(x_{1:T}\mid x_0) \| p_\theta(x_{1:T}\mid x_0) \right)\\ &= \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \log \frac{ q(x_{1:T}\mid x_0) }{ p_\theta(x_{1:T}\mid x_0) } \right]\\ &= \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \log \frac{ q(x_{1:T}\mid x_0)p_\theta(x_0) }{ p_\theta(x_{0:T}) } \right]\\ &= \log p_\theta(x_0) - \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \log \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right]\\ &= \log p_\theta(x_0) - \mathcal L_{\mathrm{ELBO}}(x_0). \end{aligned}$$

因此有精确恒等式：

$$\log p_\theta(x_0) = \mathcal L_{\mathrm{ELBO}}(x_0) + D_{\mathrm{KL}} \left( q(x_{1:T}\mid x_0) \| p_\theta(x_{1:T}\mid x_0) \right).$$

KL 散度始终非负，所以 ELBO 必然是下界；当 $q(x_{1:T}\mid x_0)$ 与模型真实后验完全一致时，KL 为零，ELBO 才会等于真实对数似然。

将它整理后，最终结果为：

$$\begin{aligned} \mathcal L_{\mathrm{ELBO}}(x_0) ={}& \underbrace{ \mathbb E_{q(x_1\mid x_0)} [\log p_\theta(x_0\mid x_1)] }_{\text{重建项}}\\ &- \underbrace{ D_{\mathrm{KL}} \left( q(x_T\mid x_0)\|p(x_T) \right) }_{\text{先验匹配项}}\\ &- \underbrace{ \sum_{t=2}^{T} \mathbb E_{q(x_t\mid x_0)} \left[ D_{\mathrm{KL}} \left( q(x_{t-1}\mid x_t,x_0) \| p_\theta(x_{t-1}\mid x_t) \right) \right] }_{\text{逐步去噪匹配项}}. \end{aligned}$$

最大化 ELBO 等价于最小化它的相反数：

$$\mathcal L_{\mathrm{VLB}} = L_0+\sum_{t=2}^{T}L_{t-1}+L_T.$$

三个部分分别表示：

• $L_0=-\mathbb E[\log p_\theta(x_0\mid x_1)]$：最后一步从 $x_1$ 恢复 $x_0$；
• $L_T=D_{\mathrm{KL}}(q(x_T\mid x_0)\|p(x_T))$：让前向终点接近生成起点 $\mathcal N(0,I)$；
• $L_{t-1}$：让模型的反向一步逼近可计算的真实后验。

展开推导：从最大似然到三个 ELBO 项（对应官方式 47–58）

为缩短后面的公式，记：

$$\mathbb E_q[\cdot] := \mathbb E_{q(x_{1:T}\mid x_0)}[\cdot].$$

首先把边缘似然写成对中间变量的积分：

$$\begin{aligned} \log p_\theta(x_0) &= \log \int p_\theta(x_{0:T}) \,dx_{1:T}\\ &= \log \int q(x_{1:T}\mid x_0) \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \,dx_{1:T}\\ &= \log \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right]. \end{aligned}$$

由于 $\log$ 是凹函数，根据 Jensen 不等式：

$$\log\mathbb E[Y] \ge \mathbb E[\log Y].$$

所以：

$$\log p_\theta(x_0) \ge \mathbb E_{q(x_{1:T}\mid x_0)} \left[ \log \frac{ p_\theta(x_{0:T}) }{ q(x_{1:T}\mid x_0) } \right].$$

这就是官方式 (47)。接下来展开生成链和前向链：

$$p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^{T} p_\theta(x_{t-1}\mid x_t),$$$$q(x_{1:T}\mid x_0) = \prod_{t=1}^{T} q(x_t\mid x_{t-1}).$$

代入：

$$\mathcal L_{\mathrm{ELBO}} = \mathbb E_q \left[ \log \frac{ p(x_T) \prod_{t=1}^{T}p_\theta(x_{t-1}\mid x_t) }{ \prod_{t=1}^{T}q(x_t\mid x_{t-1}) } \right].$$

把 $t=1$ 的项单独取出：

$$\mathcal L_{\mathrm{ELBO}} = \mathbb E_q \left[ \log \frac{ p(x_T)p_\theta(x_0\mid x_1) \prod_{t=2}^{T}p_\theta(x_{t-1}\mid x_t) }{ q(x_1\mid x_0) \prod_{t=2}^{T}q(x_t\mid x_{t-1}) } \right].$$

由于前向过程满足马尔可夫性：

$$q(x_t\mid x_{t-1}) = q(x_t\mid x_{t-1},x_0).$$

对 $t\ge2$，根据 Bayes 公式：

$$q(x_{t-1}\mid x_t,x_0) = \frac{ q(x_t\mid x_{t-1},x_0) q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

移项得到：

$$\frac{1}{ q(x_t\mid x_{t-1},x_0) } = \frac{ q(x_{t-1}\mid x_0) }{ q(x_{t-1}\mid x_t,x_0) q(x_t\mid x_0) }.$$

因此，前向分布乘积的倒数可以改写为：

$$\begin{aligned} &\frac{1}{ q(x_1\mid x_0) \prod_{t=2}^{T}q(x_t\mid x_{t-1},x_0) }\\ &= \frac{1}{q(x_1\mid x_0)} \prod_{t=2}^{T} \frac{ q(x_{t-1}\mid x_0) }{ q(x_{t-1}\mid x_t,x_0) q(x_t\mid x_0) }. \end{aligned}$$

把只含边缘分布的部分单独观察：

$$\frac{1}{q(x_1\mid x_0)} \prod_{t=2}^{T} \frac{ q(x_{t-1}\mid x_0) }{ q(x_t\mid x_0) }.$$

将乘积展开：

$$\frac{1}{q(x_1\mid x_0)} \frac{q(x_1\mid x_0)}{q(x_2\mid x_0)} \frac{q(x_2\mid x_0)}{q(x_3\mid x_0)} \cdots \frac{q(x_{T-1}\mid x_0)}{q(x_T\mid x_0)}.$$

相邻的分子分母全部抵消，最终只剩：

$$\frac{1}{q(x_T\mid x_0)}.$$

所以 ELBO 可以整理为：

$$\mathcal L_{\mathrm{ELBO}} = \mathbb E_q \left[ \log \frac{ p(x_T)p_\theta(x_0\mid x_1) }{ q(x_T\mid x_0) } + \log \prod_{t=2}^{T} \frac{ p_\theta(x_{t-1}\mid x_t) }{ q(x_{t-1}\mid x_t,x_0) } \right].$$

使用 $\log\prod_t a_t=\sum_t\log a_t$：

$$\begin{aligned} \mathcal L_{\mathrm{ELBO}} ={}& \mathbb E_q[\log p_\theta(x_0\mid x_1)]\\ &+ \mathbb E_q \left[ \log \frac{p(x_T)}{q(x_T\mid x_0)} \right]\\ &+ \sum_{t=2}^{T} \mathbb E_q \left[ \log \frac{ p_\theta(x_{t-1}\mid x_t) }{ q(x_{t-1}\mid x_t,x_0) } \right]. \end{aligned}$$

根据 KL 散度定义：

$$D_{\mathrm{KL}}(q\|p) = \mathbb E_q \left[ \log\frac{q}{p} \right],$$

所以：

$$\mathbb E_q \left[ \log\frac{p}{q} \right] = -D_{\mathrm{KL}}(q\|p).$$

分别应用到第二项和第三项：

$$\begin{aligned} \mathcal L_{\mathrm{ELBO}} ={}& \mathbb E_{q(x_1\mid x_0)} [\log p_\theta(x_0\mid x_1)]\\ &- D_{\mathrm{KL}} \left( q(x_T\mid x_0)\|p(x_T) \right)\\ &- \sum_{t=2}^{T} \mathbb E_{q(x_t\mid x_0)} \left[ D_{\mathrm{KL}} \left( q(x_{t-1}\mid x_t,x_0) \| p_\theta(x_{t-1}\mid x_t) \right) \right]. \end{aligned}$$

这就是官方式 (58)。

5.2 去噪 KL 为什么会变成噪声 MSE

对 $t\ge2$，真实后验和模型反向分布都是高斯：

$$q(x_{t-1}\mid x_t,x_0) = \mathcal N \left( x_{t-1}; \tilde\mu_t, \tilde\beta_t I \right),$$ $$p_\theta(x_{t-1}\mid x_t) = \mathcal N \left( x_{t-1}; \mu_\theta, \sigma_t^2 I \right).$$

如果 $\sigma_t^2$ 预先固定，那么去噪 KL 中与模型参数 $\theta$ 有关的部分是：

$$L_{t-1} = \mathbb E \left[ \frac{1}{2\sigma_t^2} \| \tilde\mu_t-\mu_\theta \|^2 \right] + C.$$

把真实噪声 $\epsilon$ 和预测噪声 $\epsilon_\theta$ 的均值参数化代入后：

$$L_{t-1} = \mathbb E_{x_0,\epsilon} \left[ \frac{\beta_t^2} {2\sigma_t^2\alpha_t(1-\bar\alpha_t)} \| \epsilon-\epsilon_\theta(x_t,t) \|^2 \right] + C.$$

这就是从最大似然严格推导出来的带权噪声 MSE。

展开计算：从两个高斯的 KL 到带权噪声 MSE

先从两个一般的 $d$ 维高斯分布开始：

$$q=\mathcal N(\mu_q,\Sigma_q), \qquad p=\mathcal N(\mu_p,\Sigma_p).$$

它们的 KL 散度为：

$$\begin{aligned} D_{\mathrm{KL}}(q\|p) = \frac{1}{2}\Big[ &\operatorname{tr}(\Sigma_p^{-1}\Sigma_q) + (\mu_p-\mu_q)^\mathsf T \Sigma_p^{-1} (\mu_p-\mu_q)\\ &-d + \log \frac{\det\Sigma_p}{\det\Sigma_q} \Big]. \end{aligned}$$

在 DDPM 的第 $t$ 个反向步骤中：

$$\mu_q=\tilde\mu_t, \qquad \Sigma_q=\tilde\beta_tI, \qquad \mu_p=\mu_\theta, \qquad \Sigma_p=\sigma_t^2I.$$

因此：

$$\Sigma_p^{-1} = \frac{1}{\sigma_t^2}I,$$$$\operatorname{tr}(\Sigma_p^{-1}\Sigma_q) = d\frac{\tilde\beta_t}{\sigma_t^2},$$$$\log \frac{\det\Sigma_p}{\det\Sigma_q} = d\log\frac{\sigma_t^2}{\tilde\beta_t},$$

并且：

$$(\mu_\theta-\tilde\mu_t)^\mathsf T \Sigma_p^{-1} (\mu_\theta-\tilde\mu_t) = \frac{1}{\sigma_t^2} \|\tilde\mu_t-\mu_\theta\|^2.$$

全部代回：

$$\begin{aligned} &D_{\mathrm{KL}} \left( \mathcal N(\tilde\mu_t,\tilde\beta_tI) \| \mathcal N(\mu_\theta,\sigma_t^2I) \right)\\ &= \frac{1}{2} \left[ d\frac{\tilde\beta_t}{\sigma_t^2} + \frac{1}{\sigma_t^2} \|\tilde\mu_t-\mu_\theta\|^2 -d + d\log\frac{\sigma_t^2}{\tilde\beta_t} \right]. \end{aligned}$$

当 $\tilde\beta_t$ 和 $\sigma_t^2$ 都预先固定时，只有均值误差依赖模型参数 $\theta$。把其余项合并为常数 $C$：

$$D_{\mathrm{KL}} \left( \mathcal N(\tilde\mu_t,\tilde\beta_tI) \| \mathcal N(\mu_\theta,\sigma_t^2I) \right) = \frac{1}{2\sigma_t^2} \|\tilde\mu_t-\mu_\theta\|^2 + C.$$

$C$ 包含方差、维度和对数行列式等与 $\theta$ 无关的项。

前面已经得到真实后验均值：

$$\tilde\mu_t = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \epsilon \right).$$

模型均值使用相同形式，但把真实噪声替换成网络预测：

$$\mu_\theta = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \epsilon_\theta(x_t,t) \right).$$

两者相减，$x_t$ 项抵消：

$$\begin{aligned} \tilde\mu_t-\mu_\theta &= \frac{\beta_t} {\sqrt{\alpha_t}\sqrt{1-\bar\alpha_t}} \left( \epsilon_\theta(x_t,t)-\epsilon \right). \end{aligned}$$

平方后：

$$\| \tilde\mu_t-\mu_\theta \|^2 = \frac{\beta_t^2} {\alpha_t(1-\bar\alpha_t)} \| \epsilon-\epsilon_\theta(x_t,t) \|^2.$$

代回高斯 KL：

$$L_{t-1} = \mathbb E \left[ \frac{\beta_t^2} {2\sigma_t^2\alpha_t(1-\bar\alpha_t)} \| \epsilon-\epsilon_\theta(x_t,t) \|^2 \right] + C.$$

5.3 为什么实际训练只使用普通 MSE

严格变分目标中的每个时间步带有权重：

$$w_t = \frac{\beta_t^2} {2\sigma_t^2\alpha_t(1-\bar\alpha_t)}.$$

原始 DDPM 发现，去掉这个权重通常能够获得更好的生成质量，于是定义简化目标：

$$L_{\mathrm{simple}} = \mathbb E_{ x_0\sim p_{\mathrm{data}}, t\sim\mathrm{Uniform}\{1,\ldots,T\}, \epsilon\sim\mathcal N(0,I) } \left[ \| \epsilon-\epsilon_\theta(x_t,t) \|_2^2 \right].$$

其中：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon.$$

因此，最准确的结论是：

1. 从实现角度：现在的信息确实已经足够训练；随机选择 $t$、构造 $x_t$、预测 $\epsilon$ 并计算 MSE 即可。
2. 从理论角度：最大似然经过 ELBO、高斯 KL 和噪声参数化，可以严格推出带权噪声 MSE。
3. 从原始 DDPM 的实际做法看：常用的无权重 $L_{\mathrm{simple}}$ 删除了理论权重，是与变分目标密切相关但经过经验简化的代理目标。

6. 训练与生成

6.1 训练

每次训练先采样一张真实图片、一个时间步和一份标准高斯噪声：

$$x_0\sim p_{\mathrm{data}}, \qquad t\sim\operatorname{Uniform}\{1,\ldots,T\}, \qquad \epsilon\sim\mathcal N(0,I).$$

利用前向过程的闭式公式，直接构造所抽取时间步的带噪图片：

$$x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon.$$

网络根据带噪图片和时间步预测噪声：

$$\hat\epsilon = \epsilon_\theta(x_t,t).$$

使用简化的噪声预测损失：

$$L_{\mathrm{simple}} = \left\| \epsilon-\epsilon_\theta(x_t,t) \right\|_2^2.$$

然后对损失反向传播并更新模型参数：

$$\theta \leftarrow \theta-\eta\nabla_\theta L_{\mathrm{simple}},$$

其中 eta 是优化器当前使用的学习率。

训练过程中不需要按顺序构造整条前向链：

$$x_0\to x_1\to\cdots\to x_t.$$

因为任意时间步的带噪状态都能由干净图片一步采样得到。

6.2 生成

训练完成后，首先从标准高斯先验中采样：

$$x_T\sim\mathcal N(0,I).$$

然后按照：

$$t=T,T-1,\ldots,1$$

依次执行反向去噪。每一步使用的随机噪声为：

$$z\sim \begin{cases} \mathcal N(0,I), & t>1,\\ \delta(0), & t=1, \end{cases}$$

其中 delta(0) 表示集中在零点的退化分布；也就是说，在最后一个时间步直接令噪声为零。

反向采样公式为：

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \epsilon_\theta(x_t,t) \right) + \sigma_t z.$$

这里 $\sigma_t z$ 引入随机性，实验证明能提高生成质量

基础 DDPM 可以将反向方差设置为：

$$\sigma_t^2 = \tilde\beta_t = \frac{1-\bar\alpha_{t-1}} {1-\bar\alpha_t}\beta_t.$$

执行到最后一步后得到生成结果：

$$x_0$$