信道模型其实在信息论以外的领域不是很常见，但我认为这套理论还是相当优美的，所以我们还是谈一谈。以下我们将简要介绍信道模型与信道容量。

信道模型

考虑这样的场景：假设存在离散无记忆信源，其字符集为，每次产生一个独立同分布的字符，现在我们希望将由个字符构成的消息发送到端侧。为此，我们先做信源编码，以压缩信息。我们先前讨论过的编码实际上都是变长的信源编码，但是方便起见，现在我们只考虑等长编码，即将压缩为长度统一的码字。¹记等长编码的码率为，我们可以将消息压缩为一个消息索引，使得，即令消息对应其二进制编码的整数表示。

接下来，我们要重新对消息索引做信道编码，以对抗信道噪声。具体的，假设信道输入字符集为，则我们希望在信道的编码器处对消息索引做等长编码，即构造映射。这样，发送单个消息时我们一共要使用次信道，记第次使用时发送的字符为随机变量，前个字符构成随机向量。而因为噪声的存在，信道发送过程并不确定。我们记为信道输出字符集，第次使用时接收到的字符为随机变量，前个字符构成随机向量。那么第次使用信道时，其状态用条件概率描述。最后，当信道另一侧的解码器接收到全部的个字符时，我们希望通过某一规则对其进行解码，以得到原先的消息索引。然而由于信道噪声的存在，我们很可能无法办到这一点，而只能对做估计得到。该模型就是最基本的信源编码与信道编码分离的信道模型，信道部分如下图所示：

无反馈离散无记忆信道

一个问题是现实中信道的状态很可能发生改变，例如被先前的使用所影响。但这里我们不考虑这一问题，即假设信道是无记忆的。另外我们也要求和都是有限的² ，并且该信道是无反馈的，即编码器不知道解码器接收到了什么。从而无反馈离散无记忆信道应当满足：那么此时就有很好的形式，即：此时我们可以用马尔可夫链来描述信道模型：特别的，我们一般也要求信道的状态，即条件概率也是固定的。

信道的错误概率

现在我们考虑如何衡量信道的错误率。对于，定义条件错误率为：那么我们有两种衡量信道总体错误率的方式。其一是最大错误率：其二则是算术平均错误率：³

联合典型性

联合典型性说的东西基本和上次介绍的 AEP 是一个意思。这是为了证明以下的 DMC 的信道容量可达性而准备的理论工具。此处无意提供非常严格的证明，否则篇幅就要太长了。我们提供定理的简述如下：
联合典型集：考虑独立同分布的随机变量列，其联合典型集定义为：⁴ 我们有：
- 。
- 。
仍然考虑独立同分布的随机变量列，若，则：

信道的码率和容量

令，我们将信道编码的方式称作 code ，并定义其码率⁵为：我们称某一码率是可实现的，若存在某一 code ，使得最大错误率在时趋于。而信道的容量就定义为所有可实现的码率的上界。进一步，我们有如下的 channel coding theorem ：
- 对于离散无记忆信道，其信道容量定义为：使得所有低于的码率都是可达的。具体的，对于任意，必然存在码使其最大错误率在时趋于。并且对于任意码使得必然有。
现在我们考虑证明 channel coding theorem 。我们先证简单的方向，即对于任意必不存在使得的码。我们的工具是 Fano 不等式。为此，考虑马尔可夫链：我们对信源进行典型性编码⁶。这样，可以期待，当充分大时，我们只用管典型集中的元素，并且这些元素基本是均匀分布的。即可以验证 ⁷ 。而我们知道：从而：由于基本服从均匀分布，可以期待：因此由 Fano 不等式：而：从而：那么：
接下来我们再证明可达性，即对于任意，存在码使的。现在我们要使用概率方法。⁸考虑为每个均匀随机的选择一个编码。由于我们只考虑有限的情况，编码方式也是有限的，并且每一种的概率是均等的。现在我们考察总错误概率，应有：由于此处仍基本服从均匀分布，且我们枚举了所有可能的编码，则由对称性：此处我们使用联合典型集解码方式。即对于任意的，我们检查是否存在唯一的使得，后者为联合典型集。若存在，则令，否则令其失败，即无法对应任何消息索引。那么，考虑解码错误概率，其总共有两种来源，其一是，其二是存在另一使得。由 Union Bound ：你吗的。没学过随机过程。有点做不动啊。

其实等长编码也可以用先前的理论分析，比方说我们知道典型集编码很容易让等长编码趋近熵率下界。↩︎
其实应该是离散的，不过和有限差不多。↩︎
之所以要用这些方式衡量错误率，大概是因为我们做信道编码时并不知道信源的概率分布。↩︎
似乎在很大时前两个约束就不太重要。但方便起见这里我们还是加上。↩︎
意思大概也是平均一个字符的比特数。↩︎
我本来是想直接开始嗯证的，但是感觉这样也没啥意思，不如谈点直观。因为在直观的基础上进行严格性检验大概不难，而真检验起来又太繁琐。↩︎
这里的指可以任意接近，大概差常数个典型性中的。↩︎
和组合的 Probabilistic Method 差不多。↩︎