RPChe_'s Blog

信道模型其实在信息论以外的领域不是很常见，但我认为这套理论还是相当优美的，所以我们还是谈一谈。以下我们将简要介绍信道模型与信道容量。

Typical Set 和 Asymptotic Equipartition Property 应该是很深刻的性质。

大多数人可能会认为信息熵抽象而不明确，这的确很难避免；另一些人会认为信息熵仅是玻尔兹曼熵的推广、或者信息熵度量了信息量，这很大程度上是不对的。严格的说，信息熵的定义一方面依赖于概率论，其度量了随机变量的不确定度；另一方面则依赖于信息的编码理论。下面我们要从两个方面导出信息熵。并且如若不特别说明，我们只考虑离散的情况。

下面我们将简要介绍 Markov chain 与 Fano's Inequality 。

熵有一些显然的性质，例如其是凹函数，这里就不赘述了。下面我们将定义一些其它种类的熵，并介绍其性质。

熵率是要探讨信源编码的长期平均速率的极限。现在我们先要复习一些概率论基础，我本来是不想在这边写这些的，但是我没单独写概率论，所以还是提一下。以后的内容均在一定程度上依赖于基础实分析。

本文将引入强化学习这一领域，并简要介绍一些基础的理论建模，及其深度学习的解法，例如 Deep Q Learning 和 Policy Gradient 。

本文将引入一个新的研究分支，即生成模型，并且将简要介绍其中的自回归模型、变分自编码器与生成对抗网络。

本文将简要介绍一些从图像识别扩展到视频识别的技术。

本文简要介绍了处理 3D 视觉问题的一些基本技术。