本篇是我复习信息论的时候写的。本来想把标题取作“写给小学生看的信息论”之类的，但感觉有点怪，所以就叫做《基础信息论》了。本文的重点不是完全严格的理论叙述，所以没有取题为《信息论基础》。

本来是只打算写一篇，但是由于篇幅太长，还是拆分成了多篇。本篇是全文的目录。

特别的，非常建议在看信息论前先修概率论。我本来想推荐交大 coderaka 老师的 MATH2701 ，但是考虑到资源只对校内开放，还是算了。

信息熵的定义

大多数人可能会认为信息熵抽象而不明确，这的确很难避免；另一些人会认为信息熵仅是玻尔兹曼熵的推广、或者信息熵度量了信息量，这很大程度上是不对的。严格的说，信息熵的定义一方面依赖于概率论，其度量了随机变量的不确定度；另一方面则依赖于信息的编码理论。下面我们要从两个方面导出信息熵。并且如若不特别说明，我们只考虑离散的情况。
熵的性质

熵有一些显然的性质，例如其是凹函数，这里就不赘述了。下面我们将定义一些其它种类的熵，并介绍其性质。
马尔可夫链与法诺不等式

下面我们将简要介绍 Markov chain 与 Fano's Inequality 。
熵率

熵率是要探讨信源编码的长期平均速率的极限。现在我们先要复习一些概率论基础。
典型集与渐进均分性

Typical Set 和 Asymptotic Equipartition Property 应该是很深刻的性质。
信道模型与信道容量

信道模型其实在信息论以外的领域不是很常见，但我认为这套理论还是相当优美的，所以我们还是谈一谈。以下我们将简要介绍信道模型与信道容量。
微分熵