RPChe_'s Blog

本篇是我复习信息论的时候写的。本来想把标题取作“写给小学生看的信息论”之类的，但感觉有点怪，所以就叫做《基础信息论》了。本文的重点不是完全严格的理论叙述，所以没有取题为《信息论基础》。

其实是对着 UMich EECS 498-007 / 598-005: Deep Learning for Computer Vision 写的，所以主题是 Computer Vision 。本文中会有配图，是从 Justin Johnson 的 slides 上蒯的。

实在找不到什么好的资料，于是就自己来写一个吧。

本文将从基础开始介绍机器学习的算法。

编撰以应对并记录可能出现的技术难处。

此处我们只是简单的将先前的概念推广到连续随机变量的情况下而已。

信道模型其实在信息论以外的领域不是很常见，但我认为这套理论还是相当优美的，所以我们还是谈一谈。以下我们将简要介绍信道模型与信道容量。

Typical Set 和 Asymptotic Equipartition Property 应该是很深刻的性质。

大多数人可能会认为信息熵抽象而不明确，这的确很难避免；另一些人会认为信息熵仅是玻尔兹曼熵的推广、或者信息熵度量了信息量，这很大程度上是不对的。严格的说，信息熵的定义一方面依赖于概率论，其度量了随机变量的不确定度；另一方面则依赖于信息的编码理论。下面我们要从两个方面导出信息熵。并且如若不特别说明，我们只考虑离散的情况。

下面我们将简要介绍 Markov chain 与 Fano's Inequality 。

熵有一些显然的性质，例如其是凹函数，这里就不赘述了。下面我们将定义一些其它种类的熵，并介绍其性质。