RPChe_'s Blog

编撰以应对并记录可能出现的技术难处。

我以前一直没怎么弄明白微分，而且现在越来越多的接触到矩阵微分，经常碰到定义上和计算上的问题，所以我们要在这里重新介绍微分那一套。特别的，比较严格的理论（主要是微分的某些内蕴性质）恐怕要在微分几何上才会遇到，因此我们暂时不会涉及这一部分。本文的主线是一般流形上的一阶微分，并以矩阵空间为例。

由于本人只学过概率论，所以在这里简单的复习一点协方差的意义和性质。

本文将简要的介绍 VAE 。本来还想谈谈 VQ-VAE ，但是觉得这种模型比较平凡，因此不讲了。

本文原先是要讲 Mixture of Gaussians, Factor Analysis, Independent Components Analysis 和 Principal Components Analysis 的。但后来我觉得 MoG 在计算上实在是没什么好讲的，而 ICA 的假设太强而脱离实际，所以这两者就不讲了。

本文将简要介绍 K-means 和 Expectation Maximization 方法，可能会以 Gaussian Mixture Models 作为后者的特例进行讨论。

本文将简要介绍 Boosting 这一集成学习方法，主要包括 Gradient Boost ，XGBoost ，以及对 Adaboost 的详细建模和收敛性分析。

本文将简要的介绍决策树这一简单的模型，主要是说明熵度量的合理性；以及集成学习中的 Bagging 方法，并引出与决策树结合的随机森林。

本文将简要介绍机器学习理论的基础内容，主要是依赖于先前介绍的集中不等式给出一些优化函数空间有限时相对简单的界，并引入 VC 维。此外本文也将简要介绍 bias-various tradeoff ，尽管此中似乎并无什么深入的理论，连是否应该归于本篇也是有待商榷的。

本文严格建模了一般监督学习，并由此引出了（机器学习中）表示定理的严格定义。接下来本文从再生核希尔伯特空间的角度介绍了核技巧，最后给出了 Mercer's Theorem 。