RPChe_'s Blog

本文将简要介绍 K-means 和 Expectation Maximization 方法，可能会以 Gaussian Mixture Models 作为后者的特例进行讨论。

本文将简要介绍 Boosting 这一集成学习方法，主要包括 Gradient Boost ，XGBoost ，以及对 Adaboost 的详细建模和收敛性分析。

本文将简要的介绍决策树这一简单的模型，主要是说明熵度量的合理性；以及集成学习中的 Bagging 方法，并引出与决策树结合的随机森林。

本文将简要介绍机器学习理论的基础内容，主要是依赖于先前介绍的集中不等式给出一些优化函数空间有限时相对简单的界，并引入 VC 维。此外本文也将简要介绍 bias-various tradeoff ，尽管此中似乎并无什么深入的理论，连是否应该归于本篇也是有待商榷的。

本文严格建模了一般监督学习，并由此引出了（机器学习中）表示定理的严格定义。接下来本文从再生核希尔伯特空间的角度介绍了核技巧，最后给出了 Mercer's Theorem 。

本文介绍了 Support Vector Machines ，使用 Lagrange Duality 推导了 Hard SVM 的对偶形式，并使用表示定理导出了 Soft SVM 的一般形式，讨论了选取复杂核函数时对 Soft SVM 的解读。

本文介绍了与先前的判别式算法不同的生成式算法，特别是 Gaussian Discriminant Analysis 和 Naive Bayes 。

本文继续介绍了 Logistic Regression 与 Generalized Linear Models 。

本文介绍了一些基本的术语，以及线性回归与 Locally Weighted Linear Regression 。

这一节要讲的主要是向量值函数求导的记号与性质。由于篇幅不长，就当为未来的杂项预留了。 向量值函数求导 我们要介绍这一套记号，主要是因为在最优化问题中我们要操作的目标函数可能包含向量值函数。具体的，目标函数往往是多元的，对其求高阶导会遇到维度爆炸的问题，因此我们往往会使用一阶的方法，例如 KKT conditions 。而因为我们只考虑一阶导数，所以要求导的函数一般最高仅包...