浅谈机器学习

交大的 CS3308 还是讲得太烂了，因此本文是对 Stanford CS229 的重新摘要。总的来说，本文将按照一定的脉络尽量严格的介绍传统机器学习方法，并尽量避免如同其它大部分资料一般的感性与杂乱。

本文被拆分为了多篇，本篇为全文的目录。

目录

1. Linear Regression

   本文介绍了一些基本的术语，以及线性回归与 Locally Weighted Linear Regression 。

2. Logistic Regression and Generalized Linear Models

   本文继续介绍了 Logistic Regression 与 Generalized Linear Models 。

3. Generative Learning Algorithms

   本文介绍了与先前的判别式算法不同的生成式算法，特别是 Gaussian Discriminant Analysis 和 Naive Bayes 。

4. Representor Theorem and Kernels

   本文严格建模了一般监督学习，并由此引出了（机器学习中）表示定理的严格定义。接下来本文从再生核希尔伯特空间的角度介绍了核技巧，最后给出了 Mercer's Theorem 。

5. Support Vector Machines

   本文介绍了 Support Vector Machines ，使用 Lagrange Duality 推导了 Hard SVM 的对偶形式，并使用表示定理导出了 Soft SVM 的一般形式，讨论了选取复杂核函数时对 Soft SVM 的解读。

6. Basic Machine Learning Theories

   本文将简要介绍机器学习理论的基础内容，主要是依赖于先前介绍的集中不等式给出一些优化函数空间有限时相对简单的界，并引入 VC 维。此外本文也将简要介绍 bias-various tradeoff ，尽管此中似乎并无什么深入的理论，连是否应该归于本篇也是有待商榷的。

7. Decision Tree and Bagging

   本文将简要的介绍决策树这一简单的模型，主要是说明熵度量的合理性；以及集成学习中的 Bagging 方法，并引出与决策树结合的随机森林。

8. Boosting

   本文将简要介绍 Boosting 这一集成学习方法，主要包括 Gradient Boost ，XGBoost ，以及对 Adaboost 的详细建模和收敛性分析。

9. K-means and Expectation Minimum

   本文将简要介绍 K-means 和 Expectation Maximization 方法，可能会以 Gaussian Mixture Models 作为后者的特例进行讨论。

10. Gaussian Mixture Models and Factor Analysis

    本文将简要介绍 Gaussian Mixture Models 和 Factor Analysis ，主要是将其作为 EM 方法的特例。