关于深度学习

其实是对着 UMich EECS 498-007 / 598-005: Deep Learning for Computer Vision 写的，所以主题是 Computer Vision 。本文中会有配图，是从 Justin Johnson 的 slides 上蒯的。

由于篇幅的问题，本文被拆分成了多篇。本篇是全文的目录。

目录

1. K-近邻与交叉验证

   简要介绍了最朴素的 KNN 算法。顺便把交叉验证也写了。

2. 线性分类器

   简要介绍了线性分类器，即使用单个超平面来区分每个类别。损失函数采用了 Multi Class SVM 和 Soft Max & Cross Entropy 。

3. 梯度下降法

   讨论了用于训练模型的梯度下降算法，包括朴素的 Sochastic Gradient Descent ，以及衍生的 SGD with Momentum 、AdaGrad 、RMSProp 以及最主流的 Adam 。

4. 神经网络

   介绍了朴素的 Fully Connected Neural Network ，采用的激活函数是 ReLU 。

5. 反向传播

   介绍了 Computational Graph 上的 Back Propagation ，并简要讨论了对复杂网络求梯度的技巧。

6. 卷积神经网络

   介绍了最主流的用于图像识别的 Convolutional Neural Network ，包括 Batch Normalization 。

7. 卷积神经网络的发展

   梳理了 CNN 模型的发展，简要介绍了 AlexNet 、VGG Net 、Google Net 以及 ResNet 。

8. 如何训练神经网络

   简要介绍了训练神经网络的技术细节，并引入了 Transfer Learning 这一思想。

9. 循环神经网络

   引入了 Image captioning 、Machine Translation 等问题，并简要介绍了 Recurrent Neural Network 。

10. 注意力机制

    引入了 Attention 这一概念，简要介绍了 RNN with Attention 以及最主流的 Transformer 。

11. 卷积神经网络的可视化与可解释性

    简要介绍了可视化 CNN 的中间结果的技术，讨论了 CNN 的可解释性。并在这些的技术的基础上介绍了一些有趣的应用。

12. 物件侦测与分割

    简要介绍了用于 Object Detection 的 Region Proposal 以及 R-CNN 。