K-近邻与交叉验证

即 KNN 与 Cross Validation 。因为 KNN 比较简单就顺便把 Cross Validation 也写了。

K-近邻

• 即 K nearest neighbors ，KNN 。是一个简单的算法。

问题背景

• 给定包含图像的训练集与测试集，请基于训练集中标注的分类结果对测试集中的图像进行分类。

算法描述

• 考虑将图像按照像素点排列作为向量，那么一个简单的想法是，对于一个待分类的向量，我们直接寻找训练集中距离其最近的一个向量，并选择其类别即可。进一步可以扩展为，我们寻找训练集中距离其前 近的向量，然后通过投票寻找票数最高的类别。

Cross Validation

• 在选择超参数时，我们需要一个数据集来评估训练的效果，然后做调整。显然这个数据集不能取测试集，不然会导致过拟合。所以我们的办法是，从训练集中抽出一部分数据作为验证集，然后使用验证集调整超参数，最后再使用测试集做评估。

  

  为了在同一超参数上做多次测试，可以采用 Cross Validation 的方式，将训练集划分为多块，然后选择每一块作为验证集。