广州建网站的公司 白云区/谷歌seo引擎优化

一. KNN算法介绍

1、KNN 算法概述
Cover和Hart在1968年提出了最初的邻近算法。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN是一种分类(classification)算法，它输入基于实例的学习（instance-based learning），属于懒惰学习（lazy learning）即KNN没有显式的学习过程，也就是说没有训练阶段，数据集事先已有了分类和特征值，待收到新样本后直接进行处理。KNN是通过测量不同特征值之间的距离进行分类。

KNN算法的思路是：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

KNN三要素：距离度量、k值的选择和分类决策规则。常用的距离度量是欧式距离及更一般的Lp距离。K值小时，KNN模型更复杂；k值大时，KNN模型更简单。K值的选择反应了对近似误差和估计误差之间的权衡，通常由交叉验证选择最优的K。常见的分类决策规则是多数表决，对应于经验风险最小化。

2、KNN算法实现步骤
1）计算测试数据与各个训练数据之间的距离；
　2）按照距离的递增关系进行排序；
　3）选取距离最小的K个点
　4）确定前K个点所在类别的出现频率
　5）返回前K个点中出现频率最高的类别作为测试数据的预测分类

3、KNN算法中K值的选择（交叉验证）