最近邻分类的若干改进算法研究的综述报告.docx

最近邻分类的若干改进算法研究的综述报告
最近邻分类（K-NearestNeighbor,KNN）是一种基本且常用的分类算法，它通过计算测试数据和训练数据之间的距离来确定测试样本的分类。KNN算法在处理非线性或复杂数据集时非常有效，并且不需要事先对数据做出任何假设。尽管该算法非常直观且简单，并且已经被广泛应用。但是，KNN也存在一些局限性，比如容易受到噪音和异常值的影响，而且时间和空间复杂度较高。为了解决这些问题，研究者们提出了不少改进算法。本文就对其中几个代表性的改进算法进行综述。
1.交互式KNN
交互式KNN算法（InteractiveKNN,I-KNN）是基于KNN算法的改进版本，主要用于解决KNN算法对噪声和异常值敏感的问题。该算法使用迭代过程建立了一组候选邻居，并在每次迭代中移除一些噪声或异常值。该算法通过与用户进行交互来确定那些远离测试点的数据点可能是噪音或异常点。这些点标记为禁止点，并从后续迭代中删除。实验表明，交互式KNN在处理具有大量噪声和异常值的数据时可以提高分类准确率，但是需要大量的时间和人力资源。
2.带权KNN
带权KNN算法（WeightedKNN,WKNN）通过使用更合适的距离加权函数，来调整KNN算法中每个邻居的权重。使用哪种距离加权比较合适取决于具体数据的特征。这样做的好处是可以降低那些在决策中有负作用的邻居影响，并提高分类准确率。另外，WKNN也可以处理类不平衡问题，即不同类别的观测值数量不平衡的问题。
3.过滤式KNN
过滤式KNN算法（FilteringKNN,FKNN）是一种使用特征选择（FeatureSelection）的改进算法。特征选择是一个预处理阶段的技术，可以将数据集中的维度选出具有更高预测能力的特征，从而提高分类效果和降低计算成本。FKNN首先使用特征选择算法从原始数据中选择最相关的特征，然后再使用KNN算法进行分类。这样可以极大地减少数据维度，并提高分类准确性和计算效率。然而，特征选择算法的选择也影响了分类结果的好坏，所以FKNN算法的性能也和所使用的特征选择算法有关。
总之，KNN是一种基本和优秀的分类算法，但也存在一些问题。为了提高算法性能，研究者们提出了许多改进算法，例如I-KNN，WKNN和FKNN等。它们各自具有一定的优点和不足，应用时需根据具体场景和需求灵活选择。