模式分类中特征选择算法研究的中期报告.docx

模式分类中特征选择算法研究的中期报告
一、研究背景
特征选择在模式分类问题中是十分重要的一步，其作用是从原始特征集合中选择一部分最有代表性和相关性的特征子集，从而提高分类器的性能和准确率，同时降低维数的同时还能提供更好的解释和理解。特征选择方法可以分为三类：过滤式方法、包裹式方法和嵌入式方法。
过滤式方法主要通过对特征子集进行评价和排序，选出最优子集进行分类；包裹式方法是在分类器的基础上评价和选择特征，因此计算量较大；嵌入式方法是在学习模型过程中实现特征选择，它能够在模型学习阶段同时完成特征选择和学习分类器。
二、研究内容
本次中期报告的研究内容为特征选择算法，主要分为三个方面：过滤式方法、包裹式方法和嵌入式方法。
1.过滤式方法
经典的过滤式方法有卡方检验、互信息、相关系数等。卡方检验的原理是将原始的特征矩阵转化为频率矩阵，计算各个特征与分类变量之间的卡方值，根据阈值选择最优的特征子集；互信息是统计学中的一个概念，用来描述两个变量相互依赖的程度，其熵值越大，则两个变量之间的相关性越强；相关系数则是用来计算两个变量之间的线性相关性程度，其取值范围为-1到1之间，0表示无线性相关性，-1表示完全负相关，1表示完全正相关。
2.包裹式方法
包裹式方法是应用分类器来评价特征子集的优劣，具体的算法有递归特征消除、随机森林、支持向量机等。递归特征消除（RFE）是通过不停地迭代，选出最优的特征子集，再将不同的子集作为输入进行分类，最后选择分类效果最优的子集。
3.嵌入式方法
嵌入式方法是将特征选择步骤嵌入到模型训练过程中，常用的算法有LASSO、Ridge回归和线性判别分析等。LASSO（LeastAbsoluteShrinkageandSelectionOperator）算法是利用一种L1正则化的线性回归方法，其主要作用是对特征进行缩减，从而达到特征选择的效果。
三、研究计划
接下来我们将对所涉及到的算法进行详细的实验验证和性能比较，从而探究出最优的特征选择算法。我们准备使用多个数据集（如Iris数据集、Mnist数据集、BreastCancer数据集等）进行实验测试，并将测试结果进行可视化展示，以更好地理解不同算法之间的优缺点，为后续研究提供支持。