机器学习中若干特征选择算法研究的中期报告.docx

机器学习中若干特征选择算法研究的中期报告
一、前言
特征选择在机器学习中占有重要的地位，可以减少计算量，提高分类速度，同时还可以提高分类精度。鉴于此，本文将介绍几种常见的特征选择算法，并探讨其优缺点和适用条件。
二、特征选择算法
1.Filter
Filter算法是在训练之前就完成特征选择的一种方法，其思路是先用单个特征和目标变量之间的相关性测量来评估每个特征的重要性，然后进行排名和选择。常见的相关性测量方法包括皮尔逊相关系数、卡方检验等。
优点:
-排序简单直接，计算速度快；
-在特征数目很大，样本数目很少的情况下实用。
缺点:
-无法考虑特征之间的关系；
-对特征数量的变化比较敏感；
-不考虑目标变量的影响。
2.Wrapper
Wrapper算法是使用机器学习模型来确定特征的重要性，它将特征选择看作一个特征子集搜索问题。Wrapper算法通过遍历所有可能的特征子集来确定最佳特征集。
优点:
-可以探索不同组合方式的影响；
-对特征数量的变化不敏感；
-能够考虑特征之间的关系。
缺点:
-计算量大，处理速度慢；
-容易过拟合。
3.Embedded
Embedded算法是在模型训练的过程中完成特征选择的一种方法，其思路是通过机器学习算法自动选择特征。Embedded算法是将特征选择和模型训练结合在一起的算法。
优点:
-与模型融合在一起，有较好的健壮性；
-消耗尽量少的资源；
-适合用于高维数据集中。
缺点:
-可能导致选择过多的特征，造成过拟合；
-在特征数量过多时表现效果较差。
三、比较与选择
1.比较
三种特征选择算法的优缺点如下表所示：
|Algorithm|Advantages|Disadvantages|
|-----------|------------|---------------|
|Filter|-简单直接<br/>-计算速度快<br/>-适用于特征数目较大样本数目较少的情况|-无法考虑特征之间的关系<br/>-对特征数量的变化比较敏感<br/>-不考虑目标变量的影响|
|Wrapper|-能够探索不同组合方式的影响<br/>-对特征数量的变化不敏感<br/>-能够考虑特征之间的关系|-计算量大，处理速度慢<br/>-容易过拟合|
|Embedded|-与模型融合在一起，有较好的健壮性<br/>-消耗尽量少的资源<br/>-适合用于高维数据集中|-可能导致选择过多的特征，造成过拟合<br/>-在特征数量过多时表现效果较差|
2.选择
实际选择应结合具体情况和需求进行，一般情况下，如果特征数比较小，可以使用Wrapper或Embedded算法；如果特征数比较大，可以使用Filter算法或Embedded算法；如果希望更好的性能，可以尝试使用组合算法。
四、结论
特征选择是机器学习中不可或缺的一个环节，本文介绍了三种常见的特征选择算法(Filter,Wrapper,Embedded)及其优缺点和适用条件，并提出了结合实际需求进行选择的建议。