基于粒子群算法的双子支持向量机研究.docx

基于粒子群算法的双子支持向量机研究摘要：针对标准支持向量机训练时间过长与参数选择无指导性问题给出一种通过粒子群优化双支持向量机模型参数的方法。与标准支持向量机不同该方法的时间复杂度更小特别适合不均衡的数据样本分类问题对求解大规模的数据分类问题有很大优势。将该算法与标准的支持向量机分类器在不同的文本数据集上进行仿真实验对比以验证算法的有效性。结果表明基于粒子群优化的双子支持向量机分类器的分类结果高于标准支持向量机分类结果。关键词：双子支持向量机（TWSVM）；分类算法；粒子群优化算法（PSO）DOIDOI：10.11907/rjdk.151455中图分类号：TP312文献标识码：A文章编号：16727800（2015）006007204基金项目：玉林师范学院校级科研项目（2014YJYB04）作者简介作者简介：刘建明（1986-）男广西博白人硕士玉林师范学院数学与信息科学学院助教研究方向为数据挖掘与机器学习。0引言粒子群优化算法[1]（ParticleSwarmOptimizationPSO）是由美国研究学者Kennedy等人在1995年提出的PSO算法每一代的种群中的解具有向“他人”学习和“自我”学习的优点该算法能在较少的迭代次数中找到全局最优解这一特性被广泛应用于神经网络方法、函数优化问题、数据挖掘、模式识别工程计算等研究领域。双子支持向量机（TwinSupportVectorMachinesTWSVM）是Jayadeva[23]基于传统支持向量机在2007年提出来的。TWSVM是从SVM演化而来的是一种新型的基于统计学习理论的机器学习算法。TWSVM具有SVM优点同时适合处理像文本自动分类、基因表达、空间信息遥感数据、语音识别等这样的大规模数据分类问题。针对TWSVM对惩罚参数和核函数参数缺乏指导性问题本文结合PSO算法的优点给出一种基于PSO的算法优化改进策略对TWSVM分类器进行优化。PSO是一种基于群体智能的全局寻优算法该算法能在较少的迭代次数中找到全局最优解通过利用粒子群优化算法对双子支持向量机进行优化后分类器较之标准支持向量机有更好的分类效果。1PSO算法PSO算法步骤：①初始化粒子群利用随机函数法给每一个粒子的初始位置和速度赋值；②根据第①步的赋值及初始位置与速度更新每一个粒子新的位置；③利用选定的适应度函数计算每一个粒子的适应度值；④对每一个粒子对比其个体和群体的适应度值并找出粒子经过的最好位置的适应度值如果发现更好的位置及适应度值那么就更新其位置；⑤根据公式更新每个粒子的速度与位置如果找到最优的位置或者是到了最大的迭代次数算法终止否则转入第3步继续迭代求解。2双子支持向量机（TWSVM）与SVM不同TWSVM求解的是一对分类超平面SVM求解一个QP问题而TWSVM解决的是两个QP问题而这两个QP问题的求解规模比SVM小很多。传统SVM构造两个平行的超平面并且使两个超平面之间的距离最大即最大间隔化TWSVM虽然也是构造超平面但超平面之间不需要平行。TWSVM对每一个样本都构造一个超平面每个样本的超平面要最大限度地靠近该类的样本数据点而同时尽可能地远离另一类样本数据点。新数据样本将会分配给离两个超平面中最近的一个平面。事实上该算法还可以沿着非平行面聚集而且样本聚集方式是根据完全不同的公式聚合而成的。实际上在TWSVM中的两个QP问题与标准SVM的QP问题除了求解约束问题不同外求解公式是相同的。TWSVM的二分类算法通过求解下面的一对QPP（QuadraticProgramProblem）问题进行二次规划优化[5]。其中c1c2>0并且e1和e2是适当维数且属性值是全为1的向量。TWSVM算法为每一个类构建超平面时样本点根据与各个超平面的距离大小作为与平面靠近程度的评价指标目标函数（2）和（3）计算样本点与超平面距离的平方。因此它的最小值能保证样本数据点最大限度地靠近其中一类（类一）同时尽可能地远离另一类。误差变量用于测量超平面距离间隔的误差。目标函数公式（2）和（3）的第二项是误差之和它的作用是使错分样本的数据极小化尽量减少错分的误差情况。为求解公式（2）和（3）分别对TWSVM1和TWSVM2引入拉格朗日函数通过KKT条件分别求得其对偶问题如公式（4）和（5）[6]所示。3基于PSO的TWSVM分类算法在TWSVM中与SVM相同都需要对参数进行确定TWSVM对每个类均有一个惩罚参数和核函数参数。不同的惩罚参数和核函数参数影响分类的准确率而PSO算法拥有全局的优化能力因此本文将