基于分段核函数的支持向量机及其应用.docx

基于分段核函数的支持向量机及其应用摘要：支持向量机兼顾训练误差和推广性能已受到机器学习领域的高度重视而核函数的性能是支持向量机研究中的关键问题。研究了几种常见核函数对支持向量机推广性能的影响并利用全局核函数和局部核函数的性质提出了一种新的分段核函数的支持向量机。数据集上的仿真结果表明该核函数对应的支持向量机泛化能力优于传统核函数对应的支持向量机具有较好的预测性能。关键词：支持向量机；分段核函数；全局核；局部核中图分类号：TN911?34文献标识码：A文章编号：1004?373X（2013）16?0005?04支持向量机（SVM）是一种以统计学习理论为基础的优化算法对于未知测试数据具有良好的推广性能它在文本分类、车牌识别、身份验证、生物科学等领域已经有了较好的应用。V.N.Vapnik等人在20世纪60年代就开始研究小样本情况下机器学习问题并在1995年首先提出支持向量机。近年来支持向量机理论逐渐成熟主要有以下几个特点：（1）SVM解决的是小样本条件下的最优解不需要训练过程中有充足的训练样本。（2）SVM利用内积核函数实现从低维空间到高维空间的非线性映射从而将非线性分类问题变为线性分类问题。SVM决策函数由支持向量确定支持向量的数目决定计算的复杂度与样本空间维数无关因而它克服了传统模式识别中由于样本空间的维数过高导致的“维数灾难”。（3）SVM引入错误代价系数可以在约束错误率的情况下找出最佳分类超平面具有很好的推广性能避免了人工神经网络方法中容易过度拟合训练样本的问题。然而支持向量机在应用过程中也存在一些问题分类过程中不同核函数对应的分类结果、准确率都不同如何根据不同的训练样本采用相应的核函数亟待解决。目前国内外一些学者正在从事这方面的研究并取得了一些进展。袁小艳等人提出了组合核函数支持向量机充分利用了全局核函数和局部核函数的特性提高了分类准确率[1]。丁子春在自适应算法的基础上提出了自适应核函数通过实验证明此核函数有较好的学习能力和泛化能力[2]。OLIVIERCHAPELLE等人提出用梯度下降法选择核函数参数进行训练得到了理想的结果[3]。因此针对支持向量机现有的问题本文将根据核函数类型以及核函数中的参数对数据集进行研究讨论。1支持向量机简介支持向量机主要有线性可分、非线性可分以及带有核函数映射三类分类问题。由于线性分类器分类性能较差非线性分类器在保证推广能力的前提下错误率较高因此可以通过低维空间到高维空间的非线性映射将问题转换为在高维空间求得最佳线性分类超平面。1.1非线性映射为了使样本在特征空间可分将[?]维空间中样本映射到高维的空间中去通过一个非线性映射[?]：[R?][RD]训练样本集我们得到[D]维空间里的分割超平面。分类样本通过映射[?]变换到[RD]中直接在[RD]中进行分类不用映射回原空间。1.2优化求解非线性可分数据集{（[x1][y1]）（[x2][y2]）…（[x?][y?]）}经过非线性映射数据集转化为线性可分数据集{（[?（x1）][y1]））（[?（x2）][y2]）…（[?（x?）][y?]）}它被超平面[wx+b=0]分开样本点离此平面越远支持向量机推广性能越好。同时考虑到样本分类的正确率得到如下优化问题：[min12w2+Ci=1?ξi][s.t.yi（w?（xi）+b）≥1-ξiξi≥0i=12…?]式中样本向量[xi∈R?]；[?]是训练样本数；[w]是权矢量；[b]是阈值；[yi]为样本标记。通过推导得到优化目标函数：[L（a）=i=1lai-12i=1lj=1laiajyiyjκ（xi?xj）]式中核函数[κ（xixj）=?（xi）?（xj）]原问题转化为如下最优化问题：在如下约束条件下[i=1?aiyi=0][0≤ai≤C][i=12…?]。最大化目标函数[L（a）]。因为有[w=][i?aiyi?（xi）]故最终的决策函数为：[h（x）=sgn（w?（xi）+b）=sgni?aiyi?（xi）?（xj）+b]由上式可知最终的决策函数取决于核函数核函数的性能决定最终的判别结果。2核函数研究核函数是支持向量机的关键部分核函数引入后不用再进行庞大的内积运算从而使高维空间的线性分类成为可能。2.1常见核函数根据泛函理论任何一种核函数只要满足Mercer条件他就可以等价为变换空间中的内积。常见的核函数有4种：（1）线性核函数：[κ（xy）=x?y]