熵权核函数支持向量机.pdf

2011年第20期◇信息技术◇

熵权核函数支持向量机

梁爽1张立坡2
（1.河南安飞电子玻璃有限公司河南郑州450016；
2.河南易安能源科技有限公司技术中心河南郑州450002）

【摘要】信息熵是用来描述和度量事件发生不确定度的一种方法，能够把一些模糊量进行合理量化。本文利用分类对象样本的重要程度
建立样本概率空间，把信息熵作为调节到支持向量机(SVM)核函数权重的依据，提出了基于熵权核函数的支持向量机方法。该方法首先利用信
息交互熵计算各个特征对分类任务的重要度，然后用熵函数对样本的重要度度量核函数中的内积和欧氏距离，从而更加有效的支配核函数。理
论分析和数值实验的结果都表明，该方法比传统的SVM具有更有效的分类能力和范化能力。
【关键词】支持向量机；核函数；熵权

0.引言n
支持向量机以统计学习理论为基础具有简洁的数学形式直观HA(x)=-Σp(xi)log2p(xi)
，、i=1
的几何解释和好的泛化能力等优点；由于采用了核函数，巧妙地解决n

了“维数灾难”问题，使得算法复杂度与样本维数无关，如何寻找到最s.t.Σp(xi)=1(6)
i=1
适合的核函数是从理论走向实际应用时所必须解决的一个关键问题是样本分类属于集合的概率同样集合的样本分类信息熵
piA。B
[1,2]。本文提出一种基于交互熵的权重核函数支持向量机方法，简称熵
记为H(x)。计算集合A和集合B的交互熵。
权支持向量机(EntropyWeightedSVM,EWSVM)。EWSVM首先用交互熵B
nm
评估相应于分类任务的各个特征的重要性，并依据重要性给各个特征p(xi/yj)
I(A;B)=-ΣΣp(xi,yj)log2
设定相应的权重，使强相关特征获得比弱相关特征更大的权重。然后i=1j=1p(xi)
将获得的权重应用到核函数的计算中，从而避免核函数的计算被一些nm
弱相关或不相关的特征所支配数值实验结果表明比传统s.t.Σp(xi)=1Σp(yj)=1(7)
。，EWSVMi=1j=1
的具有更好的精度和泛化能力
SVM。交互熵是由A获得的关于B的平均信息量。在这种方法中，可以
1.支持向量机计算样本集C中每种分类规则的交互熵，具有最低交互熵的特征是给
支持向量机是在统计学习理论的VC维理论和结构风险最小原定特征集合中具有最高区分度的特征，亦即对分类贡献最大的特征。
理的基础上发展起来的一种新的机器学习方法假设存在样本集由此可以用交互熵来度量各个特征相对于分类的相关性交互熵越
。(xi,y：
n大相关性越强假设数据集中的每个样本由个特征
∈∈为输入维数学习的目标就是找到一个超平面，。Cn
i),x∈R,y∈+1,-1,n，
∈A,A,∧,A≤来描述，则交互熵I=∈I(A),I(A),∧,I(A)≤描述了各个特
ω·x+b=0将这两类样本完全分开[3,4]。12n12n
征的权重。
对线性可分的情况，求解最优超平面的问题可归结为如下二次规
熵权核函数
划问题：Sigmoid
T
2
1K(xi,yj)=tanh(aI(Ai)xiI(Ai)yj+r),a>0,r<0(10)
minω軍（1）
22.2学习步骤
ω軍,b
根据上述建立的熵权的计算规则，下面给出熵权支持向量机的具
s.t.y(ω·x+b)≥1,ξ>0,i=1,2,∧,l
iii体算法实现步骤：
式(1)表示在经验风险为零的情况下使VC维的界最小化，从而最
步骤1根据规则X对样本数据分类，构建学习样本空间和测试
小化VC维，这正是结构风险最小化原理。这是一个凸规划问题，引入i
样本空间。
拉格朗日函数进行求解，二次规划问题(1)的对偶问题为求解如下目标
步骤2对学习样本空间和测试样本空间进行规一化处理。
函数的极大化：
步骤使用模糊理论建立样本概率空间和信道矩阵如式需
ll3(11)，
軍要指出的是条件概率矩阵描述的样本之间的相互影响主要依据对系
maxW(a)=Σai-Σai(yi(ω·xi+b)-1)，
i=1i=1
a统的了解和历史测量参数。计算学习样本空间和测试样本空间的信息
l熵以及交互熵构建熵权矩阵≤≤
，，I=I(A1),I(A2),∧,I(An)。
s.t.Σaiyi=0(2)
i=1p(x1/y1)p(x2/y1)∧p(xn/y1)
a≥0,i=1,2,L,l
ip(x1/y2)p(x2/y2)∧p(xn/ym)
其中为每个样本对应的拉格朗日乘子一般地解中只有一部P(X/Y)=(11)
，ai。，MM
分通常是一少部分不为零，对应的样本就是支持向量
aixip(x1/ym)p(x2/ym)∧p(xn/ym)
(SupportVector,SV)。步骤4选取适当的核函数，建立熵权核函数，并初始化支持向量
2.熵权支持向量机回归机的初始参数，以平均绝对误差和均方差