概率密度估计及近邻法PPT.ppt

第三章概率密度函数估计及近邻法EstimationofProbabilityDensityFunctionandTheNearestNeighborRule§1引言§2总体分布的参数估计极大似然估计贝叶斯估计参数§3总体分布的非参数估计Parzen窗法kN近邻法§4近邻法则§1引言2.非监督参数估计未知样本类别wi，已知概率密度函数p(x|wi)的形式，但参数未知，需从样本x估计参数。上述两种均可用极(最)大似然法和Bayes估计法来估计参数。3.非参数估计－即估计p(x|wi)形式已知样本类别，但未知概率密度函数的形式，要从样本推断p(x|wi)属于哪种分布。可用Parzen窗法和kN近邻法。4.近邻法则－不属于估计内容直接利用样本设计分类器。非参数(即分类中不需要估计概率密度函数)方法之一。5.参数估计的几个基本术语⑴统计量：每个训练样本都包含总体信息。根据从总体中抽取的样本集构造某种函数,该函数统计学中称为统计量。⑵参数空间：概率密度形式已知，参数q未知,q可取值的集合称为参数空间，记为Θ。⑶点估计、估计量和估计值：构造一个统计量f(x1,···,xn)作为参数q的估计量。如果x1,···,xn属于某类，代入统计量f，就可得到该类具体的估计值。本章参数估计属于点估计。⑷区间估计－要求用区间(d1,d2)作为q可能取值范围的一种估计。该区间称为置信区间。§2总体分布的参数估计设某类有N个样本组成了样本集x＝{x1,x2,···,xN}样本是独立从该类抽取的，因此N个随机变量的联合概率密度统计学中称p(x|q)为相对于样本集x的q的似然函数l(q)似然函数l(q)给出了从总体中抽取的x1,x2,···,xN这N个样本的概率。极大似然估计值定义：令l(q)为样本集x的似然函数，在Θ的参数空间中能使l(q)极大化的那个值。极大似然法的主要思想：如果在一次观察中一个事件出现了，则这个事件出现的可能性最大。事件x＝{x1,x2,…xN}在一次观察中(即从总体中抽取N个样本)出现了，就可认为p(x|q)达到极大值，即在参数空间中使似然函数极大化的值。一个简单的例子：假设似然函数p(x|q)对未知参数q是连续可微的，则可由典型的求极值的方法求得。求极大值的必要条件单个q的情况下：若q是向量，有s个分量q=[q1,···,qs]T，则多变量的梯度算子对数似然函数H(q)是单调的增函数，为计算方便，一般用对数似然函数。⑵正态分布的极大似然估计②一维正态情况，两个参数均未知，设q1＝m，q2＝s2,q＝[q1,q2]T。③多维正态密度的情况。计算方法和形式完全类似，只是复杂些，计算结果：均值向量的极大似然估计是样本的均值，而协方差的极大似然估计是N个矩阵的算术平均。这是一致估计。协方差矩阵的无偏估计为2.Bayes估计和Bayes学习贝叶斯估计和最小风险贝叶斯决策可统一：Bayes估计：有一个样本集x，用来估计所属总体分布的某个参数，使带来的贝叶斯风险最小。Bayes估计最小风险R为给定条件下某个估计量的期望损失，常称为条件风险。使条件风险最小的估计量q，也就是贝叶斯估计。经推导(P.52定理3.1)使用平方误差损失函数时，得到估计量为条件期望：Bayes参数估计步骤：①确定q的先验概率密度函数p(q)；②由样本集x={x1,x2,…,xN}计算样本的联合分布，它是q的函数；③用Bayes公式求后验分布p(q|x)④求样本的估计量q⑵正态分布情况的Bayes估计举例①样本为一维正态分布p(x|m)～N(m,s2)，m未知②m是随机的，其先验概密p(m)～N(m0,s02)③N个样本构成样本集x={x1,x2,…xN}求m的估计量解：用Bayes公式求m的后验分布：根据上述假设：代入计算后验概密p(μ|x)p(μ|x)是μ的二次函数的指数函数，仍是正态密度,写成⑶Bayes学习－求概率密度函数p(x|X)从联合密度求条件概密函数X由N个样本组成，X={x1,···,xN}用Bayes公式计算q的后验分布p(q|X)，根据独立性其中XN={x1,···,xN－1,xN}，XN－1={x1,···,xN－1}已知q的先验概密p(q|X0)=p(q)，根据样本序列{x1,…xN}按下式反复计算，得到概率密度的序列p(q),p(q|x1),p(q|x1,x2),···，同时修改q，如果这个密度序列在估计值附近产生一个陡峰,即d函数,这种性质称为Bayes学习。Bayes学习步骤：前三步同Bayes估计。下面的步骤①读入第一个样本x1，计算得到得到后验概密p(q|x1),据此作为下一步计算的先验概率密度；②读入样本x2，计算得到p(q|x1,x2)；···；③这样得到一个概率密度序列：这个过程称为参数估计的递归的Bayes方法。这个序列收敛于一个q0为中