贝叶斯分类数据挖掘.pptx

6.4BayesianClassificationBayesianClassificationBayesianTheorem:Basics贝叶斯基本理论的例子：理论上讲，与其所有分类算法相比，贝叶斯分类具有最小的出错率。然而，实践中并非如此。这是由于对其应用的假设的不准确，以及缺乏可用的概率数据造成的。研究结果表明，贝叶斯分类器对两种数据具有较好的分类效果：1.完全独立的数据。2.函数依赖的数据。NaïveBayesClassification(3).由于P(X)对于所有类为常数，只需要最大即可。如果类的先验概率未知，则通常假定这些类是等概率的，即。因此问题就转换为对的最大化。（常被称为给定时数据X的似然度，而使最大的假设称为最大似然假设）。否则，需要最大化。注意：类的先验概率可以用计算，其中是类中的训练样本数，而s是训练样本总数。（4）.给定具有许多属性的数据集，计算的开销可能非常大。为降低计算的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互独立，即在属性间，不存在依赖关系。这样：其中概率可以由训练样本估值。①如果是离散属性，则，其中是在属性上的具有值的类的训练样本数，而是中的训练样本数。②如果是连续值属性，则通常假定该属性服从高斯分布，因而：是高斯分布函数。分别为平均值和标准差。(5).对于未知样本X分类，也就是对每个类，计算。样本X被指派到类，当且仅当：换言之，X被指派到其最大的类。上面的五部就是朴素贝叶斯方法的主要思想，下面用一个具体的例子来说明具体的只用过程。RID数据样本属性用age,income,student,和credit_rating描述。类标号属性buys_computer具有两个不同的值{yes,no}。设：对应于类buys_computer=“yes”，对应于类buys_computer=“no”。我们希望分类的未知样本为：X=(age=“≤30”,income=“medium”,student=“yes”,credit_rating=“fair”）我们希望最大化。每个类的先验概率可以根据训练样本计算：P(buys_computer=“yes”)=9/14=0.643P(buys_computer=“no”)=5/14=0.357我们通过在全部时间基础上观察某事件出现比例来估计概率。例如，在下例中，估计P(age≤30|buys_computer=“yes”)使用的是比值。其中n=9为所有30|buys_computer=“yes”的训练样本。而是在其中age≤30的数目。为计算，我们计算下面的条件概率：P(age≤30|buys_computer=“yes”)=2/9=0.222P(age≤30|buys_computer=“no”)=3/5=0.600P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(income=“medium”|buys_computer=“no”)=2/5=0.400P(student=“yes”|buys_computer=“yes)=6/9=0.667P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.4假设条件独立性，使用以上的概率，我们得到：P(X|buys_computer=“yes”)=0.222x0.444x0.667x0.0.667=0.044P(X|buys_computer=“no”)=0.6x0.4x0.2x0.4=0.019P(X|buys_computer=“yes”)*P(buys_computer=“yes”)=0.028P(X|buys_computer=“no”)*P(buys_computer=“no”)=0.007因此，对于样本X，朴素贝叶斯分类预测“buys_computer=yes”。THEEND