武汉大学模式识别复习提纲.pdf

--考试事项及复习提纲考试时间及地点:本周日（12月１号)，(8:50—11：25）2－4节,在1区教三楼3-102题目类型:满分100分６道简答+6道计算复习范围：1、09年试题+10年考试试题2、课本例题（附章节和页面)3、中科院考博题库题目透视：０９年和1０年试题预览：题目+答案一、简答题1简述模式识别系统的构成。2简述机器学习方法中随机训练、成批训练和在线训练的区别。３简述隐马尔可夫模型的三个核心问题。4简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源。5简单列举出三种度量距离的方法。6具有d个输入单元、n个隐单元、ｃ个输出单元以及偏置的一个标准三层反向传播网,网络中有多少权值？7最大似然方法与Baｙｅｓ估计的差异答案：１、系统构成:信息获取是指通过传感器将光或声音等信息转化为计算机可以处理的电信息；预处理包括A\D,二值化,图象的平滑,变换，增强,恢复,滤波等，主要指图象处理;特征提取和选择是把测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征的过程；分类器设计的主要功能是通过训练确定判决规则,使按此类判决规则分类时，错误率最低;分类决策是在特征空间中对被识别对象进行分类。2、随机训练:模式是随机的从训练集中提取的，网络权值也根据不同的模式进行更新，训练数据可认为是一个随机变量；----成批训练：所有的模式在训练前全部送往网络中;在线训练：每种模式只提供一次，不需要存储器来保存模式，当训练数据很多或者当内存消耗大而无法存储数据时,常采用在线训练。3、隐马尔可夫模型的三个核心问题：1）估值：HMM的转移概率已知,计算这个模型产生一个特定观测值的概率；2）解码:已知一个HMM和一个它所产生的观测序列，确定产生该观测序列最有可能的隐状态序列;3）学习:只知一个ＨMＭ的大致结构，其转移概率都未知。如何从一组可见符号的序列中,决定这些参数4、简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源:贝叶斯误差：由于不同的类条件概率密度函数之间的互相重叠引起的固有误差,无法消除；模型误差：选择不正确的模型所导致的分类误差；估计误差:采用有限样本进行估计带来的误差。nn2dXXdij|XikXjk|ijikjk5、k1k1简单列举出三种度量距离的方法:绝对值距离:欧几里德距离:1qnd(q)||qd()max|XX|ijXXijikjkikjkk11kn切比雪夫距离:明考夫斯基距离:6、具有d个输入单元、n个隐单元、c个输出单元以及偏置的一个标准三层反向传播网，网络中有多少权值?每个输入单元对应n个隐单元：d*ｎ每个隐单元对应c个输出单元：n*c偏置单元连到每个隐单元和输出单元:n+c一共d*n+ｎ*ｃ＋n+c个权值7、最大似然方法与Bayes估计的差异:最大似然估计就是把待估的参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生以观测到的样本的概率最大的那个值。Bayes估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，就是把先验概率密----度转化成后验概率密度的过程，这样就利用样本的信息修正了对参数的初始估计值。二、１(5４页,１２题)设(x)为类别状态,对所有的i(i1,...c),有maxP(|x)P(|x)。maxi(a）证明P(w|x)1/cmax(ｂ)证明对于最小误差判定规则，平均误差概率为1P(w|x)P(x)dxmax2、（11６页，2题)令ｘ具有均匀分布的概率密度:1/0xP(x|)~U(0,)0其他(1）假设n个样本点D={x,...x}都独立地服从P(x|),证明对于的最大似然估1n计就是Ｄ中的最大值点ｍaｘ[D].（假设ｎ＝５个样本点是从这个分布中抽取的，并且有maxx．画出2)k=0.6k区间0≤≤1上的似然函数P(D|)。并且解释为什么此时不需要知道其余4个点的值。----1b）当n=５时，由以上可知P(D|)＝，max(D)max(x),因此当max(x)0.65ii时就可以得到,不需要知道其余四个值。3、应用题：计算两类问题中二维数据的贝叶斯判决边界,并绘出判决边界的图形。假设两类分布的先验概率相等。ｗ的样本为（2,6),(3,４)，(３,8），(4,6），w的样本为(０,3），(１,-１２２），(２，-４)，(５，-2）。----2.考虑下面的二维空间的３-类别问题：ｗww12３xxxxxx１2121２１００510２８0－1005－525－２5５1０－4画出用最近邻规则区分的决策边界。计算样本均值ｍ和。在同一张图上画出如m1,2m3,果把样本归类为与之最接近的样本最值的那个类时的判定边界。----3．用伪逆矩阵构造线性分类器,分类两类