最大熵模型.ppt

最大熵模型与自然语言处理MaxEntModel&NLPTopicsNLP与随机过程NLP与随机过程NLP与随机过程NLP与随机过程What’sEntropy?称硬币(cont.)称硬币(cont.)称硬币(cont.)称硬币(cont.)称硬币(cont.)称硬币(cont.)称硬币-Version.2称硬币-Version.2称硬币-Version.2称硬币-Version.2称硬币-Version.2称硬币-Version.2称硬币-Version.3,4,…∞What’sEntropy?熵的性质熵的性质熵的性质ConditionalEntropyConditionalEntropy已知与未知的关系已知与未知的关系—例子已知与未知的关系—例子已知与未知的关系—例子最大熵模型MaximumEntropy最大熵模型MaximumEntropy最大熵模型MaximumEntropy特征(Feature)样本(Sample)特征与样本特征与样本特征与样本条件（Constraints）最大熵模型MaximumEntropy最大熵模型MaximumEntropy最大熵模型的解决非线性规划基本概念NonlinearProgramming非线性规划基本概念NonlinearProgramming非线性规划基本概念NonlinearProgramming非线性规划基本概念NonlinearProgramming极值条件极值条件极值条件拉格朗日算子LagrangeMultiplier拉格朗日算子LagrangeMultiplier拉格朗日函数可能的最优解（Exponential）最优解的存在性最优解形式（Exponential）最优解（Exponential）最优解（Exponential）对偶问题Duality对偶问题AlicevsBob对偶问题AlicevsBobAlicevsBobVersion.2对偶问题AlicevsBob非线性规划中的对偶问题对偶问题与拉格朗日函数：对偶问题与拉格朗日函数：梯度递减法梯度递减法梯度递减法最大似然率MaximumLikelihood最大似然率MaximumLikelihood最大似然率MaximumLikelihood最大似然率MaximumLikelihood最大似然率MaximumLikelihood最大似然率最大似然率最大似然率MaximumLikelihood偶然？必然？特征选取问题特征选取问题特征选取算法算法步骤敏感度分析与特征提取Sensitivity应用实例应用实例应用实例应用实例应用实例应用实例相关项目总结与启发参考文献参考文献(Cont)Q&A？