ICTCLAS层叠隐马尔科夫模型.doc

ICTCLAS基于隐马尔科夫模型提出了层叠隐马尔科夫模型（CHMM），CHMM实际上是若干个层次的简单HMM组合，各层隐马尔科夫模型之间以以下几种方式相互关联：各层HMM之间共享一个切分词图作为公共数据结构（见下图），每一层隐马尔科夫模型都采用N-Best策略，将产生的最好的若干个结果送到此图中供更高层次的模型使用。

该CHMM由低到高依次为：原子切分，简单未登录词识别，嵌套未登录词识别，这几层中共享二元切分词图，并在每层对该数据结构进行修改，使得传递给基于类地隐马分词的参数越来越准确，最后一层为隐马词性标注。
马尔可夫链模型：
使用最广泛的描述类相关性的模型是马尔可夫链准则。如果wi1，wi2，…，wiN是一个类的序列，则马尔可夫模型假设

它的意思是类相关性仅局限于两个连续的类，这种模型也称为一阶马尔可夫模型，以区别它的一般形式（二阶、三阶等）。换言之，已知观察值xk-1，xk-2，…，x1分别属于类wik-1，wik-2，…，wi，在k阶段的观察值xk属于类wik的概率仅依赖与在k-1阶段产生观察值xk-1的类。

得出

其中P（wi1）是类wi，i1∈{1,2，…，M}的先验概率。另外，两个普遍采用的假设是：（a）已知类地序列，观察值在统计上是独立的；（b）某类的概率密度函数不依赖其他类。也就是说依赖性仅仅存在于产生类地序列，而在类内，观察值服从类自己的规则。这个假设意味着

描述：已知观察值的特征向量序列X：x1,…,xN，将其分到各自的类的序列Ωi：wi1,wi2,…,wiN中，则下式：

隐马尔可夫模型：
隐马尔可夫模型是在马尔可夫模型上发展而来的，马尔可夫链的状态是可以观察到的，而有的系统中，状态的变化无法直接观察到，观察值是与每一个状态相关的行为作用的结果，由一组概率函数来描述。在序列中不同的状态被它后续的观察值访问，而这个序列又是另一个随机过程结果。这些对我们都是隐藏的，描述它的那些相关参数只能通过接收到的观察值集合来推断。为了解决我们观察的事件而不是与状态一一对应而只是通过一定的概率分布联系的问题而提出隐马尔可夫模型。HMM是一个双重随机过程，一个是具有一定状态数的马尔可夫链，这是基本的随机过程，它描述状态的转移；另一个随机过程描述状态和观察值之间的统计对应关系，这由输出概率来定义。其中模型的状态转移过程是不可观察的，因而称之为“隐”马尔可夫模型。一个HMM可以用一个五元组（S,V,A,B,∏）来表示，其中
S代表一组状态的几何，S={s1，…，sN}，其中的状态数为N，并用qt来表示t时刻的状态。
V代表一组可观察符号的集合，V={v1，…，vM}，M是从每一个状态可能输出的不同的观察值的数目。
A代表一组状态转移概率矩阵，A={aij}其中aij={qt+1=sj|qt=si}，1<=i，j<=N，这是个N行N列的矩阵，aij表示从状态si转移到状态sj的概率。
B表示可观察符号的概率分布，B={bijk}，1<=i,j<=N,1<=K<=M表示在sj状态输出观察符号vk的概率。
∏代表初始状态的概率分布，∏={πi}，其中πi=P(q1=si)，它表示在时刻1选择某个状态的概率。

一个确定的隐马尔可夫模型，其状态数和每个状态可能输出的观察值的数目都是可以确定的，因此可以用λ=（A,B,∏）来表示模型的参数。其中∏，A描述马尔可夫链，产生的输出为状态序列，记为Q；B则描述随机过程，产生的输出为观察值序列，记为O。
一阶隐马模型做出了两个重要的假设：
状态转移的Markov假设：在t时刻（前一时刻）处于状态si，而在t+1时刻（当前时刻）进入状态sj的状态转移概率只取决于前一时刻所处的状态，而与前一时刻以前的历史无关。
输出值的Markov假设：输出观察值的概率同样具有Markov性，即只取决于当前时刻所处的状态，而与以前的历史无关。

应用隐马尔可夫模型主要解决三个方面的问题
评估问题：对于给定的模型λ=（A,B,π），和给定的观察序列O=（O1O2O3…OT），如何有效的计算观察值序列O的概率P(O|λ)。
解码问题：对于给定的模型λ=（A,B,π），和给定的观察序列O=（O1O2O3…OT），如何寻找一个状态转换序列Q=（q1q2…qT）,使得该状态转换序列最有可能产生上述观察序列。
学习问题或训练问题：在模型参数未知或不准确的情况下，如何根据观察序列O=（O1O2O3…OT）球的模型参数或调整模型参数，即如何确定一组模型参数，使得P（O|λ）最大。

在讲解这三个问题之前，引入一个著名的抛硬币问题，假设有三枚硬币，在抛的过程中我们看不到其中的过程，只能得到每次抛出硬币的结果，这样对我们来说，每次抛硬币我们都不知道是哪枚硬币产生当前的观察结果（正面或者反面）。对我们来说，概率过程是