原理

条件随机场的定义

条件随机场（conditional random field）是给定随机变量X条件下，随机变量Y的马尔可夫随机场。这里主要介绍在线性链上的特殊的条件随机场，称为线性链条件随机场（linear chain conditional random field）。线性链条件随机场可以用于标注等问题。这时，在条件概率模型\(P(Y \mid X)\)中，Y是输出变量，表示标记序列，X是输入变量，表示需要标注的观测序列。也把标记序列称为状态序列。学习时，利用训练数据集通过极大似然估计或正则化的极大似然估计得到条件概率模型\(\hat{P}(Y \mid X)\)；预测时，对于给定的输入序列x，求出条件概率\(\hat{P} (y \mid x)\)最大的输出序列\(\hat{y}\)。

条件随机场：设X与Y是随机变量，\(P(Y \mid X)\)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(V,E)表示的马尔可夫随机场，即

\[P(Y_v \mid X, Y_w, w \neq v) = P(Y_v \mid X, Y_w, w \sim v)\]

对任意结点v成立，则称条件概率分布\(P(Y \mid X)\)为条件随机场。式中\(w \sim v\)表示在图G=(V,E)中与结点v有边连接的所有结点w，\(w \neq v\)表示结点v以外的所有结点，\(Y_v\), \(Y_u\)与\(Y_w\)为结点v，u和w对应的随机变量。

在定义中并没有要求X和Y具有相同的结构。现实中，一般假设X和Y有相同的图结构。这里主要考虑线性链的情况，即

\[G=(V={1,2,...,n}, E={(i, i+1)}), i=1,2,...,n=1\]

在此情况下，\(X = (X_1, X_2, ..., X_n), Y=(Y_1, Y_2,...,Y_n)\)，最大团是相邻两个结点的集合。线性链条件随机场有下面的定义。

线性链条件随机场：设\(X = (X_1, X_2, ..., X_n), Y=(Y_1, Y_2,...,Y_n)\)均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布\(P(Y \mid X)\)构成条件随机场，即满足马尔可夫性

\[P(Y_i \mid X, Y_1,...,Y_{i-1}, Y_{i+1},...,Y_n) = P(Y_i \mid X, Y_{i-1}, Y_{i+1})\] \[==1,2,...,n (在i=1和n时只考虑单边)\]

则称\(P(Y \mid X)\)为线性链条件随机场。在标注问题中，X表示输入观测序列，Y表示对应的输出标记序列或状态序列。