什么是命名實體識別（NER）?

命名實體識別(NER)是自然語言處理(NLP)中的基本任務之一。NLP的一般流程如下：

句法分析是NLP任務的核心，NER是句法分析的基礎。NER任務用于識別文本中的人名（PER）、地名（LOC）等具有特定意義的實體。非實體用O來表示。我們以人名來舉例：

王 B-PER

文 I-PER

和 O

小 B-PER

麗 I-PER

結(jié) O

婚 O

了。 O

（IOB是塊標記的一種表示。B-表示開始，I-表示內(nèi)部，O-表示外部）

首先明確的是NER是個分類任務,具體稱為序列標注任務，即文本中不同的實體對應不同的標簽，人名-PER，地名-LOC，等等，相似的序列標注任務還有詞性標注、語義角色標注。傳統(tǒng)的解決此類問題的方法，包括：(1)基于規(guī)則的方法。根據(jù)語言學上預定義的規(guī)則。但是由于語言結(jié)構(gòu)本身的不確定性，規(guī)則的制定上難度較大。(2)基于統(tǒng)計學的方法。利用統(tǒng)計學找出文本中存在的規(guī)律。主要有隱馬爾可夫(HMM)、條件隨機場(CRF)模型和Viterbi算法。文末會簡要介紹比較流行的CRF模型。(3)神經(jīng)網(wǎng)絡。深度學習(多層神經(jīng)網(wǎng)絡)這么流行，當然不會放過nlp，之前我的一篇帖子(《深度學習在機器翻譯中的應用》)里提到過循環(huán)神經(jīng)網(wǎng)絡(RNN)及其變種LSTM。因為文本的上下文依賴性，LSTM這種能夠存儲上下文信息的序列模型是較好的選擇(本文側(cè)重于CRF，LSTM的基本知識可參考《深度學習在機器翻譯中的應用》)。

LSTM+CRF模型

語言文本的特殊之處在于其具有一定的結(jié)構(gòu)，主謂賓定狀補，狀語后置，非限制性定語從句等等。這些結(jié)構(gòu)的存在代表著每個單詞的前后是有著一定的詞性限制的。比如：

我現(xiàn)在回家 //這是常見的（主+狀+謂+賓）結(jié)構(gòu)的句子

我今天家 //這樣的文本就不能稱為一個句子，少了必要的語法結(jié)構(gòu)

LSTM網(wǎng)絡是整體思路同樣是先對給定的訓練樣本進行學習，確定模型中的參數(shù)，再利用該模型對測試樣本進行預測得到最后的輸出。由于測試輸出的準確性現(xiàn)階段達不到100%，這就意味著，肯定存在一部分錯誤的輸出，這些輸出里很可能就包含類似于上述第二句話這種不符合語法規(guī)則的文本。因此，這就是為什么要將CRF模型引入進來的原因。條件隨機場（CRF）是一種統(tǒng)計方法。其用于文本序列標注的優(yōu)點就是上文所說的對于輸出變量可以進行約束，使其符合一定的語法規(guī)則。常見的神經(jīng)網(wǎng)絡對訓練樣本的學習，只考慮訓練樣本的輸入，并不考慮訓練樣本的輸出之間的關(guān)系。

LSTM+CRF 網(wǎng)絡

LSTM 網(wǎng)絡可以看作是一個多分類問題，給定B、I、O等標簽作為訓練輸出，”john goes to school”等句子作為輸入，根據(jù)網(wǎng)絡模型計算的概率大小確定句子中的每個單詞屬于哪個標簽(類別)，概率最大的即為該單詞最后所屬的標簽(類別)，標簽與標簽之間是獨立的。LSTM+CRF則是在分類問題的基礎上，加上輸出之間的約束關(guān)系。比如”B”標簽之后還是”B”，這種不符合語法規(guī)則的情況，通過CRF機制是可以排除的。目前，tensorflow 已支持LSTM+CRF的配置。(LSTM+CRF是深度學習中比較經(jīng)典的模型，當前還有LSTM+cnn+CRF等其他的經(jīng)過優(yōu)化的模型)。

附：條件隨機場(CRF)原理

要完全搞懂CRF的原理，可以參考李航的《統(tǒng)計學習方法》的第11章。這里作簡要說明。CRF的基礎是馬爾可夫隨機場，或者稱為概率無向圖。

延伸

概率無向圖：用無向圖表示隨機變量的概率分布。

上圖就是滿足局部馬爾可夫性的概率無向圖。每個結(jié)點都代表著一個隨機變量，邊代表著隨機變量之間的關(guān)系。

局部馬爾可夫性：P(Yu|Yv)=P(Yu|Yv,Yw)簡單理解，因為Yu和Yw之間沒有邊連接，則在給定隨機變量Yv條件下的Yu的概率，跟多加了一個Yw無關(guān)。

CRF的理解

CRF可以理解為在給定隨機變量X的條件下，隨機變量Y的馬爾可夫隨機場。其中，線性鏈CRF（一種特殊的CRF）可以用于序列標注問題。CRF模型在訓練時，給定訓練序列樣本集(X,Y)，通過極大似然估計、梯度下降等方法確定CRF模型的參數(shù)；預測時，給定輸入序列X，根據(jù)模型，求出P(Y|X)最大的序列y（這里注意，LSTM輸出的是一個個獨立的類別，CRF輸出的是最優(yōu)的類別序列，也就是CRF全局的優(yōu)化要更好一些）。

線性鏈條件隨機場(可以比較一下與上面LSTM+CRF網(wǎng)絡圖的區(qū)別與聯(lián)系)

為何CRF可以表示輸出序列內(nèi)各元素(Y1,Y2,…,Yi,Yi+1)之間的聯(lián)系？這里就是要聯(lián)系到馬爾可夫性。這也就是為什么CRF的基礎是馬爾可夫隨機場。CRF如何求解P(Y|X)，有具體的數(shù)學公式，這里就不詳細列出了。