近日，自然語言處理領(lǐng)域權(quán)威數(shù)據(jù)集SuperGLUE最新榜單排名更新。Google預(yù)訓(xùn)練模型T5保持第一，中國AI創(chuàng)業(yè)公司追一科技AI Lab團(tuán)隊(duì)超越Facebook AI，躍居榜單第二。值得注意的是，相比谷歌T5等超大規(guī)模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商業(yè)化能力也非常強(qiáng)勁，相關(guān)技術(shù)已經(jīng)落地到追一科技的AI數(shù)字員工產(chǎn)品線上，持續(xù)賦能銀行、保險(xiǎn)、證券、零售、地產(chǎn)、能源，教育，互聯(lián)網(wǎng)等多個(gè)行業(yè)。

追一科技躍居SuperGLUE測試榜第二

SuperGLUE(Super General Language Understanding Evaluation)是當(dāng)下NLP領(lǐng)域難度最大，權(quán)威性最高，含金量最足的測評標(biāo)準(zhǔn)之一，由紐約大學(xué)、華盛頓大學(xué)以及谷歌旗下的DeepMind聯(lián)合Facebook作為主要發(fā)起人推出，最大程度涵蓋了現(xiàn)實(shí)生活中可能遇到的不同類型的NLP任務(wù)，旨在更真實(shí)地反映當(dāng)前最前沿的NLP技術(shù)可以達(dá)到的認(rèn)知智能水平。

追一科技在為企業(yè)提供智能交互服務(wù)的過程中，技術(shù)和應(yīng)用互相驅(qū)動(dòng)，將實(shí)際商業(yè)化應(yīng)用中總結(jié)出的多任務(wù)學(xué)習(xí)、對抗訓(xùn)練、知識(shí)蒸餾等技術(shù)手段和經(jīng)驗(yàn)融入到參賽模型中，并在SuperGLUE測評數(shù)據(jù)集上拿到第二的成績。

除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學(xué)術(shù)研究看，T5模型達(dá)到了目前“實(shí)驗(yàn)室智能”的最好水平，但如果考慮商用，T5需要耗費(fèi)大量的算力，且模型自身體積過于龐大，目前還不能落地到實(shí)際業(yè)務(wù)場景中，缺少實(shí)際的商業(yè)應(yīng)用價(jià)值。

而追一科技通過多任務(wù)學(xué)習(xí)、對抗訓(xùn)練以及知識(shí)蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次于Google的T5。同時(shí)，相關(guān)技術(shù)也落地到了追一科技AI數(shù)字員工的產(chǎn)品線上。就SuperGLUE排名而言，可以說追一科技的RoBERTa-mtl-adv模型在目前全球具有實(shí)際落地能力的NLP模型中效果最好，排名最高。

“學(xué)霸”模型的商業(yè)化能力

SuperGLUE測試項(xiàng)目并非是“花拳繡腿”，而是實(shí)實(shí)在在考驗(yàn)?zāi)Ｐ屯ㄓ媚芰Φ摹拌F人三項(xiàng)”;參加SuperGLUE也并非只是為了刷新評分，更重要的是檢驗(yàn)當(dāng)前技術(shù)能否很好地落地到實(shí)際應(yīng)用場景中去。

SuperGLUE覆蓋了問答、推斷、語義理解、常識(shí)判斷等自然語言理解維度，是人機(jī)智能交互過程中的核心環(huán)節(jié)，在具體的業(yè)務(wù)場景中都有很重要的應(yīng)用價(jià)值。追一科技此次參賽模型的相關(guān)NLP技術(shù)已經(jīng)被成熟運(yùn)用于到自主研發(fā)的全套AI數(shù)字員工產(chǎn)品線上，廣泛服務(wù)于銀行、保險(xiǎn)、泛互聯(lián)網(wǎng)、地產(chǎn)、政企等多個(gè)行業(yè)的標(biāo)桿客戶。例如，在追一科技的智能在線機(jī)器人Bot中就融入了多輪問答技術(shù)、語義檢索、機(jī)器閱讀理解技術(shù)等NLP技術(shù)，能準(zhǔn)確識(shí)別用戶意圖，滿足用戶需求。

口說無憑，接下來就結(jié)合SuperGLUE中的任務(wù)與Bot的具體案例，一探虛實(shí)。

單/多輪問答技術(shù)是指機(jī)器人和用戶之間一問一答，實(shí)現(xiàn)多輪對話的過程。例如下面這個(gè)智能在線機(jī)器人Bot服務(wù)餐飲行業(yè)的場景：

智能在線機(jī)器人Bot不僅可以從對話中準(zhǔn)確識(shí)別出地點(diǎn)，人數(shù)等信息，還能進(jìn)一步追問用戶未給出的“用餐時(shí)間”的信息，滿足客戶的需求。而傳統(tǒng)的客服機(jī)器人并不會(huì)對未給出的潛在信息做出反應(yīng)。

機(jī)器閱讀理解技術(shù)在于機(jī)器人去“用力”理解文檔中內(nèi)容的意思，從而根據(jù)用戶需求輸出相應(yīng)的結(jié)果。例如在金融保險(xiǎn)領(lǐng)域會(huì)涉及到大量保險(xiǎn)業(yè)務(wù)文檔的修訂、新增等情況。在面對客戶時(shí)，即使是富有經(jīng)驗(yàn)的客戶經(jīng)理，往往也很難迅速結(jié)合所有新增的文檔內(nèi)容進(jìn)行有效回答。這時(shí)，定制了閱讀理解技術(shù)的智能在線機(jī)器人Bot就又可以發(fā)揮作用了——可以實(shí)時(shí)幫助業(yè)務(wù)人員，針對相關(guān)問題從新文檔中提取出答案，解決問題，降低出錯(cuò)的概率。

自然語言推斷任務(wù)中“文本蘊(yùn)含”是常出現(xiàn)的形式，在實(shí)際用語中非常的普遍，參考下面這個(gè)銀行領(lǐng)域的例子：

因?yàn)榘捉鹦庞每▽儆谛庞每?，因此“我的白金信用卡需要掛失”蘊(yùn)含在“我的信用卡需要掛失”中，因此，智能在線機(jī)器人Bot 在回答用戶時(shí)只需準(zhǔn)確指引用戶如何掛失信用卡即可。

指代消解在人的交流過程中非常常見，在表達(dá)中適當(dāng)?shù)厥褂弥复鷷?huì)讓表達(dá)更加簡練卻不影響本意的闡述。如下面這個(gè)出行領(lǐng)域的例子：

智能在線機(jī)器人Bot理解了客戶問句里的“上次”其實(shí)指代的是“上次中途取消訂單”，所以立馬給出了正確回復(fù)。

然而，最難為機(jī)器人的是常識(shí)推斷，對語言的理解離不開對常識(shí)的掌握。舉這么一個(gè)例子：

機(jī)器人需要具備“影子是由太陽升起照射留下的”這樣的常識(shí)性推斷，才能正確的選擇答案。對于人來說，這些常識(shí)很簡單，但是對于機(jī)器來說，大量的這種常識(shí)知識(shí)都潛藏在我們意識(shí)的深處，AI系統(tǒng)的研究者幾乎不可能把所有這樣的常識(shí)都總結(jié)出來，并灌入到系統(tǒng)中，所以機(jī)器人在該數(shù)據(jù)集的表現(xiàn)往往不盡如人意。

落地到現(xiàn)實(shí)場景中，比如我們可以對智能在線機(jī)器人Bot說“我銀行卡弄丟了”，Bot就會(huì)詢問你是否需要掛失。因?yàn)樗邆淞恕芭獊G銀行卡需要掛失”這樣的業(yè)務(wù)常識(shí)。

可以看到，真實(shí)的交互場景中模型需要對語言的不同維度都具有理解能力才能完全正常流暢的對話。而上述的幾個(gè)例子中的問題形式都很好地包含在了SuperGLUE的不同數(shù)據(jù)集中，因此，此次追一科技在SuperGLUE測評指標(biāo)上獲得的成績，不僅是對其RoBERTa-mtl-adv模型在理解自然語言技術(shù)上的一個(gè)肯定，還驗(yàn)證了“技術(shù)驅(qū)動(dòng)應(yīng)用，應(yīng)用導(dǎo)向技術(shù)”策略的可行性，更加堅(jiān)定了追一科技繼續(xù)深耕技術(shù)，持續(xù)用AI賦能百業(yè)的信念。