幾十年來，機(jī)器一直在努力學(xué)習(xí)人類語言的微妙之處，深度學(xué)習(xí)的出現(xiàn)加速了這一進(jìn)程。

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大工程師用它創(chuàng)建了一個(gè)向公眾開放的文本生成器，只需提供一個(gè)句子，機(jī)器便能自動生成一則完整的新聞、故事、歌詞、詩歌、食譜和代碼等文本。

我們用吳亦凡在綜藝節(jié)目《七十二層奇樓》中的一段freestyle（即興說唱）——“你看這個(gè)面它又長又寬，就像這個(gè)碗它又大又圓”進(jìn)行了創(chuàng)作。一起來看看人工智能的freestyle水平吧。

芒果TV綜藝《七十二層奇樓》

人工智能版《大碗寬面》

這個(gè)名為talktotransformer的文本生成器由加拿大工程師亞當(dāng)·金（Adam King）創(chuàng)建，它脫胎于OpenAI的大規(guī)模無監(jiān)督語言模型GPT-2。talktotransformer使用的是GPT-2的精簡版本，這個(gè)版本過去只開放給特定的科學(xué)家和記者。

在talktotransformer中輸入文本“你看這個(gè)面它又長又寬，就像這個(gè)碗它又大又圓”后，人工智能創(chuàng)作出的歌詞大意為：

你看這個(gè)面它又長又寬，

就像這個(gè)碗它又大又圓。

只需嘗一口，你就知道是面條。

我的臉上，露出懷疑的表情。

這是真的，我的碗它變成了面條。

這簡直太棒了。

當(dāng)我回到家，我得到一些雞翅。

我怎么會變得這么好？誰知道呢？

我從朋友和家人那里得到足夠的愛，

我的味蕾開始變大。

當(dāng)我要吃飯的時(shí)候，

它不再只是食物，它是我的想法。

我想要吃好喝好的生活。

talktotransformer模型的輸出結(jié)果

通過閱讀上述由人工智能模型輸出的文字，我們很容易發(fā)現(xiàn)，機(jī)器輸出了一些看似語義完整的句子，但其中的意思卻讓人摸不著頭腦。這就是自然語言處理（NLP）的難題——由于缺乏常識，機(jī)器并不真正理解語言的含義。

就如2018年圖靈獎(jiǎng)獲得者約書亞·本吉奧（Yoshua Bengio）在接受澎湃新聞（www.thepaper.cn）采訪時(shí)所言，目前的自然語言系統(tǒng)其實(shí)并不理解句子的真正含義，機(jī)器“會犯一些非常愚蠢的錯(cuò)誤，甚至沒有兩歲小孩的理解能力”。

talktotransformer.com頁面

文思泉涌的OpenAI GPT-2語言模型

2019年2月，OpenAI發(fā)布了擁有15億參數(shù)的大規(guī)模無監(jiān)督語言模型GPT-2，它擅長處理語言建模和文本預(yù)測任務(wù)，還具備閱讀理解、總結(jié)、翻譯等能力。只要給出一個(gè)開頭的句子，GPT-2就能生成一篇小文章、一則新聞故事，甚至在文本中使用引語和統(tǒng)計(jì)數(shù)據(jù)。如果給出的句子是一個(gè)短篇小說的開頭，它會告訴你接下來在這些角色身上會發(fā)生什么事。

OpenAI加利福尼亞州實(shí)驗(yàn)室工程副總裁David Luan對美國科技媒體《邊緣》（THE VERGE）表示，GPT-2能寫出“非常合理的”、“稱職的”論文，“是可以提交給美國大學(xué)入學(xué)資格考試（SAT）并取得好成績的東西”。

GPT-2在人工智能社區(qū)引起了不小的關(guān)注，但OpenAI當(dāng)時(shí)并沒有開源這個(gè)系統(tǒng)。一方面，研究人員對該算法能做什么、不能做什么尚不明確；另一方面，他們擔(dān)心這項(xiàng)技術(shù)被濫用——開源之后，如果有人向GPT-2提供種族主義、暴力、歧視女性或者辱罵性的文本，GPT-2將自動學(xué)習(xí)并持續(xù)地輸入類似的內(nèi)容。

不開源的決定引發(fā)了人工智能社區(qū)的不滿，畢竟，開源是人工智能領(lǐng)域的優(yōu)良傳統(tǒng)。也許是反對的聲音太大，OpenAI在5月初表示將逐步公開GPT-2，并開源了345M的預(yù)訓(xùn)練模型。后續(xù)，OpenAI將分析該語言模型對社會的影響。