從今天開始，谷歌的智能助理可以同時(shí)說兩種語(yǔ)言了！這意味著雙語(yǔ)家庭可以用任何一種語(yǔ)言進(jìn)行查詢，而無需每次都更改設(shè)置。聽起來簡(jiǎn)單，實(shí)現(xiàn)這一功能所需的技術(shù)可不簡(jiǎn)單，谷歌的口語(yǔ)識(shí)別LangID技術(shù)已經(jīng)開發(fā)了5年！

使用 Google Assistant 的 Google Home Mini

多語(yǔ)家庭正變得越來越普遍，有一些研究發(fā)現(xiàn)多語(yǔ)人口已經(jīng)超過單語(yǔ)人口，而且這個(gè)數(shù)字還將繼續(xù)增長(zhǎng)。隨著多語(yǔ)用戶數(shù)量的不斷增加，開發(fā)能夠同時(shí)支持多種語(yǔ)言的產(chǎn)品比以往任何時(shí)候都更加重要。

今天，谷歌的智能助理Google Assistant開啟了多語(yǔ)言支持，允許用戶同時(shí)使用兩種不同的語(yǔ)言進(jìn)行查詢，而無需返回語(yǔ)言設(shè)置。一旦用戶選擇了兩種支持的語(yǔ)言（目前支持的語(yǔ)言包括英語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)、意大利語(yǔ)和日語(yǔ)），他們就可以使用其中任一種語(yǔ)言與Google Assistant進(jìn)行對(duì)話，智能助理也會(huì)以同一種語(yǔ)言做出回復(fù)。

在此之前，用戶必須為智能助理選擇一種語(yǔ)言設(shè)置，每次想要使用另一種語(yǔ)言時(shí)都必須更改設(shè)置。但現(xiàn)在，對(duì)于多語(yǔ)家庭來說，與谷歌助理交流的體驗(yàn)變得更加簡(jiǎn)單方便了。

Google Assistant現(xiàn)在能夠識(shí)別語(yǔ)言、解釋查詢并使用正確的語(yǔ)言提供回復(fù)，而無需用戶手動(dòng)設(shè)置設(shè)置。

然而，實(shí)現(xiàn)這一功能并非易事。事實(shí)上，研究人員努力了多年，解決了許多具有挑戰(zhàn)性的問題。最后，我們將問題分解為三個(gè)獨(dú)立的部分：識(shí)別多種語(yǔ)言，理解多種語(yǔ)言，以及為Google Assistant用戶優(yōu)化多語(yǔ)言識(shí)別。

識(shí)別多種語(yǔ)言

人類是有能力識(shí)別出別人在說另一種語(yǔ)言的，即使他們自己不會(huì)說這種語(yǔ)言，只需要注意語(yǔ)音的聲學(xué)特征（語(yǔ)調(diào)、音域等等）。但是，即使借助于全自動(dòng)語(yǔ)音識(shí)別系統(tǒng)，定義一個(gè)自動(dòng)口語(yǔ)語(yǔ)言識(shí)別的計(jì)算框架也是很有挑戰(zhàn)性的。

研究者通常認(rèn)為，口語(yǔ)識(shí)別比基于文本的語(yǔ)言識(shí)別更具挑戰(zhàn)性，對(duì)于文本語(yǔ)言識(shí)別來說，相對(duì)簡(jiǎn)單的基于字典的技術(shù)已經(jīng)可以做得很好?？谡Z(yǔ)詞匯的時(shí)間/頻率模式很難比較，口語(yǔ)詞匯很難劃界，因?yàn)榭谡Z(yǔ)可以毫無停頓地以不同的節(jié)奏說話，而且麥克風(fēng)可能會(huì)記錄除了語(yǔ)音之外的背景噪音。

在2013年，谷歌開始使用深度神經(jīng)網(wǎng)絡(luò)開發(fā)口語(yǔ)識(shí)別（LangID）技術(shù)。今天，谷歌最先進(jìn)的LangID模型已經(jīng)可以使用遞歸神經(jīng)網(wǎng)絡(luò)區(qū)分超過2000種可供選擇的語(yǔ)言對(duì)。遞歸神經(jīng)網(wǎng)絡(luò)特別適用于序列建模問題，例如語(yǔ)音識(shí)別、語(yǔ)音檢測(cè)、說話人識(shí)別等。研究人員遇到的挑戰(zhàn)之一是使用更大的音頻集——獲取能夠自動(dòng)理解多種語(yǔ)言的模型，并達(dá)到允許這些模型正常工作的質(zhì)量標(biāo)準(zhǔn)。

理解多種語(yǔ)言

要同時(shí)理解一種以上的語(yǔ)言，需要并行地運(yùn)行多個(gè)進(jìn)程，每個(gè)進(jìn)程都會(huì)產(chǎn)生增量結(jié)果，這樣智能助理不僅可以識(shí)別查詢所使用的語(yǔ)言，還可以解析查詢以創(chuàng)建可操作的命令。

例如，即使是單語(yǔ)環(huán)境，如果用戶要求“設(shè)一個(gè)下午6點(diǎn)的鬧鈴”，谷歌助理必須理解“設(shè)置鬧鈴”意味著打開時(shí)鐘app，完成“6pm”的顯式參數(shù)，并推斷鬧鐘應(yīng)該設(shè)在今天。為任何一對(duì)支持的語(yǔ)言實(shí)現(xiàn)這個(gè)功能都是一項(xiàng)挑戰(zhàn)，因?yàn)橹悄苤硇枰獔?zhí)行與單語(yǔ)環(huán)境時(shí)相同的工作，但現(xiàn)在還必須另外啟用LangID。這不僅是一個(gè)語(yǔ)言識(shí)別系統(tǒng)，而是相當(dāng)于兩個(gè)單語(yǔ)言識(shí)別系統(tǒng)。

更重要的是，Google Assistan以及在用戶查詢中異步引用的其他服務(wù)會(huì)生成需要在幾毫秒內(nèi)評(píng)估的實(shí)時(shí)增量結(jié)果。這是借助另外一種算法實(shí)現(xiàn)的，該算法使用LangID生成的候選語(yǔ)言的概率、我們對(duì)轉(zhuǎn)錄的信心以及用戶的偏好（例如，最喜歡的藝術(shù)家）對(duì)兩個(gè)語(yǔ)音識(shí)別系統(tǒng)提供的轉(zhuǎn)錄假設(shè)進(jìn)行排序。

Google Assistant使用的多語(yǔ)言語(yǔ)音識(shí)別系統(tǒng)與標(biāo)準(zhǔn)單語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的示意圖。排序算法用于從兩個(gè)單語(yǔ)語(yǔ)音識(shí)別器中選擇最佳的識(shí)別假設(shè)，利用了用戶的相關(guān)信息和增量的langID結(jié)果。

當(dāng)用戶停止說話時(shí)，該模型不僅確定了用戶所講的語(yǔ)言，還確定了所講的內(nèi)容。當(dāng)然，這個(gè)過程需要一個(gè)復(fù)雜的架構(gòu)，增加了處理成本，并可能造成不必要的延遲。

優(yōu)化多語(yǔ)識(shí)別模型

為了最大限度地減少這些不良影響，系統(tǒng)決定使用哪種語(yǔ)言的速度越快越好。如果系統(tǒng)在用戶完成查詢之前確定了所使用的語(yǔ)言，那么它將停止通過losing recognizer運(yùn)行用戶的語(yǔ)音，并丟棄losing hypothesis，從而降低處理成本，減少任何潛在的延遲。

考慮到這一點(diǎn)，我們嘗試了優(yōu)化系統(tǒng)的幾種方法。

我們考慮的一個(gè)用例是，人們通常在一個(gè)完整查詢過程中使用相同的語(yǔ)言（這個(gè)語(yǔ)言通常也是用戶希望智能助理回復(fù)使用的語(yǔ)言），除了詢問某個(gè)東西用不同語(yǔ)言怎樣說之外。這意味著，在大多數(shù)情況下，關(guān)注查詢的開頭部分就可以讓智能助理對(duì)所使用的語(yǔ)言進(jìn)行初步猜測(cè)，甚至在包含不同語(yǔ)言實(shí)體的句子中也是如此。

有了這種早期識(shí)別，我們就可以像處理單語(yǔ)查詢那樣，通過切換到單語(yǔ)語(yǔ)音識(shí)別器來簡(jiǎn)化任務(wù)。然而，快速?zèng)Q定如何以及何時(shí)切換到一個(gè)單語(yǔ)言，在最后會(huì)需要一個(gè)技術(shù)轉(zhuǎn)折：具體來說，我們使用隨機(jī)森林（random forest）方法，結(jié)合多個(gè)上下文信號(hào)，例如正在使用的設(shè)備類型、發(fā)現(xiàn)的語(yǔ)音假設(shè)的數(shù)量、多久收到類似的假設(shè)、各個(gè)語(yǔ)音識(shí)別器的不確定性、以及每種語(yǔ)言的使用頻率等。

另外一種簡(jiǎn)化和改進(jìn)系統(tǒng)質(zhì)量的方法是限制用戶可以選擇的候選語(yǔ)言列表。用戶可以谷歌智能助理設(shè)備目前支持的六種語(yǔ)言中選擇兩種語(yǔ)言，這已經(jīng)能夠支持大多數(shù)多語(yǔ)使用者。

不過，隨著LangID技術(shù)的不斷改進(jìn)，谷歌希望接下來能夠解決三語(yǔ)支持的問題，這將進(jìn)一步提升多語(yǔ)用戶群的體驗(yàn)。而且，谷歌負(fù)責(zé)產(chǎn)品的副總裁 Nick Fox 此前表示，接下來的幾個(gè)月里 Google Assistant 將增加支持丹麥語(yǔ)、荷蘭語(yǔ)、印地語(yǔ)、印度尼西亞語(yǔ)、挪威語(yǔ)、瑞典語(yǔ)和泰語(yǔ)。到今年年底，谷歌助理將支持超過 30 種語(yǔ)言，覆蓋 Android 手機(jī)使用語(yǔ)言的 95％。