語(yǔ)音 AI是對(duì)話式 AI 的一個(gè)子集，包括可將人類語(yǔ)音轉(zhuǎn)換為文本的自動(dòng)語(yǔ)音識(shí)別 (ASR) 和文本轉(zhuǎn)語(yǔ)音 (TTS）。

01語(yǔ)音 AI 的運(yùn)作方式是什么？

語(yǔ)音 AI 系統(tǒng)包括兩個(gè)主要組件：

自動(dòng)語(yǔ)音識(shí)別 (ASR) 系統(tǒng)，也稱為語(yǔ)音轉(zhuǎn)文本、語(yǔ)音識(shí)別或聲音識(shí)別系統(tǒng)。

文本轉(zhuǎn)語(yǔ)音 (TTS) 系統(tǒng)，也稱為語(yǔ)音合成或 AI 語(yǔ)音生成器。

典型 ASR 工作流的第一步是從輸入音頻中提取有用的特征。通常使用梅爾頻譜圖，以對(duì)數(shù)尺度表示音頻中各種頻率隨時(shí)間變化的強(qiáng)度。然后，將梅爾頻譜傳遞給預(yù)測(cè)每個(gè)字符概率的聲學(xué)模型。

接下來(lái)，解碼器獲取每個(gè)時(shí)間步長(zhǎng)的字符概率，將其轉(zhuǎn)換為詞語(yǔ)序列。

為了提高 ASR 模型的準(zhǔn)確性，采用語(yǔ)言模型來(lái)預(yù)測(cè)句子的概率，并糾正聲學(xué)模型的錯(cuò)誤。

最后，標(biāo)點(diǎn)和大寫(xiě)模型增強(qiáng)了文本的可讀性，并應(yīng)用反向文本規(guī)范化規(guī)則正確對(duì)文本編排格式（比如將“十點(diǎn)鐘”轉(zhuǎn)為 "10:00"）。

TTS 工作流的第一步是文本準(zhǔn)備。這個(gè)過(guò)程包括文本分析、識(shí)別和分析日期、貨幣金額和機(jī)場(chǎng)代碼等表達(dá)，以及文本規(guī)范化，即將書(shū)面文本轉(zhuǎn)換為語(yǔ)音形式，如展開(kāi)縮寫(xiě)（比如將 "10 kg" 轉(zhuǎn)換為“十公斤”）。

下一步是文本編碼，將每個(gè)字符轉(zhuǎn)換為數(shù)值，將文本轉(zhuǎn)換為編碼向量，輸入到頻譜圖生成器中。

編碼后，音高和時(shí)長(zhǎng)預(yù)測(cè)器估計(jì)每個(gè)音素應(yīng)該保持多長(zhǎng)時(shí)間以及語(yǔ)音音高，以確保生成的語(yǔ)音中的自然韻律。然后將這些信息與編碼文本一起饋送到頻譜圖生成器中，該生成器將文本轉(zhuǎn)換為梅爾頻譜圖。

最后，用這些頻譜圖通過(guò)聲碼器模型生成聽(tīng)起來(lái)自然的語(yǔ)音。

02什么是語(yǔ)音 AI 與對(duì)話式 AI？

語(yǔ)音 AI 組件通常是基于語(yǔ)音的大型對(duì)話式 AI系統(tǒng)的組成部分，結(jié)合了各種技術(shù)，如自動(dòng)語(yǔ)音識(shí)別、經(jīng)檢索增強(qiáng)生成(RAG) 技術(shù)增強(qiáng)的大語(yǔ)言模型(LLM)和文本轉(zhuǎn)語(yǔ)音，以理解并回應(yīng)不同的交互。

客戶服務(wù)應(yīng)用中使用的 AI 驅(qū)動(dòng)虛擬助手就是語(yǔ)音 AI 和對(duì)話式 AI 應(yīng)用的一個(gè)例子。語(yǔ)音 AI 使系統(tǒng)能夠轉(zhuǎn)錄和解釋語(yǔ)音，讓用戶通過(guò)語(yǔ)音命令進(jìn)行自然交互。

然后，對(duì)話式 AI 進(jìn)行有意義的上下文感知對(duì)話，理解意圖、回復(fù)詢問(wèn)，并處理預(yù)約、提供技術(shù)支持或指導(dǎo)用戶完成故障排除步驟等任務(wù)。這些技術(shù)共同創(chuàng)造了無(wú)縫的交互，提高了客戶服務(wù)的效率和質(zhì)量。

03語(yǔ)音 AI 有哪些用例？

語(yǔ)音 AI 通過(guò)自動(dòng)執(zhí)行通信任務(wù)并實(shí)現(xiàn)更高效、更智能的交互重塑了各行各業(yè)的工作流。

數(shù)字人

為了增強(qiáng)客戶服務(wù)體驗(yàn)并加強(qiáng)客戶關(guān)系，企業(yè)正在建立擁有特定領(lǐng)域內(nèi)部知識(shí)和可辨識(shí)品牌調(diào)性的虛擬形象。借助 NIM、RAG 增強(qiáng)型大型語(yǔ)言模型、世界級(jí)完全可定制的多語(yǔ)言語(yǔ)音和翻譯 AI，這些化身通過(guò)獨(dú)特、高質(zhì)量、定制的聲音提供個(gè)性化的答案和建議。

詳細(xì)了解數(shù)字人：

https://www.nvidia.com/en-us/use-cases/digital-humans/

AI 虛擬助手

虛擬助手運(yùn)用于各個(gè)行業(yè)，可增強(qiáng)用戶體驗(yàn)。ASR 用于為虛擬助手轉(zhuǎn)錄音頻查詢。然后，文本轉(zhuǎn)語(yǔ)音為虛擬助手生成合成語(yǔ)音。除事務(wù)處理情境人性化外，虛擬助手還可以幫助視障人士與非盲文文本交互，幫助有發(fā)音障礙的人士與他人交流，幫助兒童學(xué)習(xí)閱讀。

詳細(xì)了解 AI 虛擬助手詳情：

https://www.nvidia.cn/use-cases/ai-for-customer-support/

代理協(xié)助

消費(fèi)者希望客服中心坐席能夠快速、高效地解決他們的問(wèn)題。為了滿足這些期望并提供出色的客戶和坐席體驗(yàn)，各行各業(yè)的企業(yè)正在實(shí)施由 Riva 語(yǔ)音和翻譯 AI 驅(qū)動(dòng)的代理協(xié)助技術(shù)。

詳細(xì)了解代理協(xié)助：

https://blogs.nvidia.cn/blog/what-is-agent-assist/

AI 翻譯服務(wù)

在全球經(jīng)濟(jì)中，企業(yè)每天舉行數(shù)百萬(wàn)次在線會(huì)議，并為來(lái)自不同語(yǔ)言背景的客戶提供服務(wù)。公司通過(guò)實(shí)時(shí)轉(zhuǎn)錄和翻譯實(shí)現(xiàn)準(zhǔn)確的實(shí)時(shí)帶字幕直播，可適應(yīng)全球各種口音并能識(shí)別特定領(lǐng)域的詞匯。他們可以使用 LLM NIMs 進(jìn)行總結(jié)并獲得見(jiàn)解，確保有效的溝通和順暢的全球互動(dòng)。

詳細(xì)了解 AI 翻譯：

https://www.nvidia.com/en-us/case-studies/lilt/

AI 機(jī)器人

越來(lái)越多的服務(wù)機(jī)器人出現(xiàn)在全球各地的醫(yī)院、機(jī)場(chǎng)和零售店。它們可以處理餐廳和制造工廠的日常重復(fù)任務(wù)，協(xié)助客戶找到商品，并在患者護(hù)理過(guò)程中為醫(yī)護(hù)人員提供支持，從而幫助一線工作人員完成工作。

詳細(xì)了解 AI 機(jī)器人：

https://developer.nvidia.cn/blog/low-code-building-blocks-for-speech-ai-robotics/

呼叫中心轉(zhuǎn)錄

全球約有 1000 萬(wàn)呼叫中心坐席每天約回答 20 億次呼叫。呼叫中心用例包括：

＞趨勢(shì)分析

＞監(jiān)管合規(guī)

＞實(shí)時(shí)安全或欺詐分析

＞瞬間情緒分析

＞實(shí)時(shí)翻譯

例如，自動(dòng)語(yǔ)音識(shí)別轉(zhuǎn)錄客戶和呼叫中心坐席之間的實(shí)時(shí)對(duì)話以進(jìn)行文本分析，用于為坐席提供實(shí)時(shí)建議，從而快速解決客戶查詢。

臨床筆記

在醫(yī)療健康領(lǐng)域，語(yǔ)音 AI 應(yīng)用加強(qiáng)了患者與醫(yī)療專業(yè)人員和保險(xiǎn)機(jī)構(gòu)之間的溝通。ASR 可在醫(yī)患對(duì)話期間自動(dòng)做筆記，并自動(dòng)為保險(xiǎn)機(jī)構(gòu)提取信息。

全球化和可及性

語(yǔ)音 AI 為全球受眾實(shí)現(xiàn)了無(wú)縫內(nèi)容本地化。例如，最初用日語(yǔ)制作的視頻可以實(shí)時(shí)翻譯并輸出為葡萄牙語(yǔ)或西班牙語(yǔ)，從而增加訪問(wèn)量。無(wú)論是娛樂(lè)、播客還是教育資料，都能使用 AI 語(yǔ)音生成器為翻譯后的內(nèi)容配音，確保流暢、自然的體驗(yàn)。

此外，語(yǔ)音 AI 可以生成準(zhǔn)確的視頻轉(zhuǎn)錄文本，為有語(yǔ)音障礙的人士提升可及性。實(shí)時(shí)翻譯、配音和轉(zhuǎn)錄的集成簡(jiǎn)化了視頻編輯和內(nèi)容創(chuàng)作工作流，為各種平臺(tái)的多語(yǔ)言版本提供支持。

NVIDIA GTC 將于 2026 年 3 月 16 - 19 日在美國(guó)加州圣何塞及線上同步舉行，歡迎與我們一同探索下一代 AI 的無(wú)限可能。

會(huì)議內(nèi)容和體驗(yàn)將涵蓋代理式 AI、AI 工廠、面向科學(xué)的 AI、CUDA、高性能推理、開(kāi)放模型、物理 AI、量子計(jì)算等諸多領(lǐng)域。掃描下方二維碼，立即注冊(cè)，加入這場(chǎng)全球頂尖的 AI 盛會(huì)。

*與 NVIDIA 產(chǎn)品相關(guān)的圖片或視頻（完整或部分）的版權(quán)均歸 NVIDIA Corporation 所有。