“快點(diǎn)！導(dǎo)航去最近的醫(yī)院！”，當(dāng)你焦急地對(duì)車載助手說(shuō)到。

“好的，正在為您規(guī)劃路線……”，傳統(tǒng)AI在幾秒后，以平淡語(yǔ)氣回應(yīng)。一個(gè)真正AI應(yīng)該迅速回應(yīng)，以沉穩(wěn)語(yǔ)氣說(shuō)到：“好的，已為您規(guī)劃最快路線，預(yù)計(jì)12分鐘到達(dá)。請(qǐng)小心駕駛！”

讓AI感知用戶情緒，從冰冷服務(wù)進(jìn)化成為心意相通的助手，這并非存在于《Her》或《鋼鐵俠》等科幻電影。大模型加持的語(yǔ)音交互全新升級(jí)，能夠輕松應(yīng)對(duì)多輪對(duì)話，而且實(shí)現(xiàn)情緒響應(yīng)和個(gè)性定制。

2024年8月，科大訊飛發(fā)布了星火極速超擬人交互技術(shù)，在響應(yīng)和打斷速度、情緒感知情感共鳴、語(yǔ)音可控表達(dá)、人設(shè)扮演四個(gè)方面實(shí)現(xiàn)巨大突破，讓語(yǔ)音交互速度變得更快，能夠感知你話語(yǔ)里的喜怒哀樂(lè)并用合適的情緒回復(fù)，還可根據(jù)需要讓超擬人的聲音變換節(jié)奏、大小，甚至切換不同的角色聲音和性格對(duì)話。

現(xiàn)在超擬人交互API正式上線訊飛開(kāi)放平臺(tái)，面向開(kāi)發(fā)者開(kāi)放調(diào)用。通過(guò)接入相應(yīng)的API，開(kāi)發(fā)者無(wú)需從零開(kāi)始搭建復(fù)雜架構(gòu)，即可實(shí)現(xiàn)用戶與AI的實(shí)時(shí)語(yǔ)音互動(dòng)，構(gòu)建契合業(yè)務(wù)場(chǎng)景的AI實(shí)時(shí)對(duì)話能力，提供高效流暢的溝通體驗(yàn)。從游戲NPC、虛擬助手到智能客服與數(shù)字導(dǎo)游，語(yǔ)音交互的想象邊界正在被重新定義。

01秒級(jí)響應(yīng)，雙商在線的超擬人交互

作為人類與AI交流的最主要入口，語(yǔ)音交互已滲透至我們的日常工作生活中：叫音箱播放指定音樂(lè)、讓掃地機(jī)器人定時(shí)工作、對(duì)車載系統(tǒng)喊一句“導(dǎo)航回家”。AI游戲陪玩、AI虛擬陪伴、AI口語(yǔ)陪練等，各種AI應(yīng)用對(duì)語(yǔ)音交互的需求也呈爆發(fā)式增長(zhǎng)。

然而，在實(shí)際使用中，傳統(tǒng)語(yǔ)音交互仍存在明顯痛點(diǎn)：

響應(yīng)遲緩：動(dòng)輒數(shù)秒的延遲，打斷對(duì)話節(jié)奏，帶來(lái)強(qiáng)烈的割裂感。

情緒單一： 機(jī)械化的語(yǔ)調(diào)，缺乏情感溫度，難以建立真正的連接。

語(yǔ)境缺失： 難以理解言外之意，導(dǎo)致交互中斷或理解錯(cuò)位。

大模型時(shí)代下，當(dāng)我們從技術(shù)層面分析傳統(tǒng)語(yǔ)音交互體驗(yàn)不佳的原因會(huì)發(fā)現(xiàn)，傳統(tǒng)語(yǔ)音交互如同一個(gè)需要分布處理的流水線：語(yǔ)音輸入后，先由“語(yǔ)音識(shí)別”車間轉(zhuǎn)成文字，再交由“大模型”車間思考回復(fù)文本，最后由“語(yǔ)音合成”車間將文字朗讀出來(lái)。這個(gè)串聯(lián)過(guò)程不僅步驟繁瑣，且每個(gè)環(huán)節(jié)都存在延遲，累加起來(lái)，3秒的響應(yīng)時(shí)間已是常態(tài)。

同時(shí)，文本是其中傳遞信息的載體，在語(yǔ)音轉(zhuǎn)文字再轉(zhuǎn)語(yǔ)音的過(guò)程中，語(yǔ)音的很多情感、副語(yǔ)言信息甚至是環(huán)境信息都會(huì)丟失，導(dǎo)致語(yǔ)音交互系統(tǒng)只能針對(duì)語(yǔ)音的文本內(nèi)容進(jìn)行回應(yīng)，會(huì)忽略我們?cè)谡Z(yǔ)音中本身真實(shí)的情感、語(yǔ)氣等元素。

在許多關(guān)鍵場(chǎng)景中，延遲意味著無(wú)法用，甚至危險(xiǎn)。如：導(dǎo)航指令若晚幾秒反饋，用戶可能已錯(cuò)過(guò)路口；與智能客服溝通時(shí)，頻繁的“空白加載”足以讓用戶不耐煩地掛斷電話。大模型的“聰明”，只有搭配“實(shí)時(shí)”的響應(yīng)，才能成為真正有溫度、有價(jià)值的交互智能。正如智能手機(jī)時(shí)代的流暢滑動(dòng)是用戶接受觸屏的關(guān)鍵，「實(shí)時(shí)」是AI接口從“嘗鮮”走向“常用”的門檻。

星火極速超擬人交互則跨文本和音頻模態(tài)，采用了統(tǒng)一神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語(yǔ)音到語(yǔ)音的端到端建模：

1語(yǔ)音通過(guò)音頻編碼器得到音頻表征后，通過(guò)適配器與文本語(yǔ)義表征進(jìn)行對(duì)齊；

2對(duì)齊完成之后的內(nèi)容輸入多模LLM，預(yù)測(cè)輸出表征；

3經(jīng)過(guò)音頻解碼器后，最終輸出情緒自然、節(jié)奏準(zhǔn)確的合成語(yǔ)音。

星火極速超擬人語(yǔ)音交互技術(shù)框架圖

相比于傳統(tǒng)的交互系統(tǒng)，統(tǒng)一的模型大大提升了整體的響應(yīng)和打斷速度，人與AI的交互也從你問(wèn)我答的“微信語(yǔ)音模式”，切換到了實(shí)時(shí)響應(yīng)的“微信通話模式”。

但反應(yīng)迅速只是第一步，沒(méi)有情感的交互依舊是“冷冰冰”的機(jī)器。如何讓語(yǔ)音交互更有溫度？

在星火極速超擬人交互系統(tǒng)中，基于端到端框架之上，融入了多維度語(yǔ)音屬性解耦表征訓(xùn)練，將內(nèi)容、情感、語(yǔ)種、音色、韻律等屬性進(jìn)行解耦，進(jìn)行對(duì)比學(xué)習(xí)和掩碼預(yù)測(cè)。不僅實(shí)現(xiàn)了內(nèi)容識(shí)別更準(zhǔn)、情感等屬性感知度更高，還可以更便捷進(jìn)行定制，方便系統(tǒng)快速落地。

02“快、準(zhǔn)、真”，打造下一代AI語(yǔ)音應(yīng)用

基于語(yǔ)音交互技術(shù)的突破，面向開(kāi)發(fā)者開(kāi)放的超擬人交互API具有三大核心優(yōu)勢(shì)：

同時(shí)，訊飛開(kāi)放平臺(tái)還為開(kāi)發(fā)者提供了詳細(xì)開(kāi)發(fā)文檔，方便開(kāi)發(fā)者們快速上手并了解超擬人交互API 的各項(xiàng)功能特色、調(diào)用過(guò)程中的常見(jiàn)錯(cuò)誤。

03多場(chǎng)景快速落地，成本低至0.1元/分鐘

超擬人交互API的上線，不僅為開(kāi)發(fā)者提供了一種新的語(yǔ)音應(yīng)用開(kāi)發(fā)范式，降低了開(kāi)發(fā)門檻，也讓開(kāi)發(fā)者能夠更加聚焦應(yīng)用創(chuàng)新和場(chǎng)景落地，以更天馬行空的想象力，創(chuàng)造出更具“生命力”的AI應(yīng)用。

文旅場(chǎng)景

結(jié)合故事演繹和RAG（檢索增強(qiáng)生成），AI可以作為數(shù)字導(dǎo)游為游客介紹景點(diǎn)，在特定場(chǎng)景下與游客進(jìn)行角色扮演互動(dòng)，讓游客“沉浸于”歷史。

游戲場(chǎng)景

基于角色人設(shè)，模型與玩家互動(dòng)時(shí)，可以自動(dòng)生成符合該角色價(jià)值觀、人生經(jīng)歷、語(yǔ)氣的對(duì)話，讓虛擬角色栩栩如生。

智能助手場(chǎng)景

可自由設(shè)定AI助理各種不同的人設(shè)，并以符合人設(shè)的背景、語(yǔ)氣與用戶互動(dòng)，為每個(gè)用戶打造獨(dú)一無(wú)二的AI助理。

智能玩具場(chǎng)景

通過(guò)生動(dòng)復(fù)刻各類IP角色，并以角色特有的性格、口吻與兒童互動(dòng)，建立強(qiáng)烈的情感鏈接與代入感。

為進(jìn)一步降低高質(zhì)量語(yǔ)音交互的落地門檻，讓開(kāi)發(fā)者“輕裝上陣”，在API調(diào)用成本上，訊飛開(kāi)放平臺(tái)也提供了極具誠(chéng)意的產(chǎn)品價(jià)格：每分鐘交互成本低至0.1元，這意味著，僅需用一杯咖啡的錢，就能讓?xiě)?yīng)用與用戶“暢聊”數(shù)小時(shí)。

此外，通過(guò)企業(yè)認(rèn)證，開(kāi)發(fā)者還可“解鎖”有效期3個(gè)月，長(zhǎng)達(dá)10小時(shí)的免費(fèi)試用，實(shí)現(xiàn)對(duì)產(chǎn)品的快速驗(yàn)證。

從OpenAI、微軟、谷歌等AI巨頭，到Character AI 的新銳AI創(chuàng)業(yè)公司，語(yǔ)音交互正成為AI應(yīng)用公司最強(qiáng)大的突破口之一。科大訊飛憑借在語(yǔ)音技術(shù)領(lǐng)域持續(xù)二十余年的深耕，在這一賽道上有著強(qiáng)大的技術(shù)實(shí)力和市場(chǎng)競(jìng)爭(zhēng)力。

IDC發(fā)布的報(bào)告顯示，2024年上半年，中國(guó)人工智能語(yǔ)音語(yǔ)義整體市場(chǎng)規(guī)模為 72.3 億元人民幣，同比增長(zhǎng)18%，科大訊飛市場(chǎng)份額在主要廠商中位居第一，持續(xù)引領(lǐng)行業(yè)發(fā)展。

現(xiàn)在，借助訊飛開(kāi)放的超擬人交互API，開(kāi)發(fā)者可以輕松打造真正“能聽(tīng)會(huì)說(shuō)、情感在線”的AI應(yīng)用，提高產(chǎn)品競(jìng)爭(zhēng)力。