3月23日，實時互動云服務(wù)商聲網(wǎng)在北京舉辦“鳳鳴AI引擎”發(fā)布會，正式發(fā)布了囊括 AI降噪、AI回聲消除、空間音頻、最佳音效在內(nèi)的聲網(wǎng)新一代音頻技術(shù)智能引擎。

  RTE場景不斷豐富，高音質(zhì)互動需求急需滿足

  實時音視頻技術(shù)的發(fā)展帶出大量的創(chuàng)新場景，伴隨著場景的不斷擴(kuò)展，用戶對實時音視頻體驗的訴求也越來越高。

(資料圖)

  傳統(tǒng)的RTC概念，從信息傳遞的角度出發(fā)，音頻功能僅提供簡單的語音溝通，滿足單一的場景和通話標(biāo)準(zhǔn)，對于音質(zhì)并無太高的需求，也就是所謂的“能夠溝通”。聲網(wǎng)發(fā)現(xiàn)，伴隨著實時互動創(chuàng)新場景的涌現(xiàn)，用戶對于音頻體驗的需求也產(chǎn)生了從量變到質(zhì)變的進(jìn)化。同時音頻體驗的提升能夠增強(qiáng)平臺用戶的核心體驗。針對以上痛點和需求，聲網(wǎng)鳳鳴AI引擎應(yīng)勢而生。

  3大音頻能力+優(yōu)質(zhì)音效實踐 回歸互動本真

  通過AI驅(qū)動的方式，聲網(wǎng)打通了音頻采集、前后處理、云端傳輸、編解碼等鏈路，旨在為用戶打造更純凈、更動聽、更沉浸的語音體驗，在現(xiàn)有實時互動玩法的基礎(chǔ)上錦上添花，賦能行業(yè)開發(fā)者和企業(yè)。

  想要在“脫離現(xiàn)實”的環(huán)境中辦公、娛樂，屏蔽外界干擾是基礎(chǔ)。相比于傳統(tǒng)的降噪算法，鳳鳴·AI降噪的效果有顯著提升，可以一次性解決100+種突發(fā)性噪聲。

  鳳鳴·AI降噪在強(qiáng)降噪的同時還能兼顧高保真，即使在人聲密集場景下，也能實現(xiàn)純凈通話體驗，甚至還實現(xiàn)了在不增加額外運算量的前提下，對遠(yuǎn)場語音具有明顯的混響抑制能力。

  此外，聲網(wǎng)自研的AI推理引擎還可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平臺以低精度損傷、高性能、低功耗方式運行，使用戶的設(shè)備不卡不燙。經(jīng)數(shù)據(jù)測算，僅開啟鳳鳴·AI降噪功能，相應(yīng)設(shè)備CPU消耗增幅平均值<1%。

  回聲是影響音視頻通話質(zhì)量的主要因素之一，尤其在線上會議、在線K歌、多人連麥等場景中，不僅損害通話質(zhì)量，影響用戶體驗，還可能導(dǎo)致帶寬增加。鳳鳴·AI回聲消除利用算法對環(huán)境中產(chǎn)生的回聲混響進(jìn)行有效抑制，智能適應(yīng)各類環(huán)境，實現(xiàn)精準(zhǔn)音源分離，從混合的近端信號中消除不必要的遠(yuǎn)端信號，保留近端人聲發(fā)送到遠(yuǎn)端，全面消除回聲，實現(xiàn)高保真音頻體驗。

  鳳鳴·空間音頻通過純軟件算法方案，模擬頭部球面區(qū)域立體聲場，利用范圍音頻、人聲模糊、空氣衰減模擬等能力，模擬現(xiàn)實聽覺感受。當(dāng)用戶操作相應(yīng)角色在虛擬場景里移動，可以實現(xiàn)根據(jù)虛擬人物的面部朝向、音源朝向、遠(yuǎn)近距離與上下高度，呈現(xiàn)不同聲音效果。據(jù)數(shù)據(jù)測算，開啟鳳鳴·空間音頻功能后，相應(yīng)設(shè)備CPU消耗增幅平均值<0.7%，內(nèi)存消耗增幅平均值<2M。

  多年來，聲網(wǎng)匯總梳理語聊領(lǐng)域各類頭部App的音效配置，綜合聲網(wǎng)超過萬億分鐘的用戶音效偏好的數(shù)據(jù)模型，并結(jié)合聲網(wǎng)音頻專家的多年沉淀與研究，能夠為平臺提供針對各種語音場景的最佳音效配置，助力平臺用戶享受行業(yè)頂尖的音效體驗。目前已上線的最佳音效包括語聊社交、K歌、游戲陪玩、專業(yè)主播等場景。

  據(jù)聲網(wǎng)音頻娛樂產(chǎn)品負(fù)責(zé)人楊帆介紹，鳳鳴AI引擎目前正在開發(fā)變聲這一功能，用戶將可以體驗20+變聲風(fēng)格，多樣角色扮演花式玩轉(zhuǎn)語聊場景。聲網(wǎng)算法專家許冉指出，鳳鳴AI引擎代表聲網(wǎng)在 RTC音頻領(lǐng)域針對核心技術(shù)的長期投入和產(chǎn)出，以及聲網(wǎng)基于音頻核心能力衍生出各種復(fù)雜功能和高端效果的決心，未來聲網(wǎng)將基于鳳鳴AI引擎形成新一代RTC音頻解決方案，比如探索更個性化的語音方案、語音超分、co-experiencing場景等。

  在發(fā)布會的圓桌討論環(huán)節(jié)，與會嘉賓圍繞“音頻社交行業(yè)現(xiàn)狀及海內(nèi)外趨勢展望”，“音頻技術(shù)與行業(yè)發(fā)展”等話題展開討論。

關(guān)鍵詞：