楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

【資料圖】

現(xiàn)在剪視頻，已經(jīng)可以精準(zhǔn)到每一個字了！

只需點擊你要刪減或者要留下的單詞，AI分分鐘都能給你整出新的視頻來。

這操作，有點大爆炸功能內(nèi)味了。老羅：打錢！

不管是MV、訪談、電影片段各種類型視頻，也不論有無字幕，通通不在話下。

網(wǎng)友們紛紛開始試玩了起來。比如讓rick roll鬼畜起來~

就連中文視頻也能Hold住。實測Demo發(fā)現(xiàn)，它甚至直接翻譯成了英文。

不過這也并不影響整個操作，畢竟背后模型是支持中文在內(nèi)的多個語言的。

精準(zhǔn)到每個字剪視頻

只需三步，就可以輕松完成精準(zhǔn)到字的視頻剪輯——

上傳視頻、選擇刪減/留下的單詞、下載視頻。

釋出的有三個示例，烹飪的美食視頻、小扎采訪、以及「Just Do IT」……

當(dāng)然你也可以自己試玩，各種語言都能識別。比如就以讓子彈飛一段經(jīng)典對白為例。

綠色代表保留，紅色代表刪除。你有三種選擇：剪輯、選擇所有單詞、重新設(shè)置。

任意選擇保留單詞之后，就可以「Cut Video」了。此處選擇兩處跳脫的臺詞。最終只花了不到十秒鐘就完成了剪輯。

畫面切換可以說是十分順滑了~整個Demo試玩在T4上運行。

基于Whisper模型

這是個荷蘭開發(fā)者Matthijs Hollemans在HuggingFace上基于Whisper開發(fā)的新功能。

Whisper是OpenAI于去年9月開源的語音識別神經(jīng)網(wǎng)絡(luò)，經(jīng)過68萬小時的多語言和多任務(wù)監(jiān)督網(wǎng)絡(luò)數(shù)據(jù)的訓(xùn)練，其魯棒性和準(zhǔn)確性接近人類水平。它可以進行多語言轉(zhuǎn)錄，以及其他語言將翻譯成英文。

它是基于Transformer端到端實現(xiàn)架構(gòu)，無需任何微調(diào)。輸入音頻被分成30秒的塊，轉(zhuǎn)化為梅爾倒譜（音頻特征提取方式之一，log-Mel spectrogram），然后傳入編碼器。

好了，試玩Demo在此，感興趣的旁友可戳：https://huggingface.co/spaces/radames/whisper-word-level-trim參考鏈接：[1]https://openai.com/research/whisper[2]https://twitter.com/mhollemans/status/1671812176842039296

— 完 —

量子位 QbitAI · 頭條號簽

關(guān)鍵詞：