大家好,歡迎回來。今天給大家分享Subflow,是我們公司開發的一款AI自動識別語音。
然後進行AI的配音,以及視頻字幕的一個翻譯和視頻字幕的自動生成與騷錄的一款工具。
Subflow目前支持了Windows版本和MacOS的一個版本,大家可以去下載到完整的版本。
我們把整個項目已經開圓了。那我們看一下這個項目。進到這個項目裡面來是這個樣式。
我們可以在這個地方去上傳本地的視頻。也可以在這個地方下載YouTube或者Bilibili的視頻。
然後我們可以針對我們的視頻字幕進行處理。如果你的原視頻是沒有任何字幕的,那我們可以用這款工具加上字幕。
那這裡還有就是如果原視頻它已經有了音頻對吧。
那有一個音頻的情況下,比如你想把它的語言,比如從中文換成英文對吧。
那它就會自動調用Q文的配音的模型,然後去選擇一種音色。
然後我們就可以進行一個配音,然後生成中英文的字幕,然後燒入到整個系統裡面來。
那這裡面首先我們調用了配音或者說音色的這個模型,是謙問的TTS的一個開源模型。
大家可以在本地的算力上進行運行,也是免費的。
那除了之外呢也是支持了你自己用自己的原聲進行克隆。
直接用你自己的聲音然後去發出相關聲音來。
這裡的標準音色比如你是個中文的人,那你說英文那你的標準音色。
配下來沒有我們這種標準音色做的那麼流暢吧。
所以說這裡會有兩個版本,一個是標準音色版本,一個是克隆原聲的一個版本。
當然還有一個GPT的Sovet,用這個Sovet也可以去,有一些語音也是可以的。
但是這裡的那個語音與色裡面就會更少一些。
那我這裡推薦大家用這個QN3TTS,如果你要用自己的語音,那你就用QN3TTS克隆的原聲。
好這是第一個關於配音和音色的一個選擇。
那此外呢我們還可以選擇字幕的一個顏色。比如我這裡選了中音的字幕,或者說音中的字幕。
中音的字幕就是說中文在上面,英文在下面,那反過來就是英文在上面和中文在下面。
那也支持其他語種,包括什麼德語、法語、日語、繁體中文都是沒有問題。
那字幕的顏色大家也可以看到,比如我們這裡有中文和英文字幕的一個顏色,我們可以在這裡進行選擇。
比如你中文要一個顏色,英文要一個顏色也是可以的。
好,講到字幕的顏色,除此之外呢還有這個叫電影集的一個潤色。
可以把你的字幕做一些深度的AI校對,以及做相關的一個潤色處理,會表現更好一些。
這個也是推薦大家去勾上的。但這個勾上的話,它調用的就是我們API站內的大語言模型。
我們可以看一下這裡有一個語音識別和翻譯功能。
那翻譯的話其實是需要用到我們的一個API的。
那我們也可以直接進到我們的API分發站裡面來,然後選擇自己的一個令牌,點擊控制台。
然後API密要。我們複製自己的這個令牌。
然後填入到這個框框裡面來。填入之後我們點擊保存令牌。
然後獲取模型。
那這個時候呢就會有我們API在內的全部模型。比如我在這裡選一個5.6的terra。
或者說選一個luna。用來跑翻譯還是很方便的嘛。
那我就選這個terra了。然後OK,我們現在就已經全部準備好了。我們視頻也已經上傳了。對吧。
或者說你直接通過鏈接去下載的。也可以。你直接鏈接下載之後,你那個視頻也會自動的加載過來。
就不需要你二次上傳了。好,那我們處理完成之後,我們只要點一下開始處理這個按鈕就可以。
我們點擊開始處理。那這裡會自動的進行配音環境的一個校對。如果你缺相關的環境,它也會自動的幫你去裝。
那這個其實這個後戶端,我已經幫大家裝好了那個配音的環境。然後還有千問3的這個模型也給大家配好了。
還有這個語音識別的whisper的模型。這裡一點需要大家需要注意。如果你本地有顯卡的話,你可以選這個median。
如果你本地沒有顯卡的話,你可以選這個small或者說tiny去做語音的識別。
這個是需要本地算力的,包括上面這個千問3這個TTS本質都是算力的。那我可以給大家看一下。
像我任務管理器裡面的一些東西。任務管理器點擊性能。然後大家可以看到這裡的英偉達顯卡是會直接去占用的。
如果你本地沒有顯卡,或者說你是macOS的設備,那你這裡可以把它開小一點。特別是macOS如果你是8GB的內存,你就不要想了。這個你基本跑不了。
你至少也要有個16G或者說24G去運行,會比較流暢一些。而這個整個客戶端會比較大一點。大家需要注意,它大概是有10G
一個Gb左右吧。大概這麼大。因為裡面有一些模型。然後還有就是除了說模型,還有就是一些依賴環境。
Python的一些依賴環境。包括我們的配音模型和語音識別的這兩個模型。本質都在本地跑。你的這個雲端API只是用來跑那個翻譯的。
我覺得接一個API去跑翻譯,效果會更好一些。等這個流程跑完。我們去看一下它的效果就好。
好,我們來看一下這個任務快完成了。首先它做的是這個音頻的抽取。抽取完了音頻之後,進行語音的一個識別。
然後整理了我們的一個字幕。然後再將字幕做了一個翻譯。因為我們的目標語言是英文。
翻譯成了英語之後,再進行一個TTS的一個配音。配音完成之後,最後就是合成我們的音頻。
那這次已經進行到了最後這一個片段,就是分成了70個片段嘛。那這裡就是具體的一個工作流程。
整個操作其實就很簡單。你上傳的視頻,然後選好你的目標語種。對吧。還有一些字幕的顏色。或者說電影集的一些潤色。
然後配一個那個翻譯的模型。那就在這裡。我這裡選了一個翻譯的模型。最後就是點一下開始處理。
然後這裡就會進行自動化的處理。現在再進行混合音軌,並且封裝到這個視頻裡面來。
那我們可以點開去看一下。到時候應該就會在我們這一個Subflow的,
這個項目裡面。那這裡會生成一個視頻。這裡是剛才的這一個視頻。
這是原版的視頻,我們可以先打開來看一眼。
然後通過這個。
這是原版的這個視頻。
然後它是完全沒有字幕的。是我之前自己錄的一個視頻。
對吧。然後完全沒有字幕。那這裡生成的是這個音中版本的。
那這裡還沒有。這裡已經生成完成了。我們可以看一下。
打開這個。
打開這個。
音中字幕的一個版本。那下面兩個是它的那個字幕。
SRT的一個字幕。那我們打開這個視頻。這個視頻已經燒錄好了。就是把字幕那些東西都加進去了。
大家可以看到。這裡不只是說。
我們把這個中文的視頻換成了一個英文的視頻。
而且配上了英文加中文的一個字幕。那這裡的音色。我用的是。
千文的TTS的一個音色。然後選的是第一個男聲的一個聲音。OK。那這是。
這一個演示。那大家可以看一下。就每一塊。
大家都配。配上了相關的音中字幕。
大家一般用的比較多的還是。
國內小夥伴。一般用的比較多的就是這個中音字幕。
就是中音雙語字幕。然後目標語種是中文。那他就不需要這個配音。
和這個選音色。因為就是用你自己的一個聲音。
那只有你選擇目標語種的時候。他才會出來配音。
OK。這是一塊。第二塊就是說。
當大家在做這個subflow。特別是。
在進行這個視頻下的時候。你的那個視頻的那個cookie可能會到期。
你需要更換自己的cookie。那怎麼去更換呢?
是需要在這個cookies的項目文件夾內有兩個文件。
一個是youtube的cookie。一個是bilibili的cookies。
那我們怎麼去獲取這個cookie呢?
首先第一步我們是需要在那個我們的導航頁。然後往下滑。
往下找。找到有一個叫chrome插件的商店。當然你用的edg。
你可以用這個edg的插件商店。然後進到這裡面來之後。
我們搜索getcookies。搜索getcookies。大家可以看到我安裝的是這個版本。
叫getcookies.textclean。這個東西。那怎麼去用呢?
比如我這裡是youtube。那我只要在這個位置點一下。
然後我們就可以copy他的youtube的cookies。
那我們把這個cookies複製一下。然後填到這一個文檔裡面來。
然後雙擊打開。那填到這裡面來。把原來這個刪除。
如果你沒有的話。那你只貼進來。然後保存上。
這個時候我們的cookies就更換成功了。
YouTube。Bilibili是一樣的。你只要隨機打開Bilibili的網頁。
然後用同樣的方法。比如我這裡隨便打開一個Bilibili的網站。
然後我只要點一下這個按鈕。然後點擊copy。
就可以把b站的cookies給他copy下來。然後這樣的話就可以再線去把雲端的視頻給他下載下來。
當然如果你是本地視頻你直接上傳就好了。
OK。這就是本期我想分享給大家的有關於我們這一款叫Subflow與Mood的這一款。
直接提供了我們Windows和MacOS的一個客戶端。大家直接下載客戶端去使用就好了。
好。大家對這個項目感興趣的話可以幫我們點一點小信心。點一下fork。
謝謝。這就是本期視頻的全部內容。謝謝大家。