WEBVTT

00:00.000 --> 00:09.000
大家好,歡迎回來。今天給大家分享Subflow,是我們公司開發的一款AI自動識別語音。

00:09.000 --> 00:16.000
然後進行AI的配音,以及視頻字幕的一個翻譯和視頻字幕的自動生成與騷錄的一款工具。

00:16.000 --> 00:23.000
Subflow目前支持了Windows版本和MacOS的一個版本,大家可以去下載到完整的版本。

00:23.000 --> 00:31.000
我們把整個項目已經開圓了。那我們看一下這個項目。進到這個項目裡面來是這個樣式。

00:31.000 --> 00:39.000
我們可以在這個地方去上傳本地的視頻。也可以在這個地方下載YouTube或者Bilibili的視頻。

00:39.000 --> 00:47.000
然後我們可以針對我們的視頻字幕進行處理。如果你的原視頻是沒有任何字幕的,那我們可以用這款工具加上字幕。

00:47.000 --> 00:51.000
那這裡還有就是如果原視頻它已經有了音頻對吧。

00:51.000 --> 00:56.000
那有一個音頻的情況下,比如你想把它的語言,比如從中文換成英文對吧。

00:56.000 --> 01:02.000
那它就會自動調用Q文的配音的模型,然後去選擇一種音色。

01:02.000 --> 01:08.000
然後我們就可以進行一個配音,然後生成中英文的字幕,然後燒入到整個系統裡面來。

01:08.000 --> 01:16.000
那這裡面首先我們調用了配音或者說音色的這個模型,是謙問的TTS的一個開源模型。

01:16.000 --> 01:20.000
大家可以在本地的算力上進行運行,也是免費的。

01:20.000 --> 01:25.000
那除了之外呢也是支持了你自己用自己的原聲進行克隆。

01:25.000 --> 01:28.000
直接用你自己的聲音然後去發出相關聲音來。

01:28.000 --> 01:33.000
這裡的標準音色比如你是個中文的人,那你說英文那你的標準音色。

01:33.000 --> 01:37.000
配下來沒有我們這種標準音色做的那麼流暢吧。

01:37.000 --> 01:42.000
所以說這裡會有兩個版本,一個是標準音色版本,一個是克隆原聲的一個版本。

01:42.000 --> 01:48.000
當然還有一個GPT的Sovet,用這個Sovet也可以去,有一些語音也是可以的。

01:48.000 --> 01:52.000
但是這裡的那個語音與色裡面就會更少一些。

01:52.000 --> 01:59.000
那我這裡推薦大家用這個QN3TTS,如果你要用自己的語音,那你就用QN3TTS克隆的原聲。

01:59.000 --> 02:03.000
好這是第一個關於配音和音色的一個選擇。

02:03.000 --> 02:09.000
那此外呢我們還可以選擇字幕的一個顏色。比如我這裡選了中音的字幕,或者說音中的字幕。

02:09.000 --> 02:16.000
中音的字幕就是說中文在上面,英文在下面,那反過來就是英文在上面和中文在下面。

02:16.000 --> 02:23.000
那也支持其他語種,包括什麼德語、法語、日語、繁體中文都是沒有問題。

02:23.000 --> 02:30.000
那字幕的顏色大家也可以看到,比如我們這裡有中文和英文字幕的一個顏色,我們可以在這裡進行選擇。

02:30.000 --> 02:33.000
比如你中文要一個顏色,英文要一個顏色也是可以的。

02:33.000 --> 02:39.000
好,講到字幕的顏色,除此之外呢還有這個叫電影集的一個潤色。

02:39.000 --> 02:46.000
可以把你的字幕做一些深度的AI校對,以及做相關的一個潤色處理,會表現更好一些。

02:46.000 --> 02:54.000
這個也是推薦大家去勾上的。但這個勾上的話,它調用的就是我們API站內的大語言模型。

02:54.000 --> 02:58.000
我們可以看一下這裡有一個語音識別和翻譯功能。

02:58.000 --> 03:02.000
那翻譯的話其實是需要用到我們的一個API的。

03:02.000 --> 03:08.000
那我們也可以直接進到我們的API分發站裡面來,然後選擇自己的一個令牌,點擊控制台。

03:08.000 --> 03:12.000
然後API密要。我們複製自己的這個令牌。

03:12.000 --> 03:17.000
然後填入到這個框框裡面來。填入之後我們點擊保存令牌。

03:17.000 --> 03:18.000
然後獲取模型。

03:18.000 --> 03:24.000
那這個時候呢就會有我們API在內的全部模型。比如我在這裡選一個5.6的terra。

03:24.000 --> 03:28.000
或者說選一個luna。用來跑翻譯還是很方便的嘛。

03:28.000 --> 03:34.000
那我就選這個terra了。然後OK,我們現在就已經全部準備好了。我們視頻也已經上傳了。對吧。

03:34.000 --> 03:40.000
或者說你直接通過鏈接去下載的。也可以。你直接鏈接下載之後,你那個視頻也會自動的加載過來。

03:40.000 --> 03:47.000
就不需要你二次上傳了。好,那我們處理完成之後,我們只要點一下開始處理這個按鈕就可以。

03:47.000 --> 03:56.000
我們點擊開始處理。那這裡會自動的進行配音環境的一個校對。如果你缺相關的環境,它也會自動的幫你去裝。

03:56.000 --> 04:04.000
那這個其實這個後戶端,我已經幫大家裝好了那個配音的環境。然後還有千問3的這個模型也給大家配好了。

04:04.000 --> 04:11.000
還有這個語音識別的whisper的模型。這裡一點需要大家需要注意。如果你本地有顯卡的話,你可以選這個median。

04:11.000 --> 04:16.000
如果你本地沒有顯卡的話,你可以選這個small或者說tiny去做語音的識別。

04:16.000 --> 04:24.000
這個是需要本地算力的,包括上面這個千問3這個TTS本質都是算力的。那我可以給大家看一下。

04:24.000 --> 04:32.000
像我任務管理器裡面的一些東西。任務管理器點擊性能。然後大家可以看到這裡的英偉達顯卡是會直接去占用的。

04:32.000 --> 04:43.000
如果你本地沒有顯卡,或者說你是macOS的設備,那你這裡可以把它開小一點。特別是macOS如果你是8GB的內存,你就不要想了。這個你基本跑不了。

04:43.000 --> 04:54.000
你至少也要有個16G或者說24G去運行,會比較流暢一些。而這個整個客戶端會比較大一點。大家需要注意,它大概是有10G

04:54.000 --> 05:02.000
一個Gb左右吧。大概這麼大。因為裡面有一些模型。然後還有就是除了說模型,還有就是一些依賴環境。

05:02.000 --> 05:12.000
Python的一些依賴環境。包括我們的配音模型和語音識別的這兩個模型。本質都在本地跑。你的這個雲端API只是用來跑那個翻譯的。

05:12.000 --> 05:22.000
我覺得接一個API去跑翻譯,效果會更好一些。等這個流程跑完。我們去看一下它的效果就好。

05:22.000 --> 05:32.000
好,我們來看一下這個任務快完成了。首先它做的是這個音頻的抽取。抽取完了音頻之後,進行語音的一個識別。

05:32.000 --> 05:39.000
然後整理了我們的一個字幕。然後再將字幕做了一個翻譯。因為我們的目標語言是英文。

05:39.000 --> 05:48.000
翻譯成了英語之後,再進行一個TTS的一個配音。配音完成之後,最後就是合成我們的音頻。

05:48.000 --> 05:56.000
那這次已經進行到了最後這一個片段,就是分成了70個片段嘛。那這裡就是具體的一個工作流程。

05:56.000 --> 06:05.000
整個操作其實就很簡單。你上傳的視頻,然後選好你的目標語種。對吧。還有一些字幕的顏色。或者說電影集的一些潤色。

06:05.000 --> 06:14.000
然後配一個那個翻譯的模型。那就在這裡。我這裡選了一個翻譯的模型。最後就是點一下開始處理。

06:14.000 --> 06:20.000
然後這裡就會進行自動化的處理。現在再進行混合音軌,並且封裝到這個視頻裡面來。

06:20.000 --> 06:26.000
那我們可以點開去看一下。到時候應該就會在我們這一個Subflow的,

06:26.000 --> 06:32.000
這個項目裡面。那這裡會生成一個視頻。這裡是剛才的這一個視頻。

06:32.000 --> 06:35.000
這是原版的視頻,我們可以先打開來看一眼。

06:35.000 --> 06:38.000
然後通過這個。

06:38.000 --> 06:42.000
這是原版的這個視頻。

06:42.000 --> 06:48.000
然後它是完全沒有字幕的。是我之前自己錄的一個視頻。

06:48.000 --> 06:53.000
對吧。然後完全沒有字幕。那這裡生成的是這個音中版本的。

06:53.000 --> 06:57.000
那這裡還沒有。這裡已經生成完成了。我們可以看一下。

06:57.000 --> 06:59.000
打開這個。

06:59.000 --> 07:01.000
打開這個。

07:01.000 --> 07:05.000
音中字幕的一個版本。那下面兩個是它的那個字幕。

07:05.000 --> 07:12.000
SRT的一個字幕。那我們打開這個視頻。這個視頻已經燒錄好了。就是把字幕那些東西都加進去了。

07:12.000 --> 07:17.000
大家可以看到。這裡不只是說。

07:17.000 --> 07:21.000
我們把這個中文的視頻換成了一個英文的視頻。

07:21.000 --> 07:25.000
而且配上了英文加中文的一個字幕。那這裡的音色。我用的是。

07:25.000 --> 07:33.000
千文的TTS的一個音色。然後選的是第一個男聲的一個聲音。OK。那這是。

07:33.000 --> 07:38.000
這一個演示。那大家可以看一下。就每一塊。

07:38.000 --> 07:41.000
大家都配。配上了相關的音中字幕。

07:41.000 --> 07:44.000
大家一般用的比較多的還是。

07:44.000 --> 07:47.000
國內小夥伴。一般用的比較多的就是這個中音字幕。

07:47.000 --> 07:52.000
就是中音雙語字幕。然後目標語種是中文。那他就不需要這個配音。

07:52.000 --> 07:55.000
和這個選音色。因為就是用你自己的一個聲音。

07:55.000 --> 07:59.000
那只有你選擇目標語種的時候。他才會出來配音。

07:59.000 --> 08:02.000
OK。這是一塊。第二塊就是說。

08:02.000 --> 08:06.000
當大家在做這個subflow。特別是。

08:06.000 --> 08:11.000
在進行這個視頻下的時候。你的那個視頻的那個cookie可能會到期。

08:11.000 --> 08:14.000
你需要更換自己的cookie。那怎麼去更換呢?

08:14.000 --> 08:18.000
是需要在這個cookies的項目文件夾內有兩個文件。

08:18.000 --> 08:21.000
一個是youtube的cookie。一個是bilibili的cookies。

08:21.000 --> 08:24.000
那我們怎麼去獲取這個cookie呢?

08:24.000 --> 08:29.000
首先第一步我們是需要在那個我們的導航頁。然後往下滑。

08:29.000 --> 08:34.000
往下找。找到有一個叫chrome插件的商店。當然你用的edg。

08:34.000 --> 08:38.000
你可以用這個edg的插件商店。然後進到這裡面來之後。

08:38.000 --> 08:43.000
我們搜索getcookies。搜索getcookies。大家可以看到我安裝的是這個版本。

08:43.000 --> 08:48.000
叫getcookies.textclean。這個東西。那怎麼去用呢?

08:48.000 --> 08:53.000
比如我這裡是youtube。那我只要在這個位置點一下。

08:53.000 --> 08:56.000
然後我們就可以copy他的youtube的cookies。

08:56.000 --> 09:01.000
那我們把這個cookies複製一下。然後填到這一個文檔裡面來。

09:01.000 --> 09:05.000
然後雙擊打開。那填到這裡面來。把原來這個刪除。

09:05.000 --> 09:09.000
如果你沒有的話。那你只貼進來。然後保存上。

09:09.000 --> 09:11.000
這個時候我們的cookies就更換成功了。

09:11.000 --> 09:15.000
YouTube。Bilibili是一樣的。你只要隨機打開Bilibili的網頁。

09:15.000 --> 09:19.000
然後用同樣的方法。比如我這裡隨便打開一個Bilibili的網站。

09:19.000 --> 09:23.000
然後我只要點一下這個按鈕。然後點擊copy。

09:23.000 --> 09:30.000
就可以把b站的cookies給他copy下來。然後這樣的話就可以再線去把雲端的視頻給他下載下來。

09:30.000 --> 09:34.000
當然如果你是本地視頻你直接上傳就好了。

09:34.000 --> 09:41.000
OK。這就是本期我想分享給大家的有關於我們這一款叫Subflow與Mood的這一款。

09:41.000 --> 09:47.000
直接提供了我們Windows和MacOS的一個客戶端。大家直接下載客戶端去使用就好了。

09:47.000 --> 09:53.000
好。大家對這個項目感興趣的話可以幫我們點一點小信心。點一下fork。

09:53.000 --> 09:57.000
謝謝。這就是本期視頻的全部內容。謝謝大家。