逐字稿文字預覽
大家好,這裡是新朋友,今天帶來文字翻譯。 主要是在聽寫上有一個非常大的升級。 我們這裡更換了我們的聽寫後端,使用了Qwen3ASR,然後它能夠使用Qwen3ASR這樣的一個模型,使得它的聽寫會更加準確。 然後我們的翻譯這邊選擇的話,大家進入之後選擇會更加清晰。 然後呢,就是包括它的這個VAD,分代時常,Token上限。 那麼這樣的一個聽寫它會,就是能夠調整的像也會更多。 就是大家會在常任務上會更加的一個順暢。 接下來是安裝穩定性的一個更新。 Valcan的話就是A卡、I卡、N卡都可以用的。 然後,呃,Cuda的話是10系以上的,呃,顯卡都可以使用。 現在大家不確定自己的卡能不能用的話,就可以在這個模型面板中先測試一下。 呃,然後測試完了再跑任務。 然後最後就是這個依賴會精簡。 就是可以發現現在包會更小一點。 然後它的這樣子一些兼容性會更好一點。 接下來我們在這個實際的這樣的一個場景中,我們來看一下,呃,新的這個版本是怎麼使用的。 那接下來我們看一下這個新的這個界面。 現在這個界面呢,相比之前會更加簡潔一些。 啊,我們來看這個工作臺,工作臺這邊。 呃,我們能夠直接來配置這個聽寫語言和發音的目標語言。 然後,呃,它是否開啟呢,也可以直接在前面這裡進行一個設置。 然後,這麼輸出也是可以直接在這裡設置。 模型設置裡面呢,就只會有你對應的這個模型的,啊,那這些一些參數。 如果你,呃,不想配置的話,你就直接用現場的就可以了。 啊,我們聽寫模型是換到了千問3S2這個模型。 然後,它的這個和之前的模型是不通用的。 所以你之前的模型是在這邊是不能用。 你必須要重新的進行一個下載。 然後,這邊,呃,我們可以去測試一下這個我們聽寫模型是不是可以用。 所以,就如果有些,呃,小夥伴覺得自己的電腦可能帶不起來的話,可以在這邊先測試一下。 啊,包括發音模型也可以在這邊測試一下。 啊,測試通過之後呢,我們,呃,第四個就是這個字典。 就是這個和之前一樣的就是可以把你要翻譯,呃,或者替換的這些文本寫在這裡。 然後翻譯的時候它就會進行一個替換。 最後我們其他的工具呢都,呃,放在這個使用工具這個裡面。 那麼它就是大家可以看字也選擇進行一個使用。 啊,如果是這個字幕合成這邊就有一些更新就是你可以選擇硬字幕或者軟字幕。 印字幕它是直接到視頻裡面的。 然後軟字幕呢它是,呃,和視頻一起打包的。 接下來我們演示一下。 翻譯一個這樣的一個影片。 我現在翻譯完了,我們來看一下這個結果。 這個聽寫的是目標語言。 嗯,中文。 而這個combine呢是,呃,中文和原文。 啊,我們今天就到這裡。 然後大家有什麼想交流的歡迎在,呃,評論區給信譜留言。 啊,謝謝大家。 謝謝大家。
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先,Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)
處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)
耗時:24.2 秒
關係:依序執行
結果:完成
2. 全文快速校讀
工具:videonote_rapid_transcript_review.py
處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目
產出:rapid_transcript_review_report.json(產出檔案)
耗時:30.4 秒
關係:依序執行
結果:完成
3. 建立句子單元
工具:videonote-build-sentence-units
處理:將逐字稿切成帶時間軸的句子單元
產出:sentence_units.json(句子單元)
耗時:0.5 秒
關係:依序執行
結果:完成
4. 句子密度平衡
工具:videonote_balance_sentence_units.py
處理:平衡句子長度與密度
產出:sentence_units.json(句子單元)
耗時:0.5 秒
關係:依序執行
結果:完成
5. 時間軸稽核
工具:videonote_timeline_audit.py
處理:檢查時間軸與音訊對齊
產出:timeline_audit_report.json(時間軸稽核)
耗時:0.5 秒
關係:依序執行
結果:完成
6. 品質檢查
工具:videonote_controlled_quality.py(檢查時間軸與品質)
處理:檢查語言、時間軸與可讀性品質
產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)
耗時:0.5 秒
關係:依序執行
結果:完成
7. 播放時間軸回填
工具:videonote_rebase_display_timeline.py
處理:將網頁播放時間軸回填為校正字幕時間
產出:display_timeline_rebase_report.json(時間軸回填報告)
耗時:0.6 秒
關係:依序執行
結果:完成
8. 逐字稿交叉檢查
工具:videonote_cross_check_transcript.py
處理:交叉檢查逐字稿與來源字幕
產出:transcript_crosscheck_report.json(交叉檢查)
耗時:0.6 秒
關係:依序執行
結果:完成
9. 來源句整理
工具:videonote_prepare_source_entries.py
處理:整理來源句子供時間軸與頁面使用
產出:sentence_units.json(句子單元)
耗時:0.6 秒
關係:依序執行
結果:完成
10. 生成筆記摘要
工具:videonote-generate-note(生成筆記摘要)
處理:生成筆記摘要與重點
產出:note.md(筆記 Markdown)、note.html(筆記 HTML)
耗時:82.7 秒
關係:依序執行
結果:完成
11. 建立筆記頁面
工具:videonote-render-html(產生筆記 HTML)
處理:產生可閱讀的筆記 HTML 頁面
產出:note.html(筆記 HTML)
耗時:0.8 秒
關係:依序執行
結果:完成
12. 發布公開頁面
工具:videonote-publish(發布公開頁面)
處理:發布到公開網站與每日列表
產出:公開筆記網址、result.json(管線結果)
耗時:0.8 秒
關係:依序執行
結果:完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據(PyAnnote / WhisperX)
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀:已套用暫定修正,請確認
segment=2 已先套用暫定修正:我們這裡更換了我們的聽寫後代,使用了QuizBaseSR,然後它能夠使用千萬三SR這樣的一個模型,使得它的聽寫會更加準確。 → 我們這裡更換了我們的聽寫後端,使用了Qwen3ASR,然後它能夠使用Qwen3ASR這樣的一個模型,使得它的聽寫會更加準確。;segment=6 已先套用暫定修正:就是大家會在常任務上會更加的一個神經。 → 就是大家會在常任務上會更加的一個順暢。;segment=7 已先套用暫定修正:接下來是安裝測試和文內性的一個更新。 → 接下來是安裝穩定性的一個更新。;segment=12 已先套用暫定修正:然後最後就是這個依賴會增加性。 → 然後最後就是這個依賴會精簡。;segment=31 待確認:語意通順,但「第四個」需確認是否為序數詞口誤,暫保留。;暫定:啊,測試通過之後呢,我們,呃,第四個就是這個字典。;segment=44 待確認:「語文」應為「原文」(Original Text),指雙語字幕中的源語言。;暫定:而這個combine呢是,呃,中文和原文。;segment=46 待確認:「信譜」是否為UP主暱稱?若否,可能為「給UP主留言」或「給Shinnpuru留言」的誤聽。;暫定:然後大家有什麼想交流的歡迎在,呃,評論區給信譜留言。
- 逐字稿可先使用,但有待校正清單
segment=2 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=3 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=4 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=35 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=36 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=37 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=31 rapid_semantic_review: 全文速讀上下文判斷;尚未回聽或交叉比對;segment=44 rapid_semantic_review: 全文速讀上下文判斷;尚未回聽或交叉比對;segment=46 rapid_semantic_review: 項目地址為github.com/shinnpuru/VoiceTransl,「信譜」音近Shinnpuru。
- Qwen3-ASR 未完成,需確認 qwen_asr_lab 環境與音訊後重試精進模式。