逐字稿文字預覽
哈喽大家好,歡迎大家來收看我的視頻。那麼我們在上一次給大家分享的一個視頻是關於這個Hugging費中開源的這個項目。然後他是基於OpenAirWhisper來使用這個日語來做優化的。也就是對這個日語他識別的會更加準確。是專門針對日語的一個ASR模型。 然後我們這裡的話對上一次視頻說的有一個錯誤的地方進行糾正。一個就是我們上一個視頻想到說需要去修改這個Transformers下面的Modeling.tl這個排成代碼。 然後其實的話我們還是需要去在官方他提供的代碼記錄上的話再增加這兩條影句。 才能讓他不報那個錯誤。把哪個錯誤能打開。我們給大家去記錄的那個博文。 OK來到我們這個博文這裡。16月8號發布這個文章。大家可以去閱讀。去對著看一下。我們點進來。 我們在這個博文中寫到了有兩個空。一個是Transformers的一個版本。就是剛才我們提到的。如果我們沒有去修改的話。那麼他會。他會報這個錯誤。 其實這也與我們的這個代碼有關。這的話我們加了這一個。 如果我們只是改這個Transformer沒有在原碼中加那句。加那兩條一句的話。那麼一樣會報這個錯誤。一樣會報這個錯誤。一樣會報這個錯誤。 然後下面這個錯誤。 下面這個就是沒有問題啊。你必須要修改這個Pyamon.audio。下面的那兩條語句啊。必須要修改。然後這裡的話是。 我是寫成了一個GUI程序。然後去方便去使用。 也就是在這兩寫成了一個GUI程序啊。 我們啟用他。他會打開一個圖形界面的一個程序。 然後去。 嗯。 怎麼你還沒起來。 OK。 然後他起來之後的話。他會提示。 正在加載一個模型當中。等他加載完成之後。 我們就可以去選擇音頻或視頻。 選擇異語的音頻或視頻。 把女音信號轉輪文本。文本文字。 加載模型比較慢了。比較費時間。 我們現在運行的是輕薄。 在輕薄本地就能量上運行的。 顯卡的話只有3050的一個顯卡。 以後是4GB的一個顯存。 沒有顯卡的話也是可以跑。 我們可以看到這個。 從這個PyTrain打印的一個日子。 在我們的一個Windows系統中啊。 他是不支持啊。不支持啊。 這個呢。 在這個Windows中。 他會自動去切換使用的。 這個另外一個。 他這裡的話會嘗試去連接。 連接這個hacking費。 啊。 這個generate.py這個文件。 所以他會有問題。 我們等一下。 等他。 我們先把這個環境。 嗯。 如果你訪問這個hacking費。 訪問不到的話。 有一種解決方案是使用國內的一個鏡像。 拍子這個鏡像。 你可以在系統環境變量當中去設置他的一個。 嗯。 或者直接在圓滿。 改圓滿。 把圓滿這個地方去添加。 那這去上面去添加這個。 環境啊。 新的環境。 也是可以的。 而這也的話我們把它關掉。 我們重啟一下。 嗯。 。 OK。 這是起那麼快點。 從他加載這個模型。 然後這個的話。 你看到他提示這裡。 需要去填寫這個hacking費的一個token。 這個token的話。 不是大模型的一個token。 上個視頻也講了。 他不需要這個。 說花錢去購買這個token之類的。 他完全是這個。 這個token是認證的意思啊。 他是那個那個token啊。 他不是指的是大模型的那個資源。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 他不是指的。 嗯。 好。 我們現在已經加載完成了。 而要後的話我們就可以去選擇這個文件。 那要處理文件。 可以選擇。 都會了。 他在這裡會列出來。 比如說我們選擇這一個。 官方他提供的26秒的一個。 日語的一個視頻。 我們點擊打開。 然後這一次選擇一個。 你如果選擇多個的話可以按住。 或是Ctrl鍵。 去連選多個。 那以後我們再點擊保存的一個目錄。 比如說我們就保存在這個地方。 我們先把之前的這個轉寫出來的。 SRT格式的永件給delete。 給刪除掉。 然後的話。 我們。 把這個往下拖啊。 可以看到這裡有一個轉寫的一個按鈕。 然後我們點擊這個轉寫。 他就會去處理當中了。 然後我們看到日子他打印了。 這個是Warming不要擔心啊。 不要看到這一片紅。 就以為是爆出還是問題。 OK。 我們看到這個速度還是蠻快的。 我們已經出來了這個結果。 然後我們去打開我們的這個目錄。 就能夠看到。 這個。 剛生成的這個SRT。 標準的一個字幕格式的一個文件。 它裡面保存了什麼內容呢。 我們可以去打開看一下。 我們可以用記事本。 或者說是用這個VSCORN。 比如說我們用VSCORN打開給大家去瞧一瞧。 OK。 打開來看到的一個內容的話。 就是我們的一個標準的一個。 字幕格式。 SRT字幕格式。 序號還有時間戳。 還有這個。 這裡的話還是這個區分講話人的。 區分那個講話人的。 然後這裡是對應的文明內容。 好。 然後大家可以去自己去。 在本地中去部署一下。 試一下。 然後這個的話。 它是在Hotting費中能夠去找到。 然後對應的一個文檔的話。 部署的一個文檔的話。 是把它發布到我的個人博客當中。 需要的。 也可以在我的一個博客。 在我的一個博客中去。 去這個獲取。 我是昨天6月8號發布的。 大家也可以去搜索。 如果找到的話。 你可以去搜索這個。 部署以後這個怎麼讀。 然後Whisper文檔。 然後你如果想要部署OpenAIWhisper的話。 那你可以找我之前也發布過的一個文章。 你可以直接搜索關鍵詞Whisper或者是OpenAIWhisper。 都能夠找到。 然後像之前有人問了怎麼去訓練這個模型的。 這個文章文章的話也有。 那你們也可以去看一下。 還有有需要我。 然後這個的話是前一陣子去發表的。 關於這個部署。 這個VisaNono實施語音。 是個冰淇淨講話人的一個項目。 大家如果不會部署也可以按照文檔來進行部署。 還有其他的像部署千文沙這些都有。 訓練溫州方言啊。 或其他的一個方言和南話四川話的。 都有。 比較詳細的一個。 還有怎麼去採集這個數據。 這個方言是怎麼去採集的啊。 那我們就是給大家去分享到這裡。 還沒關注的也記得關注一下。 拜拜。
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：24.9 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：40.1 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.2 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.3 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：68.0 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.1 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.2 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用，但有待校正清單
segment=27 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複；segment=86 punctuation_only: 段落只有標點或符號；segment=86 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。