工作清單

逐字稿文字預覽

哎,會議裡幾個人同時說話,普通語音識別的問題不只是聽不清,更是不知道該聽誰。
如果你只需要其中一個人的文字,先把每個人都分離出來,未必是最直接的路。
Xiaomi Cocktail ASR-1給出了另一個思路。
先輸入一段目標人的參考聲音,再輸入單人或多人混合語音。
參考聲音就像一把聲文鑰匙,模型直接只轉錄對應的說話人。
機器說清了，先聽一組官方演示。
第一段是目標人的參考聲音，第二段是待識別的混合語音。
我想註冊一下聲文,這是一條註冊音頻。
人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。
模型最後輸出的是,人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。
這裡不是先分出每一路音頻,而是用參考聲音直接約束轉寫目標。
聽到效果後，再看真實會議數據。
官方報告中，這個模型在AM&SDM上的詞錯率是21.
81%，在EliminatingFar上是20.
63%，對比表裡都明顯低於直接處理混合語音的通用模型。
但只會轉路還不夠,如果參考聲音的人根本沒在待識別音頻裡,模型應該保持沉默。
下面再聽一組副樣本。
嗨同學。
嗨有關系。
這組副樣本的官方結果是空。
三個正樣本測試集上，句實率分別是79.
59%，75.
35%和68.
54%，但句實不是100%，正樣本也有最高0.
73%的物據率。
選型時要同時看詞錯率、句實率和誤識率。
開始試跑,只需要四個依賴,兩段音頻和一次模型調用。
準備一段目標人參考音頻和一段待識別音頻。
輸入期望是16000赫茲單聲道，成功後應該只返回目標人文本。
再換一段不相關的參考聲音,預期結果是空。
最後的選型結論很清楚，指定受訪者轉錄，以登記用戶語音入口或多人環境跟蹤固定說話人。
這很對提。
需要保留所有發言人的完整會議,就應該用說話人日誌或分離流程。
官方示例使用約80億參數模型、CUDA和遠程自定義代碼,先做小樣本驗證再接入。
這裡是智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。

來源：transcript.txt

本次執行流程與問題處理

1. 下達指令

   指令：videonote https://b23.tv/APjf1Na --language zh

   來源：https://b23.tv/APjf1Na

   辨識語言：zh ｜ 參數：--language zh

2. 預期流程

   依指令產生的處理順序：

   1. 下載與語音辨識
   2. 來源選擇與品質檢查
   3. 文字校正與句子單元
   4. 筆記與發布
   5. 公開網頁發布

3. 1. 下載與語音辨識

   工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

   處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

   產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

   耗時：25.8 秒

   關係：依序執行

   結果：完成

4. 2. 全文快速校讀

   工具：videonote_rapid_transcript_review.py

   處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

   產出：rapid_transcript_review_report.json（產出檔案）

   耗時：23.8 秒

   關係：依序執行

   結果：完成

5. 3. 建立句子單元

   工具：videonote-build-sentence-units

   處理：將逐字稿切成帶時間軸的句子單元

   產出：sentence_units.json（句子單元）

   耗時：0.9 秒

   關係：依序執行

   結果：完成

6. 4. 句子密度平衡

   工具：videonote_balance_sentence_units.py

   處理：平衡句子長度與密度

   產出：sentence_units.json（句子單元）

   耗時：0.9 秒

   關係：依序執行

   結果：完成

7. 5. 時間軸稽核

   工具：videonote_timeline_audit.py

   處理：檢查時間軸與音訊對齊

   產出：timeline_audit_report.json（時間軸稽核）

   耗時：0.9 秒

   關係：依序執行

   結果：完成

8. 6. 品質檢查

   工具：videonote_controlled_quality.py（檢查時間軸與品質）

   處理：檢查語言、時間軸與可讀性品質

   產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

   耗時：1.0 秒

   關係：依序執行

   結果：完成

9. 7. 播放時間軸回填

   工具：videonote_rebase_display_timeline.py

   處理：將網頁播放時間軸回填為校正字幕時間

   產出：display_timeline_rebase_report.json（時間軸回填報告）

   耗時：1.0 秒

   關係：依序執行

   結果：完成

10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.0 秒

    關係：依序執行

    結果：完成

12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：69.5 秒

    關係：依序執行

    結果：完成

13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.6 秒

    關係：依序執行

    結果：完成

14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.6 秒

    關係：依序執行

    結果：完成

手動來源字幕

• 尚未產生

自動來源字幕

• subtitle_acquisition.json下載140 bytes

Whisper 字幕

• transcript.whisper.json純文字JSON2,587 / 20,641 bytes
• transcript.whisper.srt下載4,074 bytes
• transcript.whisper.tsv下載3,183 bytes
• transcript.whisper.txt下載2,587 bytes
• transcript.whisper.vtt下載3,695 bytes

Qwen 字幕

• 尚未產生

Parakeet 字幕

• 尚未產生

MOSS 字幕

• 尚未產生

聲學時間證據（PyAnnote / WhisperX）

• 尚未產生

校正前後逐字稿

• 校正前 transcript.whisper.json 純文字 JSON 2,587 / 20,641 bytes
• 校正後 transcript.presegmentation_corrected.json 純文字 JSON 2,204 / 30,692 bytes

目前待解決問題與初步改善方向

• ⚠️ 全文快速校讀：已套用暫定修正，請確認待修正

  segment=2 已先套用暫定修正：機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。 → 機器說清了，先聽一組官方演示。第一段是目標人的參考聲音，第二段是待識別的混合語音。；segment=7 已先套用暫定修正：聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。 → 聽到效果後，再看真實會議數據。官方報告中，這個模型在AM&SDM上的詞錯率是21.81%，在EliminatingFar上是20.63%，對比表裡都明顯低於直接處理混合語音的通用模型。；segment=13 已先套用暫定修正：三個副樣本測試集上,句實率分別是79.59%,75.35%和68.54%,但句實不是100%,正樣本也有最高0.73%的物據率。 → 三個正樣本測試集上，句實率分別是79.59%，75.35%和68.54%，但句實不是100%，正樣本也有最高0.73%的物據率。；segment=14 已先套用暫定修正：選行時要同時看詞錯率、句實率和物據率。 → 選型時要同時看詞錯率、句實率和誤識率。；segment=7 待確認：「ElimitingFar」疑似為「Eliminating Far-field」或特定測試集名稱（如CHiME/AMI中的Far-field）的音譯或拼寫錯誤，需確認官方文檔中的具體指標名稱。；暫定：聽到效果後，再看真實會議數據。官方報告中，這個模型在AM&SDM上的詞錯率是21.81%，在EliminatingFar上是20.63%，對比表裡都明顯低於直接處理混合語音的通用模型。；segment=13 待確認：「副樣本」應為「正樣本」（Positive Samples），因為前文[2]-[5]演示的是目標人識別成功的案例；「物據率」疑似為「誤識率」（FAR）或「漏識率」（FRR）的錯詞，需確認ASR指標術語。；暫定：三個正樣本測試集上，句實率分別是79.59%，75.35%和68.54%，但句實不是100%，正樣本也有最高0.73%的物據率。；segment=14 待確認：「選行」應為「選型」（Model Selection）；「物據率」在[13]出現，此處應統一為「誤識率」或「漏識率」，結合ASR常規指標，極大概率为「誤識率」（False Acceptance Rate）或類似概念。；暫定：選型時要同時看詞錯率、句實率和誤識率。；segment=19 待確認：「選行」應為「選型」；「轉路」應為「轉錄」（Transcription）；「登記用戶」語意稍顯突兀，可能為「特定用戶」或「登記在案的用戶」，但「轉錄」修正為高可信。；暫定：最後的選型結論很清楚，指定受訪者轉錄，以登記用戶語音入口或多人環境跟蹤固定說話人。

• 逐字稿可先使用，但有待校正清單待修正

  segment=11 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=13 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=21 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=23 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=24 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=25 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=34 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=35 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=36 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=37 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=44 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=45 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語

• Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。