逐字稿文字預覽
通常我給大家推薦一款AI工具的時候,往往我都習慣先描述它的痛點。 但是這款微軟推出的AI工具就不一樣了。 大家先看一下它的STAR數。 53. 5K啊,BRO。 閉著眼就知道收藏了再說了。 好,接著我們再看一個數據。 能夠一次性處理長達60分鐘的音頻內容。 什麼概念呢? 你有用過其他ASR語音識別工具的話就知道了。 很多都是處理不了長音頻,需要分割成短音頻才能繼續識別的。 但是呢,這樣子一做的話,上下文就割裂了。 這個和大語言模型的RAG的原理一樣啊。 就是以前我們的大語言模型,它上下文不夠長嘛。 它的Context Window不夠長。 所以呢,我們需要先把一篇很長的文章啊,或者一個文檔啊,先叫它分割了。 然後去做那個Word Embedding啊,丟給這個向量數據庫。 然後等到用的時候呢。 我們再去那個限量數據庫裡面去找,找到對應的內容。 但是啊,因為你是一片一片,你分割了的。 然後呢,你取回來的內容啊,可能已經缺失了很多上下文了。 這個時候你再丟給這個大語言模型啊。 往往你得到的不是你想要的結果。 而這60分鐘的這個音頻呢,就相當於說你的大語言模型已經有很長的上下文了。 你直接把一篇文檔丟給這個大語言模型,它就能全部識別到了。 你不需要再去做分片。 知道吧。 這裡呢,我首先想到了一個應用場景啊,就是開會。 比如說你一開一個小時的,直接將這一小時的這個錄音啊,丟給它總結。 然後開完會了,就直接得到你的那個會議紀要了。 又或者說你圍繞這個產品啊。 做一個自己的一個硬件的產品也好。 做一個自己的,比如錄音筆吧。 做一個錄音筆。 然後呢,你呢,開會的時候啊,直接錄音。 然後呢,完了之後,直接呢,把這個啥? 把這個會記要啊,直接發給你的各個同事。 然後呢,發給他們的郵箱。 是吧? 這有很大的一個想像空間呢。 看起來這個模型不大,大家可以看一下啊。 這裡看到沒有? 1. 58G。 然後呢, CPU就能跑了,GPU都不用買了。 所以呢,隨便找個公司裡面的電腦啊,就能裝起來,就能玩啊。 好,感興趣的話,趕緊玩起來吧。 AI產品GG手,每天分享免費AI工具的技巧,關注!
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：17.4 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：11.8 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.9 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：1.0 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.0 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：50.7 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.8 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.9 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=2 已先套用暫定修正：很多都是處理不了長音頻,需要分割成短音頻才能繼續識別的。但是呢,這樣子一做的話,下下文就割裂了。這個和大語言模型的RAC的原理一樣啊。就是以前我們的大語言模型,它上下文不夠長嘛。它的Quantus Window不夠長。所以呢,我們需要先把一篇很長的文章啊,或者一個文檔啊,先叫它分割了。然後去做那個Word Embedding啊,丟給這個限量數據庫。然後等到用的時候呢。 → 很多都是處理不了長音頻,需要分割成短音頻才能繼續識別的。但是呢,這樣子一做的話,上下文就割裂了。這個和大語言模型的RAG的原理一樣啊。就是以前我們的大語言模型,它上下文不夠長嘛。它的Context Window不夠長。所以呢,我們需要先把一篇很長的文章啊,或者一個文檔啊,先叫它分割了。然後去做那個Word Embedding啊,丟給這個向量數據庫。然後等到用的時候呢。；segment=5 已先套用暫定修正：這裡呢,我首先想到了一個融入場景啊,就是開會。比如說你一開一個小時的,直接將這一小時的這個錄音啊,丟給它總結。然後開完會了,就直接得到你的那個開會記要了。 → 這裡呢,我首先想到了一個應用場景啊,就是開會。比如說你一開一個小時的,直接將這一小時的這個錄音啊,丟給它總結。然後開完會了,就直接得到你的那個會議紀要了。
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。