逐字稿文字預覽
Hello,大家好,我是Samuel。今天想跟大家分享一款我剛開發的聽力練習軟件,叫LingoClip。 這個其實是我去年大概11月份開發的,但是當時比較粗糙。這次剛好出了OPUS5.5 AI,順手把這個重構。 然后这个APP的话 它主要是用于听力练习 那它的一个主要功能就是 你可以拿你想看的任何视频 然后一句一句去练听力 那它的一个节奏是这样子的 视频放一句听下来 你把你听到的打出来 对答案 字幕可以由APP自己来生成 AI也可以帮你把长句切短 把男句拆开来教 就比如我们看到这么样的一个视频 这个时候假设你对这个视频的内容 你已经看完一遍了 然后你对这个视频的内容特别感兴趣 让你发现你这个视频 你可以大概听得懂百分之六七十 那你大概会有百分之三十到四十的内容呢 是你可以拿来进行学习的 那这个时候我们就可以导入我们这个APP OK 比如我们现在点开 OK 这个就是我们刚才的那一个 TekTok的一个视频 我把它倒入的这个APP 那这个时候的话呢 我们就可以去听 这个时候的话 它的一个功能是干嘛呢 其实就是 这里 视频放一句停下来 把你听到的打出来 我们有快捷键可以重放一下 You're about to hold a plank, just 60 seconds. You're about to hold a plank, just 60 seconds. OK,这句没问题,那我们进度下一句。 OK, you know it's coming that tension in your core. 这时候的话假设你Core你叮出来了 但你不知道它是什么意思 你看我们把鼠标放在这里 它会显示查词 点击一下 这里面它就会有内置的词点 如果你发现它的意思太多 我们可以点击这里 让AI指出是哪一句 这时候AI就会收到下面这个内容 它就找到了核心肌群 OK 我们可以点击添加 关掉下一句 OK 那假设你听到下一个句子的时候 你里面有一些内容你听不到 或者你听不懂 可以干嘛呢 我们除了重新播放 别的重播一次 这个时候你重听一次之后 你还是听不懂 那你之后再重复听是没用的 那这里的话有个功能 叫什么呢 叫拆开教我 那这个时候AI的话 它就会上面这个句子 这个时候AI就会去分析上面这个句子 然后把它拆开 然后我们先练一部分 再练另外一部分 最后再回到这里练整一个句子 比如我们点击拆开教我 那这个时候的话 这个时候就会把它拆开了 分为三步种 第一个是什么呢 OK OK,没有问题 OK,这个时候我们把这两个句子练好了 我们再回去 The burn in your arms The mental countdown Ticking away OK 在这里的话 The burn in your arms 其实就是你的手臂在燃烧 The mental countdown 这个时候你如果不怎么知道 他在说什么的话 我们可以点击这个 Countdown Countdown就是倒计时 OK 没问题 Mental mental的话这里叫做 这个精神上的倒计时 对吧 那这个ticking away 那我们点一下 这个时候的很明显 其实就是下面这一个 钟表的低拉声 心里的倒计时 像钟表一样不断流失 点击添加 OK 那我们再来下一句 I can't do this I'm going to collapse at 30 seconds You're already thinking I can't do this 对吧 然后你可以再听一次 把它打出来都没问题 然后也有另外的一些模式 比如你基础比较好 你可以选择 就是这个挖控程度 可以选择全写 当然你也可以选择适中 或者你基础如果比较一般 但你还是想练一下 听一下 你可以选择轻松 比如我们这里选择适中 对吧 我们听到下一句 OK OK Now imagine 你看这个时候的话 它就会挖出 就是适当的 适当的去把一些空 进行挖空 让你来填 Imagine you push through that feeling OK,这个时候你也照常可以点击拆开加我 可以用快捷键Command加V Hold on Hold on 坚持住 那你感兴趣的话 你也可以点击这个 去把它收藏下来 Your body starts shaking Your body starts shaking OK,然后你可以去查里面的词汇添加起来 或者呢在这里你也可以去把这个句子给它添加起来 然后我们退出到外面的话 我们这里就会有个复习的按钮 然后在这里就会看到我们刚才添加的这些单词 比如我们点击卡片 这里的话就我们刚才收集进来的单词 那我们点击开始复习 这个时候你可以练单词 那单词的话也在语境中进行练习 然后我们点下一个 他读得很快你的名字 他读起来不像读mental,他把那个t给他吞了 the mental countdown ticking away。ok。 然后里面用的是这个FSRS的一个计算法 你点完之后呢 比如我们看卡片单词 然后你会发现 它这一些的话就会统一安排到三天后 我们还要再复习一次 OK 然后像句子的 比如我们刚才打错的句子啊 我们添加进来的句子啊 这里有几个看不到 The burning your arms The mental countdown ticking away The burning your arms 就有时候你想要把整个句子加进来 也是 可以的 OK所以这一整一个的话呢 就是这个APP他所能够提供的这么一个 帮助 接下来的话主要给大家介绍一下 怎么去用这个APP 第一的话呢你只需要准备 第一个 一个视频 200钥匙 第一个 你得自带视频比如你可以去YouTube 比如你看到一个你感兴趣的视频 你可以去copy它的一个网址 然后去到YouTube上 你可以说YouTubeTube Video 然后就有这些网址 比如这里 一个例子 进到这里面进来之后 把网址放在这里 然后这一边的话 这个视频我们就可以在这里进行下载了 点击以后38M他就会下载下来 这里已经下载了 OK 所以第一的话你得自备一个视频 第二的话你得有两把钥匙 两把钥匙其实就是AI配置方面 比如像在这里我们要点击设置 然后我们要点击这个转路 转路的话呢这里我们要提供三个方式 第一的话你可以点击本机 到时候的话呢 他会自动在你电脑上下载一个 转入的一个模型 用的是Whisper 然后它就可以自动在你本机上进行转入 如果你电脑配置比较好的话 建议你选这个 配置比较一般的话 你可以选这个 或者你不想要下载本地模型来做这个转入的工作 就是把这个视频音频把它转入成字幕文本 那你可以选择这边有两个Groke 那如果你登录的上去的话呢 你可以去拿一下它的API 它免费账号每天可以转入 八个小时的一个音频 你点击之后 就可以到这个界面 你可能要先注册登录 然后在这里拿一个API key 或者你也可以用国内的阿里云 它的一个百链 OK 比如你在这里可以点击去百链拿密钥 然后你就可以自己在这里 你先注册拿一个API key 然后你也可以用它来进行 这个音频的转录 我查了一下 你转入一个小时的音频可能就大概四五毛钱左右 所以是比较便宜的 第二的话你要自己自备一个AI OK 你可以使用Deepseek的 OK你可以使用Deepseek的 你比如这里搜索Deepseek的API的地址 这里搜索个key之后 可以拉去模型 选择Deepseek Flash OK 然后下一步的话呢 就是我们刚才说的 配置这个转入嘛 搞定了 然后配置这个AI 其实也给大家讲了 因为我们到时候 把这个音频转入成文本之后 他要AI去进行拆距和挖控 都得调用到 OK 然后里面的一个自动断句 其实就是 有时候他转入出来的原文 可能会非常的长 那这个时候的话 我们就需要AI 把它切成一句又一句 适合练习的 一句又一句 OK 比如给大家演示一下 这个视频 然后的话 我们刚才是下载的这个视频 就在这里 38M 然后呢 直接把它放进来 那这个时候的话 添加视频 然后在这里 然后如果你有字幕文件 你可以自己选上去 那我们这里用的是阿里云的 来进行云端转录 OK 我们点击开始生成 然后这个时候的话 它就会自动把我们的音频 这个视频啊 它会把音频提取出来 然后把音频呢 上传到阿里云那一边 然后等它出现这个整理句子的时候 其实就是说它在开始去进行一个转录了 转录的一个意思 转录的话其实就是把这个音频转成这个文本 OK 而且转成这个字幕的这个文本 对我们关掉 一般这个过程的话 可能大概就是一两分钟就可以搞定 就是说他把这个音频转成这个字幕文本 然后字幕文本 他内部电用AI去进行一个切句子啊 等等这些功能 所以我们稍微看一下这里 那导渡视频就我们刚才说的 OK 当然你也可以选择 你不选择这个云端的话 到时候点击这里 就可以自己去下载这个模型 你也可以自己在自己 用自己的电脑去转入 也是没问题的 然后的话 我们这个时候就是在等 OK你看他已经转入好了 总共有74个句子 然后他现在正在拆句子 然后给句子进行一个挖控 OK 大概的话也是一分钟 OK 他整个过程会全自动 比如先转入 拿出字幕文本 然后AI自动断句 断完句之后呢 AI再进行猜句 把学习重点标出来 然后进行挖控 比如我们现在看回去的话 你会发现它已经挖句挖得差不多了 挖控和猜句都差不多了 OK 已搞定 比如它会转路 转完之后猜句 整理句子然后猜句 OK 比如现在基本上搞定 我们就可以点击进来了 OK,Should you use subtitles when you're practicing listening in Mandarin? 不知道是不是,有点听不清楚,再听一下 Should you use subtitles when you're practicing listening in Mandarin? When you are practicing? OK 中间这个词听不懂 但后面的话应该是 OK 看一下 OK 这个词真难听 哇 它几乎把音都吃到一块了 Should you use subtitles when you are practicing listening in Mandarin 可能都在这么迭过来 OK, this is a question I get asked a lot 所以后面的话呢 其实就是跟我们刚才演示的呢 就一模一样了 就是原文里面的这些内容 然后你也可以用快捷键 快捷键也是可以进行一个配置的 然后像在这里 也可以把快捷键把它放出来 所以这一整个的话 就是我们这个APP 它使用的这么一个 过程 OK 所以大家可以尝试去使用 然后待会会开源在这个GitHub上 大家可以拿去自己去做一些修改 等等的一个操作 OK
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：1187.7 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：43.3 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.4 秒
關係：依序執行
結果：失敗
問題：exit code 46
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：723.9 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.9 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.9 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：115.7 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.8 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.9 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 部分時間軸可能不精確
unit 169: 10 chars owns 12.720s (max 8.333s)；unit 172: 9 chars owns 11.580s (max 8.000s)；unit 379: 7 chars owns 20.800s (max 8.000s)
- 逐字稿可先使用，但有待校正清單
segment=160 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。