逐字稿文字預覽
最近很多AI大公司 他們都推出了他們新的AI agent工具 好像是XAI就推出了GraphBolt Google就出了GMI Spark 那一些傳統的AI大公司就好像OpenAI 他們一直都用Codex 那Enthropec的話就有Codecode 而且他們推出的AI agent工具都越來越簡單 不像是我們一開始的時候 去使用Code又或者是Codex那樣子 能不能拿上手了 所以我們在這個AI agent的時代裡面 我覺得大家首先需要了解 又或者是學會的一件事情就是 Skill 但是如果大家連AIA券都不知道是什麼的話呢 我在這邊也非常快的先跟大家介紹一下什麼是AIA券 簡單來說呢我們平時使用的那些Gemina或者是TrackGPT 那些就是一個普通的代語言模型 他們是不能夠直接幫我們去做事情的 充其讓他就是一個比較聰明一點的Google 所以我們在使用TrackGPT 優惡者是Gemina的時候 還是停留在一個疑問一答的一個情況裡面 但是如果我們是使用AIA券 他就可以幫我們直接做好一件事情 比如說我跟AI Agent招待了一件事情 跟他做好了我的目標 他就可以直接幫我們去做好 他也可以操作我們的電腦 看我們電腦裡面的檔案 根據這些檔案的資料 直接幫我們去做事情 如果他遇到不會不懂的事情 他也可以直接上網去查 查好了之後 再去幫我們去做 所以最後我們只需要檢查一下 AI Agent他幫我們做出來的成果 成品好不好就可以了 這一個就是我們使用一般的大語言 模型還有AI Agent最大的一個區別 那我們在使用AI Agent的時候 我們必須要學會一件事情就是Skill 比如這個例子 我想讓AI Agent自己去搜尋一下 最近十幾天的一個新聞 之後就根據他搜尋到的這些新聞 配合我想要的題目的架構 來幫我做一批新的題目 給學生們他們去做練習 那我在這整個過程當中 我就只是很簡單的跟他說 運行了這個Skill 之後他就會幫我做好題目還有答案 然後還幫我把所有的東西 整理放好了在GlueDrop上面 那我们在GlueDrop上面就可以看到 他究竟是用了哪些的行为 然后他是参考了我 放在GlueDrop上面里面的资料 来模拟这些题目的架构 又或者是字体的一个风格的 之后AI就会帮我做好了不同的选择题 还有相关题目的一些的答案 还有评分的参考 那我弄这一整份 练习院的一个过程当中 其实我就只是简单的跟他说了 运行这个skill 其他什么东西都没有 他就可以做好一份 这么好的一个答案给我们了 那这个就是使用了skill 还有没有使用skill的一个区别 如果我们没有使用skill的话呢 我们可能需要一开始的时候 先给到一个指令给到AI 就是让他帮我上网 去查一下最新的一个新闻 查好了这些新闻之后呢 我们还需要自己检查这些新闻 合不合适 当我们筛选好了这些新闻之后呢 我还要告诉AI 你就参考之前我上传给他的 那个题目的风格 帮我再根据刚刚的新闻创建一批新的题目 当它做好了题目之后呢 我还要自己把这些题目复制贴上 放到Google Doc上面 中间很多都需要我们手动的 去把AI给我们的成品 自己去串联在一起 但是如果我们是用了Skill的话呢 每一个步骤我们都可以很清楚的 告诉AI到底什么的新闻是适合用来做题目的 也些是不适合的 我们已经可以把这个筛选的一个指标 事先给到AI agent 他就可以自己通過這些的新聞 然後自己去做上一個步驟了 所以每一個步驟 AI都可以根據我們事件 給到他的規則準則 自己去做好 我們只需要做最後的 驗獸的這個步驟就可以了 那根據這個模式 其實不僅僅是 好像我剛剛那個例子 你也可以讓AI上網 去查各種你需要的資料 然後根據你公司優惠者是 你想要的一個需求規則 去篩選分析 然後讓AI自己去檢查一下 他弄出來的成品 的效果是好或者是不好 弄好了之後再把這些資料儲存在你想要的地方 又或者可以讓AI 再去發一個郵件通知給其他的部門 又或者是發給其他公司通通都沒有問題 那大家基本理解了什麼是SKILL之後呢? 接下來我們今天這一條影片 就會跟著具體的跟大家解釋一下 到底SKILL是什麼 它跟Prom就是 之前我們常使用的提示詞 差別是在哪裡 應該怎麼樣去找 怎麼樣去安裝 還有需要注意的一些事項 怎麽樣可以把其他人的Skill變成我們自己的Skill 其實我們之前用的這些提示詞就是Prom還有Skill 他們的差別是在哪裏呢 我覺得Skill其實就是一個進階版進化版的一個Prom 所有Prom有的東西Skill它都會有 比如這個資料夾裡面就是我用來分析YouTube影片的Skill 大家可以看它其實它當中是包括了非常多各種不同的東西的 但當中最重要的話就是這個Skill.MD 就是一個給AI agent他看的一個說明書 讓AI agent知道什麼情況他應該怎麼樣去處理 所以一個Skill呢 其實他是有一整個資料夾在裡面的 他不僅僅會有一份的說明書 那這個說明書其實就會是好像 Home一樣也是一段文字 但是呢在這個Skill的資料夾裡面 就會有其他一些參考的資料 讓AI agent知道他做出來的一個效果 應該是跟你這些給他的一些參考資料 要是差不多的一個品質的 還有會有一些的找本 是告訴AI Agent 當他接觸到 比如說是A這個情況的時候 就需要用到A這個找本 B這個情況就需要用到B這個找本 而且我們在使用Skill的時候呢 正常來說AI他就會自動的去判斷 什麼樣的情況他會觸發到這個Skill 所以我們不需要很刻意的告訴AI Agent 我需要用什麼什麼樣的Skill 不需要這樣子 而是我們可以直接給到一個任務 給到AI Agent 然後AI Agent他會自動的去判斷 他應該用到哪個Skill的 所以當我們弄好一個Skill之後呢 他就可以不斷的重複幫我們去處理 同一個類型的任務了 比如說你每天或者是每週 都有一個差不多的任務是需要做的 那我們就可以把整個過程打包成為一個Skill 讓AI每天幫我們去做了 它每一步都會根據我們定的一個規則去行動 所以當我們用了Skill之後 AI做出來的成品就會更加一致性了 就會更加的規模化了 如果我們沒有用Skill的話 有可能AI做出來的東西 它做出來的成品 每一次做出來的樣子都是不一樣的 如果它每一次做出來的樣子都是不一樣的話呢 我們就很難在公司裡面去使用了 但是我們用了Skill之後 可以把我們公司的那一套的規則 又或者是規矩交給AI Agent 就變成了AI Agent 他做出来的成品 是真正可以放在你们公司上面可以使用 当大家理解了skill是什么之后呢 我们接下来再来说一下 我们可以去什么地方找到这些skill 最简单的方法呢 其实就是直接让AI 去GitHub上面帮我们去查一下 有没有一些可以帮我们解决这个需求的一些的skill 好像我这个例子 我就跟AI说 我想要处理的事情就是 我想要一个可以记录学生层次表现 还有他们的行为的记录分析的一个工具 所以就讓他幫我上網去查一下 有沒有一些成品的Skill 可以做到這件事情 那當他幫我找到這個Skill之後呢 就不要馬上幫我安裝 我需要先知道 這個Skill裡面是包括了什麼樣的東西 使他可以幫我們做到什麼樣的效果 適合什麼情況 又或者是不適合什麼情況去使用的 我就要一個非常詳細的一個報告 所以呢 我就讓AI Agent上網去幫我們去查一下 之後呢 他就會直接幫我們去上網 特別就是針對GekHub上面 因為在GekHub上面有非常多 免費的一些開源的工具 或者是skill 我們就可以參考一下 然後好像這一個 AI它就會幫我們查到 Anthroby官方 它就會在GekHub上面 他就會在Github上面 就會有這一個skill 那當AI幫我們找到了一些skill之後 我們就可以自己點進去 Github的網站上面 去看一下到底這個項目 他的星星的數量是多少的 那這個星星的數量代表什麼呢 就是代表這一個項目的熱門的程度 越多星星的話就代表它是越受歡迎的 另外呢我們也是要看一下這一個 Last Week 它在這邊呢就會顯示一下 它之前更新的時間是多久之前 那如果這一個項目 它可能是半年或者是一年之前弄出來的 那我們就可能選擇其他比較新的一些的項目 之後呢我們可以再看一下這個 Week Meet 就是這個Skill的一個說明書 那如果你對這些Skill 又或者是這些內容不太了解的話呢 我們其實也可以回到你的AI Agent上面 我們可以讓他針對他幫我們研究到的某一個Skill 你可以跟他說再給你一份更加具體更加詳細的一個研究報告 那在他這邊他首先給過的就是一個清淡而已 那如果你看了之後 有一些Skill你是有興趣的 你想要進一步了解的 你就可以直接跟他說你想要進一步了解什麼樣的Skill 讓他再幫你去做一個進一步的演奏 這個也完全沒有問題 那我們就可以通過這個方法很方便很簡單的 就可以讓AI agent找到一些符合我們需求的Skill 但是當大家找到了這些Skill之後呢 不要新奇不要馬上的去安裝這些Skill 因為其實Skill不僅僅只是一個文字來的 它是有可能在這個Skill裡面 可能會隱藏了一些有惡意的一些指令的 所以當我們找到一些可能覺得合用的一些skills之後呢 我們在安裝之前可以讓AI agent信頒我們 仔細的針對這些skills 看一下以下這五件事情 就是我們需要了解一下這個skills會碰我哪些的答案 會不會自動的把我上去中置呢 會不會把我的資料傳到其他的地方呢 裡面會不會有一些我看不到的一些執行的指令 又或者其實他會幫我偷偷的安裝這些的套件 又或者會不會跟功能官專門寫給AI看的一些隱藏的指令 他會不會讀我的API IQ或者是環境變數呢 其實的問題我們都需要先讓AI Agent幫我們了解清楚 之後我們再去安裝 那我們安裝的方法其實也非常的簡單 就只是在AI Agent裡面跟他說一句 幫我安裝這個Skill AI Agent就會自動幫你安裝了 當我們安裝好了一個Skill之後呢 我們就可以運作這個Skill 試試看它可不可以成功的運作 又或者我們可以看一下 檢查一下 用了這個Skill弄出來的成品 是不是符合我們期望的 之後呢就來到這一條影片最重要的一步了 就是怎麼樣可以把其他人的Skill 變成你自己的Skill 為什麼要這樣子做呢 大家可以想像一下 其實我們在Gateoff上面 下角下來其他人的Skill 就好像一台新的手機 那你買了一台新手機回去之後 肯定很多東西都是他們原廠的東西 你可能需要修改一下你的封面 然後下載一下新的APP 又或者是把一些帳戶都需要登入進去 把整台手機變成你自己的手機 那我們在使用Skill的情況其實也是一樣的 我們可以想像成為剛剛下載的其他弄好的Skill 其實都是一些原廠的Skill 它不會對你的行為 不會對你自己的個人的數據 又或者你的情況有任何的了解 所以我們接下來呢 就需要把你自己的情況 你的資料 給到 AI Agent 讓他寫在這個 SKILL 裡面 之後呢這個 SKILL 出來的東西 就會更加符合你自己的需求 就變成了一個 屬於你自己 定制化的 SKILL 呢 這樣子用起來的時候呢 就會更加的方便有效率了 所以我們把這個 SKILL 安裝好之後呢 可以讓 AI Agent 先運作這個 SKILL 一遍 之後呢 我們再來看一下 他做出來的效果如何 如果有問題的話呢 我們可以再跟AI Agent講清楚這幾件事情 比如說你想要AI Agent 通過這個Skill做出來的作品 成果應該是長什麼樣子的 也要非常具體的告訴他 而且你要告訴AI Agent 你弄好了這個成果之後 你要拿去做什麼的 或者說有沒有一些限制的 還有這一份文件是給誰看的 那除了剛剛跟AI文字上的溝通之外呢 還有一個更加好的做法就是 給一個參考物給到AI agent 因為我們跟AI說 或者是跟AI溝通的時候呢 可能很有可能很多人都會用一個好的這個字 去跟AI去溝通的 但是你自己心裡面覺得好的定義 跟AI覺得好的定義很有可能是不一樣的 可能你覺得好的意思就是 面板需要再乾淨一點 至少一點 需要增加更加多的圖片 但是AI就可能會覺得 好一點的意思就是 內容要更加豐富一點 所以它就會更加多的文字了 所以我們需要用一個實物 去告訴AI 怎麼樣是好的 我們可以把我們之前做好的一些成品 直接上傳給到AI 因為這一份成品是你之前已經做好 你覺得好的東西 所以這個就是你的標準了 又或者我們可以把其他人 你覺得好的一些例子 也可以上傳給到AI 除了一些你覺得好 又或者你已經做好的成品之外呢 我們也可以給到AI一些的反例 我們可以直接上傳 然後跟AI說 這一個就是我不想要的樣子 你可以讓AI從一些反面的造財裡面 也可以學習到你想要的風格如何 那我們除了丟這些的參考物給到AI之外呢 我們也需要告訴AI 希望AI可以從這個參考物裡面 學習到什麼樣的東西 比如說是學習到它的結構嗎 還是語氣還是排版 除非你是想要所有东西都是让AI学习好的 要不然的话呢 你就需要非常具体的告诉AI 需要学的东西是什么 那如果你完全没有一些参考物给到他怎么办呢 也没有关系 我们可以让AI先给我们弄几个不同的版本 之后你再从一个你觉得比较好的一个版本里面去选择一个 之后呢 再把每一个不满意的地方 很具体的跟AI说 哪个地方是不好的 怎么说呢 我們需要跟AI說 這個位置、方向還有程度 比如說你可以跟他說 第幾段太長了 需要壓到幾句以內 重點是把 重点是把握什么什么样的地方 那如果一个不好的一个沟通 又或者是一个不好的一个例子 就是跟AI说再好一点 这个感觉不太好 你自己再去想象 如果我们是这样子 跟AI说话的话呢 才有可能他改個四五遍給我們 都做不到我們想要的一個效果 那根據我們剛剛的那個方法去變AI溝通之後呢 我們就可以讓AI再幫我們去弄一個成品出來 就不斷重複這個過程 AI弄好的一個成品給我們 我們就跟他說問題在哪 之後AI就會再去改善 如果我們看到了問題之後 再讓AI改 就一直重複這個步驟 但AI他真正可以弄到一份 我們覺得OK沒有問題的一個成品之後呢 我們就可以跟AI說 根據我們剛才說的討論的修正 優化好這個Skill 之後呢 AI他就會直接把你剛剛下載的那個Skill改良好了 他就會根據你們對話的這個紀錄 然後就看一下有什麼需要低字化的地方 把這個Skill變成屬於你自己的Skill 所以我們想要用好AI
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)
處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)
耗時:1071.2 秒
關係:依序執行
結果:完成
2. 全文快速校讀
工具:videonote_rapid_transcript_review.py
處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目
產出:rapid_transcript_review_report.json(產出檔案)
耗時:48.9 秒
關係:依序執行
結果:完成
3. 建立句子單元
工具:videonote-build-sentence-units
處理:將逐字稿切成帶時間軸的句子單元
產出:sentence_units.json(句子單元)
耗時:0.9 秒
關係:依序執行
結果:完成
4. 句子密度平衡
工具:videonote_balance_sentence_units.py
處理:平衡句子長度與密度
產出:sentence_units.json(句子單元)
耗時:1.0 秒
關係:依序執行
結果:完成
5. 時間軸稽核
工具:videonote_timeline_audit.py
處理:檢查時間軸與音訊對齊
產出:timeline_audit_report.json(時間軸稽核)
耗時:1.0 秒
關係:依序執行
結果:完成
6. 品質檢查
工具:videonote_controlled_quality.py(檢查時間軸與品質)
處理:檢查語言、時間軸與可讀性品質
產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)
耗時:1.0 秒
關係:依序執行
結果:完成
7. 播放時間軸回填
工具:videonote_rebase_display_timeline.py
處理:將網頁播放時間軸回填為校正字幕時間
產出:display_timeline_rebase_report.json(時間軸回填報告)
耗時:0.1 秒
關係:依序執行
結果:完成
8. 逐字稿交叉檢查
工具:videonote_cross_check_transcript.py
處理:交叉檢查逐字稿與來源字幕
產出:transcript_crosscheck_report.json(交叉檢查)
耗時:0.1 秒
關係:依序執行
結果:完成
9. 來源句整理
工具:videonote_prepare_source_entries.py
處理:整理來源句子供時間軸與頁面使用
產出:sentence_units.json(句子單元)
耗時:0.1 秒
關係:依序執行
結果:完成
10. 生成筆記摘要
工具:videonote-generate-note(生成筆記摘要)
處理:生成筆記摘要與重點
產出:note.md(筆記 Markdown)、note.html(筆記 HTML)
耗時:104.1 秒
關係:依序執行
結果:完成
11. 建立筆記頁面
工具:videonote-render-html(產生筆記 HTML)
處理:產生可閱讀的筆記 HTML 頁面
產出:note.html(筆記 HTML)
耗時:0.2 秒
關係:依序執行
結果:完成
12. 發布公開頁面
工具:videonote-publish(發布公開頁面)
處理:發布到公開網站與每日列表
產出:公開筆記網址、result.json(管線結果)
耗時:0.3 秒
關係:依序執行
結果:完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據(PyAnnote / WhisperX)
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。;RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成,需確認 qwen_asr_lab 環境與音訊後重試精進模式。