工作清單

AI Agent 時代第一件要學的事:Skill 入門|怎麼找、怎麼裝、怎麼改成你自己的

逐字稿文字預覽

最近很多AI大公司
他們都推出了他們新的AI agent工具
好像是XAI就推出了GraphBolt
Google就出了GMI Spark
那一些傳統的AI大公司就好像OpenAI
他們一直都用Codex
那Enthropec的話就有Codecode
而且他們推出的AI agent工具都越來越簡單
不像是我們一開始的時候
去使用Code又或者是Codex那樣子
能不能拿上手了
所以我們在這個AI agent的時代裡面
我覺得大家首先需要了解
又或者是學會的一件事情就是
Skill
但是如果大家連AIA券都不知道是什麼的話呢
我在這邊也非常快的先跟大家介紹一下什麼是AIA券
簡單來說呢我們平時使用的那些Gemina或者是TrackGPT
那些就是一個普通的代語言模型
他們是不能夠直接幫我們去做事情的
充其讓他就是一個比較聰明一點的Google
所以我們在使用TrackGPT 優惡者是Gemina的時候
還是停留在一個疑問一答的一個情況裡面
但是如果我們是使用AIA券
他就可以幫我們直接做好一件事情
比如說我跟AI Agent招待了一件事情
跟他做好了我的目標
他就可以直接幫我們去做好
他也可以操作我們的電腦
看我們電腦裡面的檔案
根據這些檔案的資料
直接幫我們去做事情
如果他遇到不會不懂的事情
他也可以直接上網去查
查好了之後
再去幫我們去做
所以最後我們只需要檢查一下
AI Agent他幫我們做出來的成果
成品好不好就可以了
這一個就是我們使用一般的大語言
模型還有AI Agent最大的一個區別
那我們在使用AI Agent的時候
我們必須要學會一件事情就是Skill
比如這個例子
我想讓AI Agent自己去搜尋一下
最近十幾天的一個新聞
之後就根據他搜尋到的這些新聞
配合我想要的題目的架構
來幫我做一批新的題目
給學生們他們去做練習
那我在這整個過程當中
我就只是很簡單的跟他說
運行了這個Skill
之後他就會幫我做好題目還有答案
然後還幫我把所有的東西
整理放好了在GlueDrop上面
那我们在GlueDrop上面就可以看到
他究竟是用了哪些的行为
然后他是参考了我
放在GlueDrop上面里面的资料
来模拟这些题目的架构
又或者是字体的一个风格的
之后AI就会帮我做好了不同的选择题
还有相关题目的一些的答案
还有评分的参考
那我弄这一整份
练习院的一个过程当中
其实我就只是简单的跟他说了
运行这个skill
其他什么东西都没有
他就可以做好一份
这么好的一个答案给我们了
那这个就是使用了skill
还有没有使用skill的一个区别
如果我们没有使用skill的话呢
我们可能需要一开始的时候
先给到一个指令给到AI
就是让他帮我上网
去查一下最新的一个新闻
查好了这些新闻之后呢
我们还需要自己检查这些新闻
合不合适
当我们筛选好了这些新闻之后呢
我还要告诉AI
你就参考之前我上传给他的
那个题目的风格
帮我再根据刚刚的新闻创建一批新的题目
当它做好了题目之后呢
我还要自己把这些题目复制贴上
放到Google Doc上面
中间很多都需要我们手动的
去把AI给我们的成品
自己去串联在一起
但是如果我们是用了Skill的话呢
每一个步骤我们都可以很清楚的
告诉AI到底什么的新闻是适合用来做题目的
也些是不适合的
我们已经可以把这个筛选的一个指标
事先给到AI agent
他就可以自己通過這些的新聞
然後自己去做上一個步驟了
所以每一個步驟
AI都可以根據我們事件
給到他的規則準則
自己去做好
我們只需要做最後的
驗獸的這個步驟就可以了
那根據這個模式
其實不僅僅是
好像我剛剛那個例子
你也可以讓AI上網
去查各種你需要的資料
然後根據你公司優惠者是
你想要的一個需求規則
去篩選分析
然後讓AI自己去檢查一下
他弄出來的成品
的效果是好或者是不好
弄好了之後再把這些資料儲存在你想要的地方
又或者可以讓AI
再去發一個郵件通知給其他的部門
又或者是發給其他公司通通都沒有問題
那大家基本理解了什麼是SKILL之後呢?
接下來我們今天這一條影片
就會跟著具體的跟大家解釋一下
到底SKILL是什麼
它跟Prom就是
之前我們常使用的提示詞
差別是在哪裡
應該怎麼樣去找
怎麼樣去安裝
還有需要注意的一些事項
怎麽樣可以把其他人的Skill變成我們自己的Skill
其實我們之前用的這些提示詞就是Prom還有Skill
他們的差別是在哪裏呢
我覺得Skill其實就是一個進階版進化版的一個Prom
所有Prom有的東西Skill它都會有
比如這個資料夾裡面就是我用來分析YouTube影片的Skill
大家可以看它其實它當中是包括了非常多各種不同的東西的
但當中最重要的話就是這個Skill.MD
就是一個給AI agent他看的一個說明書
讓AI agent知道什麼情況他應該怎麼樣去處理
所以一個Skill呢
其實他是有一整個資料夾在裡面的
他不僅僅會有一份的說明書
那這個說明書其實就會是好像
Home一樣也是一段文字
但是呢在這個Skill的資料夾裡面
就會有其他一些參考的資料
讓AI agent知道他做出來的一個效果
應該是跟你這些給他的一些參考資料
要是差不多的一個品質的
還有會有一些的找本
是告訴AI Agent
當他接觸到
比如說是A這個情況的時候
就需要用到A這個找本
B這個情況就需要用到B這個找本
而且我們在使用Skill的時候呢
正常來說AI他就會自動的去判斷
什麼樣的情況他會觸發到這個Skill
所以我們不需要很刻意的告訴AI Agent
我需要用什麼什麼樣的Skill
不需要這樣子
而是我們可以直接給到一個任務
給到AI Agent
然後AI Agent他會自動的去判斷
他應該用到哪個Skill的
所以當我們弄好一個Skill之後呢
他就可以不斷的重複幫我們去處理
同一個類型的任務了
比如說你每天或者是每週
都有一個差不多的任務是需要做的
那我們就可以把整個過程打包成為一個Skill
讓AI每天幫我們去做了
它每一步都會根據我們定的一個規則去行動
所以當我們用了Skill之後
AI做出來的成品就會更加一致性了
就會更加的規模化了
如果我們沒有用Skill的話
有可能AI做出來的東西
它做出來的成品
每一次做出來的樣子都是不一樣的
如果它每一次做出來的樣子都是不一樣的話呢
我們就很難在公司裡面去使用了
但是我們用了Skill之後
可以把我們公司的那一套的規則
又或者是規矩交給AI Agent
就變成了AI Agent
他做出来的成品
是真正可以放在你们公司上面可以使用
当大家理解了skill是什么之后呢
我们接下来再来说一下
我们可以去什么地方找到这些skill
最简单的方法呢
其实就是直接让AI
去GitHub上面帮我们去查一下
有没有一些可以帮我们解决这个需求的一些的skill
好像我这个例子
我就跟AI说
我想要处理的事情就是
我想要一个可以记录学生层次表现
还有他们的行为的记录分析的一个工具
所以就讓他幫我上網去查一下
有沒有一些成品的Skill
可以做到這件事情
那當他幫我找到這個Skill之後呢
就不要馬上幫我安裝
我需要先知道
這個Skill裡面是包括了什麼樣的東西
使他可以幫我們做到什麼樣的效果
適合什麼情況
又或者是不適合什麼情況去使用的
我就要一個非常詳細的一個報告
所以呢
我就讓AI Agent上網去幫我們去查一下
之後呢
他就會直接幫我們去上網
特別就是針對GekHub上面
因為在GekHub上面有非常多
免費的一些開源的工具
或者是skill
我們就可以參考一下
然後好像這一個
AI它就會幫我們查到
Anthroby官方
它就會在GekHub上面
他就會在Github上面
就會有這一個skill
那當AI幫我們找到了一些skill之後
我們就可以自己點進去
Github的網站上面
去看一下到底這個項目
他的星星的數量是多少的
那這個星星的數量代表什麼呢
就是代表這一個項目的熱門的程度
越多星星的話就代表它是越受歡迎的
另外呢我們也是要看一下這一個
Last Week 它在這邊呢就會顯示一下
它之前更新的時間是多久之前
那如果這一個項目
它可能是半年或者是一年之前弄出來的
那我們就可能選擇其他比較新的一些的項目
之後呢我們可以再看一下這個 Week Meet
就是這個Skill的一個說明書
那如果你對這些Skill
又或者是這些內容不太了解的話呢
我們其實也可以回到你的AI Agent上面
我們可以讓他針對他幫我們研究到的某一個Skill
你可以跟他說再給你一份更加具體更加詳細的一個研究報告
那在他這邊他首先給過的就是一個清淡而已
那如果你看了之後
有一些Skill你是有興趣的
你想要進一步了解的
你就可以直接跟他說你想要進一步了解什麼樣的Skill
讓他再幫你去做一個進一步的演奏
這個也完全沒有問題
那我們就可以通過這個方法很方便很簡單的
就可以讓AI agent找到一些符合我們需求的Skill
但是當大家找到了這些Skill之後呢
不要新奇不要馬上的去安裝這些Skill
因為其實Skill不僅僅只是一個文字來的
它是有可能在這個Skill裡面
可能會隱藏了一些有惡意的一些指令的
所以當我們找到一些可能覺得合用的一些skills之後呢
我們在安裝之前可以讓AI agent信頒我們
仔細的針對這些skills
看一下以下這五件事情
就是我們需要了解一下這個skills會碰我哪些的答案
會不會自動的把我上去中置呢
會不會把我的資料傳到其他的地方呢
裡面會不會有一些我看不到的一些執行的指令
又或者其實他會幫我偷偷的安裝這些的套件
又或者會不會跟功能官專門寫給AI看的一些隱藏的指令
他會不會讀我的API IQ或者是環境變數呢
其實的問題我們都需要先讓AI Agent幫我們了解清楚
之後我們再去安裝
那我們安裝的方法其實也非常的簡單
就只是在AI Agent裡面跟他說一句
幫我安裝這個Skill
AI Agent就會自動幫你安裝了
當我們安裝好了一個Skill之後呢
我們就可以運作這個Skill
試試看它可不可以成功的運作
又或者我們可以看一下
檢查一下
用了這個Skill弄出來的成品
是不是符合我們期望的
之後呢就來到這一條影片最重要的一步了
就是怎麼樣可以把其他人的Skill
變成你自己的Skill
為什麼要這樣子做呢
大家可以想像一下
其實我們在Gateoff上面
下角下來其他人的Skill
就好像一台新的手機
那你買了一台新手機回去之後
肯定很多東西都是他們原廠的東西
你可能需要修改一下你的封面
然後下載一下新的APP
又或者是把一些帳戶都需要登入進去
把整台手機變成你自己的手機
那我們在使用Skill的情況其實也是一樣的
我們可以想像成為剛剛下載的其他弄好的Skill
其實都是一些原廠的Skill
它不會對你的行為
不會對你自己的個人的數據
又或者你的情況有任何的了解
所以我們接下來呢
就需要把你自己的情況
你的資料
給到 AI Agent
讓他寫在這個 SKILL 裡面
之後呢這個 SKILL
出來的東西
就會更加符合你自己的需求
就變成了一個
屬於你自己
定制化的 SKILL 呢
這樣子用起來的時候呢
就會更加的方便有效率了
所以我們把這個 SKILL 安裝好之後呢
可以讓 AI Agent
先運作這個 SKILL 一遍
之後呢
我們再來看一下
他做出來的效果如何
如果有問題的話呢
我們可以再跟AI Agent講清楚這幾件事情
比如說你想要AI Agent
通過這個Skill做出來的作品
成果應該是長什麼樣子的
也要非常具體的告訴他
而且你要告訴AI Agent
你弄好了這個成果之後
你要拿去做什麼的
或者說有沒有一些限制的
還有這一份文件是給誰看的
那除了剛剛跟AI文字上的溝通之外呢
還有一個更加好的做法就是
給一個參考物給到AI agent
因為我們跟AI說
或者是跟AI溝通的時候呢
可能很有可能很多人都會用一個好的這個字
去跟AI去溝通的
但是你自己心裡面覺得好的定義
跟AI覺得好的定義很有可能是不一樣的
可能你覺得好的意思就是
面板需要再乾淨一點
至少一點
需要增加更加多的圖片
但是AI就可能會覺得
好一點的意思就是
內容要更加豐富一點
所以它就會更加多的文字了
所以我們需要用一個實物
去告訴AI
怎麼樣是好的
我們可以把我們之前做好的一些成品
直接上傳給到AI
因為這一份成品是你之前已經做好
你覺得好的東西
所以這個就是你的標準了
又或者我們可以把其他人
你覺得好的一些例子
也可以上傳給到AI
除了一些你覺得好
又或者你已經做好的成品之外呢
我們也可以給到AI一些的反例
我們可以直接上傳
然後跟AI說
這一個就是我不想要的樣子
你可以讓AI從一些反面的造財裡面
也可以學習到你想要的風格如何
那我們除了丟這些的參考物給到AI之外呢
我們也需要告訴AI
希望AI可以從這個參考物裡面
學習到什麼樣的東西
比如說是學習到它的結構嗎
還是語氣還是排版
除非你是想要所有东西都是让AI学习好的
要不然的话呢
你就需要非常具体的告诉AI
需要学的东西是什么
那如果你完全没有一些参考物给到他怎么办呢
也没有关系
我们可以让AI先给我们弄几个不同的版本
之后你再从一个你觉得比较好的一个版本里面去选择一个
之后呢
再把每一个不满意的地方
很具体的跟AI说
哪个地方是不好的
怎么说呢
我們需要跟AI說
這個位置、方向還有程度
比如說你可以跟他說
第幾段太長了
需要壓到幾句以內
重點是把
重点是把握什么什么样的地方
那如果一个不好的一个沟通
又或者是一个不好的一个例子
就是跟AI说再好一点
这个感觉不太好
你自己再去想象
如果我们是这样子
跟AI说话的话呢
才有可能他改個四五遍給我們
都做不到我們想要的一個效果
那根據我們剛剛的那個方法去變AI溝通之後呢
我們就可以讓AI再幫我們去弄一個成品出來
就不斷重複這個過程
AI弄好的一個成品給我們
我們就跟他說問題在哪
之後AI就會再去改善
如果我們看到了問題之後
再讓AI改
就一直重複這個步驟
但AI他真正可以弄到一份
我們覺得OK沒有問題的一個成品之後呢
我們就可以跟AI說
根據我們剛才說的討論的修正
優化好這個Skill
之後呢
AI他就會直接把你剛剛下載的那個Skill改良好了
他就會根據你們對話的這個紀錄
然後就看一下有什麼需要低字化的地方
把這個Skill變成屬於你自己的Skill
所以我們想要用好AI

來源:transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令:videonote https://youtu.be/YoD4lsBuPes?si=0vIq2wMw_kvJkMEn --language zh

    來源:https://youtu.be/YoD4lsBuPes?si=0vIq2wMw_kvJkMEn

    辨識語言:zh | 參數:--language zh

  2. 預期流程

    依指令產生的處理順序:

    1. 下載與語音辨識
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布
  3. 1. 下載與語音辨識

    工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)

    處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)

    耗時:1071.2 秒

    關係:依序執行

    結果:完成

  4. 2. 全文快速校讀

    工具:videonote_rapid_transcript_review.py

    處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目

    產出:rapid_transcript_review_report.json(產出檔案)

    耗時:48.9 秒

    關係:依序執行

    結果:完成

  5. 3. 建立句子單元

    工具:videonote-build-sentence-units

    處理:將逐字稿切成帶時間軸的句子單元

    產出:sentence_units.json(句子單元)

    耗時:0.9 秒

    關係:依序執行

    結果:完成

  6. 4. 句子密度平衡

    工具:videonote_balance_sentence_units.py

    處理:平衡句子長度與密度

    產出:sentence_units.json(句子單元)

    耗時:1.0 秒

    關係:依序執行

    結果:完成

  7. 5. 時間軸稽核

    工具:videonote_timeline_audit.py

    處理:檢查時間軸與音訊對齊

    產出:timeline_audit_report.json(時間軸稽核)

    耗時:1.0 秒

    關係:依序執行

    結果:完成

  8. 6. 品質檢查

    工具:videonote_controlled_quality.py(檢查時間軸與品質)

    處理:檢查語言、時間軸與可讀性品質

    產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)

    耗時:1.0 秒

    關係:依序執行

    結果:完成

  9. 7. 播放時間軸回填

    工具:videonote_rebase_display_timeline.py

    處理:將網頁播放時間軸回填為校正字幕時間

    產出:display_timeline_rebase_report.json(時間軸回填報告)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  10. 8. 逐字稿交叉檢查

    工具:videonote_cross_check_transcript.py

    處理:交叉檢查逐字稿與來源字幕

    產出:transcript_crosscheck_report.json(交叉檢查)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  11. 9. 來源句整理

    工具:videonote_prepare_source_entries.py

    處理:整理來源句子供時間軸與頁面使用

    產出:sentence_units.json(句子單元)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  12. 10. 生成筆記摘要

    工具:videonote-generate-note(生成筆記摘要)

    處理:生成筆記摘要與重點

    產出:note.md(筆記 Markdown)、note.html(筆記 HTML)

    耗時:104.1 秒

    關係:依序執行

    結果:完成

  13. 11. 建立筆記頁面

    工具:videonote-render-html(產生筆記 HTML)

    處理:產生可閱讀的筆記 HTML 頁面

    產出:note.html(筆記 HTML)

    耗時:0.2 秒

    關係:依序執行

    結果:完成

  14. 12. 發布公開頁面

    工具:videonote-publish(發布公開頁面)

    處理:發布到公開網站與每日列表

    產出:公開筆記網址、result.json(管線結果)

    耗時:0.3 秒

    關係:依序執行

    結果:完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據(PyAnnote / WhisperX)

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT,重新產生雙語與學習單元。
開啟 Workbench