工作清單

如何让AI自动操控浏览器,告别重复枯燥工作?丨又快又省token丨文科生学AI

逐字稿文字預覽

哇,驚呆了,我的電腦正在自己操作瀏覽器,幫我點擊按鈕。
那最近我不是用作為表格做了一個自媒體內容靈感庫嗎?
它可以把筆記的數據和文案全部都解析出來。
不過這個過程都需要手動點擊插件。
所以我就研究出了一個方法,讓AI幫我操作網頁,自動點擊按鈕。
只要把它掛在後台,它就能自動解析對標筆記,省掉了大量人工操作的時間。
那今天這條視頻我就分享一下我是如何操作的。
那首先,打開Chatbox,切換到工作模式。
那這樣它就不僅僅是一個回答問題的聊天工具了,而是一個可以幫你幹活的小助手。
然後再把這裡的默認模型改為GPT-4o。
因為像自動操作瀏覽器這類比較複雜的任務,我建議還是選一些更聰明的模型。
但是像Codex和Cloud Code,在國內使用都是需要魔法的,比較折騰。
不過在Chatbox裡你就不需要魔法,還能兩個切換著使用。
我覺得對新手而言還是非常方便的。
那簡單配置好之後,你就可以跟他說。
先有Playwright把我的操作記錄下來,然後剷出一個腳本,每天都幫我執行。
然後網站是blahblahblah。
那這裡放的就是你需要它自動幫你操作的網頁。
所以這裡我就寫的是我的媒體內容靈感部的地址。
重點來了,在後面你還要再加上一句話。
你有什麼需要向我問的問題嗎?
我確認方案後再開始執行。
你可千萬不要小看這一句話。
加上之後它會幫你省掉很多的麻煩。
如果有什麼問題的話,大模型可能連你的需求都沒有搞清楚。
然後就開始框框幹活。
最後給你一堆你不想要的東西。
那時間和token不就白白浪費了嗎?
有了這句話之後,它會先反問我幾個問題。
搞清楚我到底要什麼?
然後我逐一確認完畢之後,它才會開始執行。
首先它會檢測你是否安裝過Playwright。
如果你之前沒有裝過,它會幫你安裝。
因為我已經裝過了,所以就跳過了這個步驟。
然後你就會發現它彈出了一個瀏覽器。
那這個是幹嘛的呢?
Playwright它原本是程序員用來做測試的。
它有一個我特別喜歡的功能。
就是你在這個盤子的瀏覽器裡所有的操作,
不管你點擊了什麼,輸入了什麼,
它都會把背後的代碼直接錄製下來。
那這樣大模型就可以基於錄製的結果,
幫你剷出這個自動化腳本。
而且寫得又快又準。
但如果你是直接口噴需求,沒有這段錄製的代碼,
那它就要自己去猜,然後去測試。
不僅會浪費很多的時間,還會燒掉非常多的Token。
不要問我是怎麼知道的。
所以這個瀏覽器就是讓你人工操作一遍,
記錄代碼用的。
那現在呢,我以開頭說的插件操作為例,
在這裡演示一下。
那首先我會打開射媒筆記提取這個插件,
點擊簽到。
然後我在左邊篩選出代解析的筆記,
也就是內容為空的記錄,一鍵全選。
然後再回到右邊的插件裡,
點擊選中的筆記,往下滑。
然後最後點一下提交解析的按鈕,就OK了。
我們再回到Playwright可以看到,
我剛剛所有的操作都以代碼的形式被記錄了下來。
接下來我們就回到Chatbox,跟他說,操作完成,
他就會讀取剛剛錄製好的代碼,
纏出一個能自動執行的腳本。
那整個過程是不需要你寫一行代碼的,
你唯一要做的就是給大模型開選線,然後等待。
OK,那現在他已經寫好了,
我們可以測試一下,直接跟他說,
先打開窗口,自動執行一下看看。
不過測試之後呢,我發現啊,他漏掉了一個步驟,
那我就直接在對話框裡給他反饋,
然後他就自動幫我修復好了。
那根據我個人的經驗,
你這樣改個一到兩回,這個腳本就差不多完成了。
但是,這裡有一個需要大家注意的地方,
就是一定要強調,讓他在每個操作之間,
隨機的增加幾秒鐘的等待時間。
那這個步驟非常重要。
為什麼呢?
那他是為了防止你操作過快被識別為機器人,
從而幫你降低風險。
好,那以上就是如何讓他操作瀏覽器的案例演示了。
是不是很簡單,很傻瓜。
那如果你有些重複性的網頁操作,
比如填表,你都可以嘗試用這種方式,
先手動的操作一遍,錄製好代碼,
然後再讓他幫你寫自動化腳本。
那最後呢,我還是想要提醒一下,
一定要記得這三個主意是下,
第一個,你要用Agent,
可以選擇Chatbox的工作模式,
可以選擇Chatbox的工作模式,搭配GPT或者Claude,新模型。
第二,你要先跟大模型去確認方案,
再去執行,而不是一上來,
就讓他去幫你干活。
這樣會幫你節約很多的Token和時間。
第三,也是我們剛剛說的,
在自動化腳本裡,
一定要讓他加上隨機等待的時間,
降低被封控的風險。
那這個過程是不是很簡單呢?
你學會了嗎?
快去試試看吧!

來源:transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令:videonote https://www.youtube.com/watch?v=MPMP70IHJhw --language zh

    來源:https://www.youtube.com/watch?v=MPMP70IHJhw

    辨識語言:zh | 參數:--language zh

  2. 預期流程

    依指令產生的處理順序:

    1. 下載與語音辨識
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布
  3. 1. 下載與語音辨識

    工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)

    處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)

    耗時:17.2 秒

    關係:依序執行

    結果:完成

  4. 2. 全文快速校讀

    工具:videonote_rapid_transcript_review.py

    處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目

    產出:rapid_transcript_review_report.json(產出檔案)

    耗時:33.4 秒

    關係:依序執行

    結果:完成

  5. 3. 建立句子單元

    工具:videonote-build-sentence-units

    處理:將逐字稿切成帶時間軸的句子單元

    產出:sentence_units.json(句子單元)

    耗時:0.5 秒

    關係:依序執行

    結果:完成

  6. 4. 句子密度平衡

    工具:videonote_balance_sentence_units.py

    處理:平衡句子長度與密度

    產出:sentence_units.json(句子單元)

    耗時:0.5 秒

    關係:依序執行

    結果:完成

  7. 5. 時間軸稽核

    工具:videonote_timeline_audit.py

    處理:檢查時間軸與音訊對齊

    產出:timeline_audit_report.json(時間軸稽核)

    耗時:0.5 秒

    關係:依序執行

    結果:完成

  8. 6. 品質檢查

    工具:videonote_controlled_quality.py(檢查時間軸與品質)

    處理:檢查語言、時間軸與可讀性品質

    產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)

    耗時:0.5 秒

    關係:依序執行

    結果:完成

  9. 7. 播放時間軸回填

    工具:videonote_rebase_display_timeline.py

    處理:將網頁播放時間軸回填為校正字幕時間

    產出:display_timeline_rebase_report.json(時間軸回填報告)

    耗時:0.6 秒

    關係:依序執行

    結果:完成

  10. 8. 逐字稿交叉檢查

    工具:videonote_cross_check_transcript.py

    處理:交叉檢查逐字稿與來源字幕

    產出:transcript_crosscheck_report.json(交叉檢查)

    耗時:0.6 秒

    關係:依序執行

    結果:完成

  11. 9. 來源句整理

    工具:videonote_prepare_source_entries.py

    處理:整理來源句子供時間軸與頁面使用

    產出:sentence_units.json(句子單元)

    耗時:0.6 秒

    關係:依序執行

    結果:完成

  12. 10. 生成筆記摘要

    工具:videonote-generate-note(生成筆記摘要)

    處理:生成筆記摘要與重點

    產出:note.md(筆記 Markdown)、note.html(筆記 HTML)

    耗時:67.0 秒

    關係:依序執行

    結果:完成

  13. 11. 建立筆記頁面

    工具:videonote-render-html(產生筆記 HTML)

    處理:產生可閱讀的筆記 HTML 頁面

    產出:note.html(筆記 HTML)

    耗時:1.1 秒

    關係:依序執行

    結果:完成

  14. 12. 發布公開頁面

    工具:videonote-publish(發布公開頁面)

    處理:發布到公開網站與每日列表

    產出:公開筆記網址、result.json(管線結果)

    耗時:0.2 秒

    關係:依序執行

    結果:完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據(PyAnnote / WhisperX)

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT,重新產生雙語與學習單元。
開啟 Workbench