工作清單

一張截圖變成可跑原型?screenshot-to-code 開源工具拆解|Github雷達

逐字稿文字預覽

你有沒有遇過這種情況
設計稿看起來很清楚
但真的要把它切成可以跑的網頁
又是另一件事
screenshot-to-code
想解的就是把一張截圖變成可以跑的
網頁原型
真正痛的是時間
Demo前一天要補頁面
舊系統要重做UI
設計師想看互動版本
工程師卻還卡在第一版切版
這種時候
先有一個可改的原型
比從空白檔案開始好很多
screenshot-to-code
的定位很直白
你丟截圖
mockup Figma設計稿
甚至螢幕錄影
它嘗試輸出前端程式
它支援HTML
Tailwind
React
Vue也支援Bootstrap和
Ionic這類常見stack
流程大概是先看畫面
判斷版面
文字圖片和元件
再把它寫成程式
新版本很重視真素材
像logo
照片icon
如果能從截圖裡抓出來
就盡量保留
不是全部重畫成假的
背後可以接Gemini
GPT Claude
README也特別建議Gemini
因為它對截圖理解和素材擷取比較關
鍵Replicate則負責圖片編
輯去背和生成
換句話說
這不是單一模型秀肌肉
而是一條把多個能力接起來的工作流
它也能吃螢幕錄影
這點很有意思
因為很多產品畫面不是靜態的
按鈕點下去
tab切換
modal彈出
才是使用者真正感受到的UI
如果要本機跑
架構是React加Vite前端
搭配FastAPI後端
至少要準備一組模型金鑰
OpenAI Anthropic或Gemini
其中之一都可以
如果想要更完整的圖片處理
Replicate也要設定
可選的screenshot preview
是另一個重點
工具可以把自己產出的頁面丟進Chromium
截圖讓agent回頭看結果像不像
這一步不會保證完美
但比只相信文字輸出可靠很多
它適合三種場景
做landing page草稿
把舊畫面快速翻成新版
或讓設計和工程在會議前先看到互動
原型你不一定要直接把產物上線
但你可以少花很多時間在第一版
但它不是魔法
截圖裡的小字
陰影間距
響應式狀態
還有真正的資料流
都可能需要人修
QA要看三件事
畫面是不是像
互動是不是對
程式是不是能長期維護
開源的好處是你可以自架
也可以改提示詞
換模型加自己的設計系統
成本也要算
模型越強
畫面越可能接近
但速度和費用通常也會上去
另外別把敏感畫面直接丟進去
內部後台
客戶資料
金鑰未公開設計
都要先遮掉
AI工具越方便
資料邊界越要自己守住
對工程師來說
這是省掉第一版草稿時間的工具
對設計師來說
它可以把看起來像更快推到點起來像
我會把它放在團隊流程的前段
截圖進來
原型出來
接著才是人工整理
測試和重構
真正交付前還是要跑起來
看錯誤改狀態
補可及性
可是如果你的任務是先把UI想法變
成能討論的東西
screenshot-to-code
已經很接近那個入口
所以這個專案值得看
不是因為它讓工程師消失
而是它把第一版畫面這件事變得便宜
很多我的結論很簡單
快但要有QA
省時間但不要省檢查
如果你想看更多像這樣的開源工具
我會繼續在Github雷達幫你拆
解喜歡這種題材
記得訂閱
我們下一支影片見

來源:transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令:videonote https://youtu.be/z7KFu5lLQE4?si=Lo7m1RFbFNn7pvAq --language zh --adopt-source-subtitles

    來源:https://youtu.be/z7KFu5lLQE4?si=Lo7m1RFbFNn7pvAq

    辨識語言:zh | 參數:--language zh --adopt-source-subtitles

  2. 預期流程

    依指令產生的處理順序:

    1. 採用來源字幕(略過語音辨識)
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布
  3. 1. 下載與語音辨識

    工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)

    處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)

    耗時:620.9 秒

    關係:依序執行

    結果:完成

  4. 2. 全文快速校讀

    工具:videonote_rapid_transcript_review.py

    處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目

    產出:rapid_transcript_review_report.json(產出檔案)

    耗時:38.2 秒

    關係:依序執行

    結果:完成

  5. 3. 建立句子單元

    工具:videonote-build-sentence-units

    處理:將逐字稿切成帶時間軸的句子單元

    產出:sentence_units.json(句子單元)

    耗時:0.3 秒

    關係:依序執行

    結果:完成

  6. 4. 時間軸稽核

    工具:videonote_timeline_audit.py

    處理:檢查時間軸與音訊對齊

    產出:timeline_audit_report.json(時間軸稽核)

    耗時:0.3 秒

    關係:依序執行

    結果:完成

  7. 5. 品質檢查

    工具:videonote_controlled_quality.py(檢查時間軸與品質)

    處理:檢查語言、時間軸與可讀性品質

    產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)

    耗時:0.4 秒

    關係:依序執行

    結果:完成

  8. 6. 播放時間軸回填

    工具:videonote_rebase_display_timeline.py

    處理:將網頁播放時間軸回填為校正字幕時間

    產出:display_timeline_rebase_report.json(時間軸回填報告)

    耗時:0.4 秒

    關係:依序執行

    結果:完成

  9. 7. 來源句整理

    工具:videonote_prepare_source_entries.py

    處理:整理來源句子供時間軸與頁面使用

    產出:sentence_units.json(句子單元)

    耗時:0.4 秒

    關係:依序執行

    結果:完成

  10. 8. 生成筆記摘要

    工具:videonote-generate-note(生成筆記摘要)

    處理:生成筆記摘要與重點

    產出:note.md(筆記 Markdown)、note.html(筆記 HTML)

    耗時:67.8 秒

    關係:依序執行

    結果:完成

  11. 9. 建立筆記頁面

    工具:videonote-render-html(產生筆記 HTML)

    處理:產生可閱讀的筆記 HTML 頁面

    產出:note.html(筆記 HTML)

    耗時:0.9 秒

    關係:依序執行

    結果:完成

  12. 10. 發布公開頁面

    工具:videonote-publish(發布公開頁面)

    處理:發布到公開網站與每日列表

    產出:公開筆記網址、result.json(管線結果)

    耗時:0.9 秒

    關係:依序執行

    結果:完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據(PyAnnote / WhisperX)

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT,重新產生雙語與學習單元。
開啟 Workbench