工作清單

如何才能免費製作 AI 影片?將 ComfyUI 接上 Claude (ChatGPT) 讓影片生成不再卡關!本機電腦變成超級創作工坊!

逐字稿文字預覽

嗨,大家好
今天我们要来聊聊如何用自己的电脑
免费生成高品质的 AI 图片和影片
我们要用到一款非常知名且强大的软体
叫做 ComfyUI
这个工具把生成影像的运算步骤
拆解成一个类似生产线的节点流程
也因为如此
过去常被许多初学者认为它的学习曲线相当地陡峭
不过好消息是
现在 ComfyUI 已有许多内建的范本
再配合 ChatGPT 或 Claude 等 AI 助理的协助
已大幅降低新手学习和操作的门槛
好,那要下载 ComfyUI
我们可以到它的官网
点击右上角的按钮
接着点击「下载」
来将安装档储存到自己的电脑
并对着它双击滑鼠左键
就可以完成 ComfyUI 的安装
那我们把 ComfyUI 打开之后
它首先会询问我们要使用哪一种执行方式
其中左边的选项是将算图工作跑在云端的 GPU
需要另外订阅和付费
而这边我们要选择的是「本地」
代表我们要用自己的电脑来跑 ComfyUI
不过这也代表你的硬体规格不能太差
因为这会影响到你的电脑能跑多大的模型
以及算图生成的速度
接着我再到底下勾选「我同意」
的选项
点击「继续」
那你可以随意指定一个安装的位置
或是直接保持预设值
然后按下「继续」
点击「跳过并安装」
如此 ComfyUI 就会开始下载必要的元件
来进行安装的程序
过了一会儿安装完成后
我们就会来到 ComfyUI 的主介面
那此时画面会呈现一个空白的画布
在早期使用 ComfyUI 时
使用者必须手动插入节点来建立工作流程
操作步骤相当地繁琐
不过现在 ComfyUI 已内建了许多现成的范本
为我们省下不少的设定时间
那这里我以「生成图片」
来做个简单的示范
你可以在页面中
浏览各式各样 AI 模型的工作流程
那你会注意到某些范本的右上角
有显示皇冠的图示
代表这个 AI 模型可能硬体需求过高
或是没有开源
因此只提供云端执行的选项
如果你只想要浏览运行在本机的范本
你可以勾選 ComfyUI 的篩選選項
来隐藏那些需要付费的项目
如有需要
你也可以搭配旁边的下拉选单
来显示最新或近期热门的 AI 模型
好,那这边我就用 Z-Image-Turbo 这个范本来做个简单的示范
打开之后
你会注意到右上角有一则错误讯息
这是因为要用来生成图片的 AI 模型
我们还没有下载
所以是正常的
不过在下载之前
我们可以先熟悉一些基本的操作
首先画布中的每一个节点
我们都可以用滑鼠自由拖曳来调整位置
而节点与节点之间会有一条连接线
在运算过程中生成的资料
会沿着这些线段一路从最左边传递到最右侧的节点
那每个节点都有其特殊的功能
也有各自的参数可以调整
甚至某些节点内部
其实还打包了另一套完整的子工作流程
你可以把它展开来研究里面的运作方式
那在画布中浏览工作流程时
你可以滚动滑鼠滚轮来缩放画布的视角
按住键盘的空白键不放可以平移整张画布
而如果你想要将页面聚焦于某个节点
你可以把它点选起来
再按下键盘的「句号」
按钮
该节点就会自动缩放以符合页面的范围
或着你也可以按住 Ctrl 或 Cmd 键不放
一次框选多个节点
此时再按下「句号」
画面就会自动聚焦在这三个节点
好,那我们回到上一个阶层
也就是原本的工作流程
然后到右上角打开侧边栏
就可以看到刚才出现的错误讯息
那这边 ComfyUI 设计得相当贴心
它可以让你一次下载所有欠缺的模型
不需要自己到网路上四处寻找模型的来源
而由于这些模型档案都相当地大
因此下载会需要一段时间
如有需要
你也可以透过右上角的按钮
来检视目前下载的进度
等到模型全部下载完成后
你只要按下 Ctrl 或 Cmd +R
重新整理目前的页面
刚才的错误讯息就会自动消失啰
好,那你可能会好奇
刚才下载的三个模型
是下载到哪里去了?
其实这个答案
已写在画布最左边的那张卡片
里面有清楚标示每个模型存放的资料夹
而如果你想要实际做个检视
你可以点击上方的 ComfyUI
切换到「存储」
的分页
再去点击下方的连结
系统就会自动开启这个资料夹的位置
然后你就可以参考刚才卡片中的说明
进入对应的子资料夹
就能找到下载好的模型档案了
而如果之后某些模型档
你已不再需要
你也可以随时把它们删除
来替硬碟腾出宝贵的空间喔
好,那我们就来做个测试
利用 Z-Image 这个 AI 模型来生成一张图片
譬如我写了一段提示词
主题是一位穿着古装的女子正在庭院中泡茶
图片的解析度
我设为宽 1280
高度为 720
然后你可以在右上角输入想要生成的张数
最后按下「执行」
稍待片刻后
我们就能在最后一个节点看到生成的结果
而如果想要将这张图片
储存到电脑的资料夹
你可以对着它打开右键选单
执行「储存图片」
或者你也可以到左側開啟「資源」
面板
这边会显示你所有用 AI 生成的作品
事实上
这些作品跟先前下载的模型一样
都有固定的储存位置
如果你想要做个检视
你同样可以从上方的面板中
点击「输出」
栏位中的连结
如此就会打开一个名为 Output 的资料夹
所有生成的作品都会自动储存在这里
好,那你会注意到
只要我们在画布内做了任何的编辑
上方的标签就会跑出一个小白点
代表目前的工作流程还没有储存
此时你只要按下 Ctrl 或 Cmd +S
系统就会请你替这个工作流程命名
命名完成之后
你就可以放心地把这个标签关闭
之后如果想要再生成图片
你只需到左侧点击「工作流程」
的图示
就能找到刚才储存的项目
打开后就能再次使用这个工作流程啰
好,那我们来试一个其它类型的工作流程
譬如这一次我选择「音讯」
类别
然后选择 ACE-Step
这是一个用文字生成音乐的 AI 模型
那同样地
由于对应的模型还没有下载到电脑
所以画面的右上角同样会跳出错误的讯息
对此我们只要按下「全部下载」
ComfyUI 就能自动把缺少的档案补齐
下载完成后
我们同样按下 Ctrl 或 Cmd +R 重新整理页面
于是就可以准备来生成音乐了
那第一个栏位是用来描述曲风的地方
譬如我想要做一首放克 (Funk) 风格
充满能量和节奏感的歌曲
然后第二栏可用来输入歌词
它支援了包含中英文
超过 50 种以上的语言
接着再往下看
这边我们可以指定歌曲的速度
譬如我设为 120
然后是音乐的调性
这里我把它改成较为明亮且活泼的大调
至于歌曲的长度
由于这只是一个简单的测试
所以我就先把它设短一点
只要 1 分钟 (60 秒) 就好
最后按下「执行」
好,我们来试听看看生成好的音乐
OK,如果你想要下载这首歌的话
你只要到右侧点击功能选单
接着选择「下载」
指令就 OK 啰
好,最后我们来试一下生成影片的工作流程
那最近有一个新推出的 AI 模型叫做 MiniMax H3
可以跑在本机的电脑
只是这个模型对于硬体的要求较高
而且主要是针对 NVIDIA 显卡设计的
跑在我这台 Mac 电脑的话会有些勉强
因此这边我打算尝试用云端的方式
来执行这个工作流程
那首先我把筛选的功能
改為顯示「外部或遠端的 API」
这样页面就只会显示带有皇冠的工作流程
然后我选择 MiniMax H3 图生影片的范本
打开之后
右上角同样有一则错误讯息
不过这一次它是提醒
我们还没有提供用来生成影片的图档
原來缺少模型的提示已經不見了
因为这个范本的运算都是在云端完成的
而要使用云端的算图服务
我们必须先注册一个 Comfy 的帐号
譬如你可以用自己的 Google 信箱来进行注册
接着按下「确认」
成功登入后
ComfyUI 的右上角就会显示你的个人头像
由于 Comfy 的云端算图是采取「点数制」
所以我们必须先做个储值才能开始使用
那这边我们就按下「新增点数」
譬如我先储值 10 美元
使用信用卡付款完成之后
这个页面就会显示你目前拥有的点数
那接着我们就可以回到画布准备来生成影片
而在动工之前
你不妨可以先花点时间
读一下旁边的说明卡片
你可以把整段说明贴到 ChatGPT
请它帮你翻译成中文
如此在使用这个工作流程时就会比较顺手
好,那这边我们必须先提供一张图片
作为影片的初始影格
而我打算直接沿用刚才那张女子泡茶的作品
把它拖曳到第一个节点之内
然后在下方输入提示词
描述一名女子正优雅地在泡茶
同时相机的镜头缓缓地向后拉远
再往下我们会看到两个比较特殊的节点开关
其中一个是用 AI「优化提示词」
的功能
而另一个则是把影片「放大到 2K」
的画质
那这两项我先维持预设值不变
然后回到画布的上方
而在最后这个黄色的节点
我们可以在里面指定影片的解析度
以及影片生成的长度
最长可以拉到 15 秒
那你会注意到在调整秒数的时候
右上角的点数值也会跟着变动
代表影片愈长消耗的点数也就愈多
那这边我先设为 5 秒就好
然后点击「执行」
过了一会儿之后
我们就能在旁边的节点看到生成好的影片啰
OK,对于 ComfyUI 的使用者来说
这一两年最大的变化
就是 ComfyUI 开始支援 MCP
透过 MCP
AI 助理像是 ChatGPT 或 Claude
就能直接跟电脑内的软体进行对话
而这个改变带来最大的好处
就是我们即使看不懂节点运作的原理
也依然能透过 AI 助理来管理这些工作流程
大幅降低了 ComfyUI 入门的门槛
那 Comfy MCP 的安装方式非常简单
你可以在官网点击「安装 MCP」
的按钮
然后选择「本地安装」
再到右下角把欄位中的提示詞複製
然后你就可以在电脑中
打开自己习惯使用的 AI 助理
例如 ChatGPT 或是 Claude
那这边我以 Claude 为例
我们首先要去指定专案资料夹的位置
譬如我直接选择 ComfyUI 的安装资料夹
然后在对话框内点击「信任工作区」
的按钮
资料夹设定完成后
我們就到下方把剛複製的提示詞貼到輸入框內
然后按下 Enter 键送出指令
过了一会儿
等 Claude 跑完安装程序之后
我们再把 Claude 重新启动一次就 OK 了
好,那 AI 助理透过 MCP 可以帮我们做哪些事呢?
其中最简单的任务
就是它可以直接帮我们跑工作流程
譬如我在 ComfyUI 已建立了三个工作流程
如果我想要请 Claude 帮我生成音乐的话
我可以去开启一个新的对话
然后写一段提示词
例如请它到 ComfyUI 帮我生成一首中文歌
并且说明你想要的曲风和歌曲主题
而在动工之前
Claude 会向我们先确认一些细节
例如主唱是采用男声还是女声
以及是否要预览生成好的歌词等
你可以依照自己的想法逐一作答
细节确认完毕后
Claude 就会开始呼叫 ComfyUI 来执行运算
那音乐生成完毕后
我们只要回到 ComfyUI 开启「资源」
面板
就能在面板内直接进行播放
好,我们来试听看看
好,除了执行现有的工作流程之外
AI 助理也能帮我们改造流程本身的结构
甚至建立全新的工作流程
举例来说
先前我有一个 Z-Image 文生图的流程
我想要把里面的 AI 模型替换成 GPT Image 2
同时每次生成图片时
我希望能一口气生成写实照片
向量插画和 3D 动画三种不同的风格
最后我还请 Claude 在修改完成之后
直接以一只警察企鹅作为主题来生成图片
好,我们把提示词送出
稍待片刻后
三张不同风格的企鹅图片
就会直接显示在 Claude 的对话视窗内
而且当我们回到 ComfyUI 时
也能看到修改好的工作流程已完整呈现在画布之中
事实上要执行这个工作流程
我们不一定要透过 Claude
你也可以在提示词的方框内输入其它的主题
例如一只穿着厨师制服的柴犬
正在厨房里炒一大锅炒饭
点击「执行」
如此我们就能得到三张不同风格的柴犬作品啰
好,使用 AI 助理另一个很大的好处
就是它可以帮我们构思和优化提示词
举例来说
我想要把这个柴犬厨师的图片转成一段动画
于是我先想了一个简单的剧情
然后请 Claude 把这个故事拆解成几个不同的分镜
并且要求每个分镜都要采用不同的构图和运镜手法
最后将提示词送出
Claude 就会开始执行任务
稍待片刻后
一个简单的动画作品就生成完毕了
我们一起来看一下
OK,那今天关于 ComfyUI 的介绍
我们就聊到这边
我们下回再见
拜拜

來源:transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令:videonote https://www.youtube.com/watch?v=fAWliYuOiuc --language zh --adopt-source-subtitles

    來源:https://www.youtube.com/watch?v=fAWliYuOiuc

    辨識語言:zh | 參數:--language zh --adopt-source-subtitles

  2. 預期流程

    依指令產生的處理順序:

    1. 採用來源字幕(略過語音辨識)
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布
  3. 1. 下載與語音辨識

    工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)

    處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)

    耗時:3.7 秒

    關係:依序執行

    結果:完成

  4. 2. 全文快速校讀

    工具:videonote_rapid_transcript_review.py

    處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目

    產出:rapid_transcript_review_report.json(產出檔案)

    耗時:19.9 秒

    關係:依序執行

    結果:完成

  5. 3. 建立句子單元

    工具:videonote-build-sentence-units

    處理:將逐字稿切成帶時間軸的句子單元

    產出:sentence_units.json(句子單元)

    耗時:1.0 秒

    關係:依序執行

    結果:完成

  6. 4. 時間軸稽核

    工具:videonote_timeline_audit.py

    處理:檢查時間軸與音訊對齊

    產出:timeline_audit_report.json(時間軸稽核)

    耗時:1.0 秒

    關係:依序執行

    結果:完成

  7. 5. 品質檢查

    工具:videonote_controlled_quality.py(檢查時間軸與品質)

    處理:檢查語言、時間軸與可讀性品質

    產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  8. 6. 播放時間軸回填

    工具:videonote_rebase_display_timeline.py

    處理:將網頁播放時間軸回填為校正字幕時間

    產出:display_timeline_rebase_report.json(時間軸回填報告)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  9. 7. 來源句整理

    工具:videonote_prepare_source_entries.py

    處理:整理來源句子供時間軸與頁面使用

    產出:sentence_units.json(句子單元)

    耗時:0.1 秒

    關係:依序執行

    結果:完成

  10. 8. 生成筆記摘要

    工具:videonote-generate-note(生成筆記摘要)

    處理:生成筆記摘要與重點

    產出:note.md(筆記 Markdown)、note.html(筆記 HTML)

    耗時:126.4 秒

    關係:依序執行

    結果:完成

  11. 9. 建立筆記頁面

    工具:videonote-render-html(產生筆記 HTML)

    處理:產生可閱讀的筆記 HTML 頁面

    產出:note.html(筆記 HTML)

    耗時:0.5 秒

    關係:依序執行

    結果:完成

  12. 10. 發布公開頁面

    工具:videonote-publish(發布公開頁面)

    處理:發布到公開網站與每日列表

    產出:公開筆記網址、result.json(管線結果)

    耗時:0.6 秒

    關係:依序執行

    結果:完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據(PyAnnote / WhisperX)

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT,重新產生雙語與學習單元。
開啟 Workbench