逐字稿文字預覽
前些时间OpenAI彻底下架了Atlas浏览器 这款由AI驱动的浏览器发布不到一年就被下架 但OpenAI在今天发布了一款更强的XDGPT浏览器插件 这个插件支持多种主流浏览器 包括Chrome,微软的Edge,还有Brave等常见浏览器 我们甚至可以直接通过这个插件来使用Codex 所以这个插件要比我们之前所使用的OpenAI的Atlas浏览器 而且OpenAI这次还发布了化时代的新技术标准Web MCP 在过去两三年时间一直都是Anthlopic发布各种协议或者定制标准 比如MCP和Skill 而这次ChalligPT终于引领时代发布了最新的Web MCP技术 Web MCP的核心目的就是让AI agent更好更准确更稳定的与网站进行交互 像传统AI agent在执行浏览器自动化的时候 需要靠视觉或者盗墓操作 还需要猜测页面结构 所以在执行浏览器自动化人物的时候 效率非常低而且容易出错 而Web MCP是让网站主动为agent提供API式的能力 同时保留可视化反馈和用户控制 它不是单独加强agent的点击能力 而是让网站主动给agent提供一套结构化与明确的操作接口 网站可以把自身能力暴露为预定义工具 当Agent的访问页面时 就可以发现并且调用这些工具 从而不再完全依赖Agent的视觉能力 以及盗墓解析能力 这样就可以让AI Agent在操作浏览器时 可以达到更快的速度 减少不必要的步骤 还能减少幻觉 Web MCP的发布标志着网站从为人类设计 进化到为人类和Agent的共同设计 好 本期视频就为大家测试 Chattigpd最新浏览器插件的使用效果 并且为大家讲解和演示 OpenAI今天发布的Web MCP协议 想在我们常用的浏览器中 来使用Chattigpd浏览器插件非常简单 首先我们在Codex桌面应用中 点击右下角的设置 然后在左侧侧边栏 我们就点击Compute Use 也就是浏览器使用 然后我们就可以根据我们的需求 来开启对应的浏览器支持 我这里开启了Chrome浏览器的 在这里我们还可以点击下拉来安装其他浏览器的这个插件 比如说在我本机上他还支持微软的爱置浏览器 当安装好之后在我们的浏览器中 我们就可以看到这个浏览器的图标 然后如果没有看到的话 我们也可以点击这个位置 找到刚才我们安装的这个浏览器插件 直接点击这个图标 他就会在浏览器中打开一个侧边栏 在这个插件中我们可以直接与codex进行交互 比如说为Codex设置一个目标 或者使用Codex的计划模式 甚至还能通过我们的操作步骤来录制成Scale 而且我们还可以调出Codex中我们安装的这些插件 在这里我们还可以选择不同模型 比如说我这里选择GBT 5.6模型 在推理级别这里我这里可以选择Medium 在速度这里它支持标准速度 还支持Codex中的Fast速度 也就是1.5倍的速度 在这个位置它还支持语音输入 在这里我找了一篇archive上的论文 在这个插件中我让他分析这篇论文 然后他就输出了对这篇论文的详细的分析 包括论文中提到的这个概念是什么 还有他试图解决的真正问题 还有论文中的这些实验结果 还有暴露出的关键事实 还给出了最终判断 像这样的话 我们在浏览器中浏览这些网页或者论文的时候 需要AI帮我们分析的时候 我们只需要调出来这个插件 就可以直接在chatgbt中 让chatgbt分析我们所浏览的这些内容 然后我们还可以在侧边栏中继续去提问 我们可以在论文中找一张图像 让chatgbt详细分析这个图像 然后我们可以直接输入提示次 让它分析图中的内容 然后直接发送 可以看到这里它正在输出对这个图像的分析 它对这个图像分析的是非常详细的 在网页中我们还可以来选取一段内容 在这里我们就可以看到 它会显示我们选中的这些内容 然后我们就可以让它对我们选中的内容进行解释或者翻译 让它翻译为中文 然后直接发送 这里它就将我们选中的这个摘要翻译成了中文 然后我们还可以测试一下 让它将对这篇论文的分析结果保存到我们的notion中 在这里我就选中了notion这个插件 然后我们直接输入提示册 将这篇论文的分析报告保存到notion笔记中 这里他就提示他会使用notion的知识沉淀流程 把前面论文的分析转化成结构化的中文笔记 在这里我们就看到他调用了这个scale 他提示notion已经连接 这里他就提示已经保存并且验证成功 然后我们点击打开 然后在notion中我们就可以看到 他帮我们创建了这个笔记 他创建的这个笔记非常完整 而且笔记的排版也非常完美 而且他还支持多种这些插件 然后大家需要什么功能 就可以在codex中安装什么插件 而且来支持在当前的对话框中 加入其他我们打开的type页 比如说我们找到这篇论文 对应的gethub仓库 这是我在浏览器中打开的新的标签页 然后我们再回到刚才这篇论文 在对话框中 我们只需要输入at符号 然后我们就可以找到 刚才我们在新的type页中 打开的这个gethub仓库 我们直接选中这个仓库 然后我们就可以来输入提示词 我说的是给出这个项目的安装方式 然后直接发送 这里他就很快输出了这个项目的安装方式 相近的话 我们在当前打开的这种侧边栏中 就可以调用我们在浏览器中打开的 其他标签页中的内容 从而让ChatGPT结合多个页面进行分析 通过这款插件 我们就可以替代之前OpenAI彻底下架的Atlas浏览器 好下面我们再看一下OpenAI今天发布的Web MCP协议 通俗来讲WebMCP它的作用就是让网站把自己的能力声明成一组工具 当AI Agent执行浏览器自动化的任务 就不需要再靠猜测道目以及模拟点击来执行任务 我们可以看一下OpenAI官方给出的WebMCP的demo 比如说这个是与智能体协作的本地笔记应用 由于WebMCP刚刚发布这些主流浏览器还不支持WebMCP协议 但是我们在Codex中Codex内置的浏览器 它是支持webmcp的 我们直接点击官方的这个在codex中打开 这样的话就在codex中打开了这款笔记的应用 然后我们在codex中就可以来测试一下 比如说我们可以直接输入提示词 询问它在当前网站中有哪些工具它可以调用 好这里它就列出了当前网站 通过webmcp暴露了这10个工具 包括列出或搜索本地文档 读取指令文档 在编辑器中打开指令文档 创建文档 重名名替换 而且这里还明确这三个是止读工具 下面我们就可以测试一下 让它调用mcp工具 帮我们创建一个文档 我说的提示词就是 写一篇webmcp的使用笔记 并创建一个文档 存入到刚才这一个网站中 我们就点击发送 看一下这个效果 它以非常快的速度 直接将它写好的笔记 存入到了我们刚才打开的这个网站中 然后我们看一下他写的这篇笔记 可以看到这个拍板是非常不错的 然后我们可以继续提问 问他通过什么工具写入的笔记 然后他就给出了他通过这个网站提供的webmcp工具 也就是创建文档这个工具来写入的笔记 这里还列出了这个参数 然后我们还可以继续测试 我们让他为这篇笔记加入更多emoji 以便让内容更加丰富 我们看一下他修改笔记的速度 好这里他有提示他将会用更新文档这个工具 来 更改这个逼迹 他就迅速为这个笔记加入了非常多的emoji表情 包括标题还有这些证文 他都加入了非常多的emoji 这个速度是真的非常快 他只需要通过webmcp来调用工具 就可以来执行这些自动化操作 而不需要解析道母 也不需要通过模拟点击等方式帮我们去操作 像这种方式将会是未来的大趋势 现在虽然只有Codex内置的这个浏览器 支持WebMCP 但很快像Chrome浏览器 以及其他主流浏览器 都会快速跟进加入对WebMCP的支持 并且很多网站也将快速支持WebMCP 然后我们再看一下官方给出的 另一款比较有代表性的demo 这个网站是用于设计贺卡或者设计艺术品 我们还是在Codex内置的浏览器中来打开 然后我们就让Codex调用这个网站 它暴露给Codex的工具 为我们设计一个贺卡 然后我输入提示词 为我设计一个用于宣发webmcp的贺卡或者艺术品 我们直接发送 然后我们看一下Codex 它是如何与这个网站交互来创建贺卡的 这里它很快就帮我们设计完成了这个贺卡 可以看到这个贺卡设计的非常精美 然后我们问他调用了哪些工具 好 这里他列出了 他调用了下面这些工具 包括重置空白卡片的工具 设置尺寸的工具 调整背景色与强调色等这些工具 可以看到有了Web MCP Codex在执行瘤览器自动化的时候 他就不需要模拟点击这些盗梅元素 而是直接调用网站提供的工具来执行任务 就能大幅度提升 Agent在执行浏览器自动化的时候 它的速度还有精准度 所以说WebMCP将会是又一项化时代的创新 然后我们看一下WebMCP它的执行流程 首先就是网站页面 网站自己的JS模块会在加载时运行 它会判断浏览器是否支持WebMCP 如果不支持就什么都不做 当Agent需要执行浏览器自动化人文的时候 就会按照传统的方式 比如说解析道母 或者通过视觉方式去执行浏览器自动化 如果支持的话 那么网站页面就会声明工具 在这个声明中包括名称 描述 input schema等内容 AI agent就会根据这些内容 来理解网站的内容 然后就是注册表与全线扎门 浏览器会维护一张工具表 并在注册这一刻做平台检查 然后就到了站点工具清单 比如说在ChatGPT桌面板内置的浏览器里 地址栏会出现站点工具入口 然后用户就可以用自然语言来描述自己的任务 当用户输入完任务之后 任务就会发送给模型并生成参数 然后就到了选型与参数生成 Webmcp中的名称描述等内容会进入模型的上下文 模型就会根据网站所支持的这些工具清单 来调用网站所提供的这些工具 在调用之前它会先审查与确认 像这些审查就是为了降低风险 然后就会绑定来源页并且派发任务 然后agent就会来执行对应的任务 当任务执行完成之后 执行结果就会返回到模型的上下文中 然后agent就会将结果返回给用户 好 由于时间有限 本期视频就先为大家演示到这里 本期视频如果点赞破千的话 下期视频我将会为大家分享 开发webmcp的这些技巧还有经验 好 本期视频就做到这里 欢迎大家点赞关注和转发 谢谢大家观看 请不吝点赞 订阅 转发 打赏支持明镜与点点栏目
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：929.0 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：42.0 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.1 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.1 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.2 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：119.4 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.5 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.6 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。