工作清單

Claude Opus 5.5 剪视频,真的像别人说的那么神吗? | 回到Axton

逐字稿文字預覽

GPT-6 Astra 來了。今天我們 發布Fable 5.1版本。你的任務是 吸收一到兩個基本 吸收一到兩個基本 資訊。完全沒有 資訊。完全沒有 必要徹底推翻並放棄 必要徹底推翻並放棄 你原有的工作流程。實際上,你 你原有的工作流程。實際上,你 只有三個選擇。你 只有三個選擇。你 只有三個選擇。
只有三個選擇。 Cloudops 5.5 影片編輯。 真的像人們說的那麼好嗎? 真的像人們說的那麼好嗎? 螢幕上閃過的短片都是 螢幕上閃過的短片都是 它完全自主剪輯的。我 它完全自主剪輯的。我 沒有乾預這個過程。 沒有乾預這個過程。 它剛剛發布,過去 兩天裡,整個互聯網都在 熱議它;有些人甚至
用它來製作完整的影片。我 用它來製作完整的影片。我 不想只看 不想只看 別人挑選的演示,所以我把自己 別人挑選的演示,所以我把自己 未經編輯的 17 分鐘訪談影片扔給了 模型,讓它 模型,讓它 執行整個後期製作 執行整個後期製作 流程。結論是,它的確 流程。結論是,它的確 比我預期的要強大,尤其是 比我預期的要強大,尤其是 在我認為
在我認為 它完全無法勝任的領域。 它完全無法勝任的領域。 至於人類究竟還能做些什麼工作 至於人類究竟還能做些什麼工作 ,看完這 ,看完這 集之後,你或許會有更清楚的體悟。 集之後,你或許會有更清楚的體悟。 當然,你可能更加 當然,你可能更加 困惑了。嘿,你好,歡迎 困惑了。嘿,你好,歡迎 回到[頻道名稱]。引言 回到[頻道名稱]。引言 中兩個會議之間的對話 中兩個會議之間的對話 其實只是我一時
其實只是我一時 興起做的開胃菜。兩家公司都發布了 興起做的開胃菜。兩家公司都發布了 自己的會議影片——一個超過 自己的會議影片——一個超過 三分鐘,另一個一分 三分鐘,另一個一分 半鐘,兩個影片都配有英文字幕 ——所以我讓模特兒把這兩個 ——所以我讓模特兒把這兩個 片段剪輯成一個混合對話場景,並 片段剪輯成一個混合對話場景,並 添加了雙語字幕。 起初這確實很麻煩, 起初這確實很麻煩, 因為
因為 這兩個影片附帶的英文字幕是滾動 自動字幕,而且時間戳 自動字幕,而且時間戳 都重疊了,導致無法 確定剪輯點。 確定剪輯點。 Cloudops 5.5 偵測到此問題後, 呼叫了 Whisper 本身,重新轉錄了 所有內容,然後才能夠 所有內容,然後才能夠 準確地同步剪輯。最後一段 準確地同步剪輯。最後一段 影片長達 66 秒,結果 有點超出我的預期:GPT-6
有點超出我的預期:GPT-6 Astra 來了。這是我們最新的前沿 模型,也是世界上在需要 模型,也是世界上在需要 強大智慧的任務中表現最佳的模型 強大智慧的任務中表現最佳的模型 。今天我們發布了 Fable 5.1,這是我們 5.1,這是我們 功能最強大的模型類別的最新升級。我能夠 功能最強大的模型類別的最新升級。我能夠 以最少的指導,將更大、更不明確的任務交給它 以最少的指導,將更大、更不明確的任務交給它 。無論它 。無論它 目前能夠處理什麼,它都能承擔更多,並且
目前能夠處理什麼,它都能承擔更多,並且 更好地完成最困難的部分。 更好地完成最困難的部分。 無論你是寫程式、寫作、 無論你是寫程式、寫作、 設計,或是從事 設計,或是從事 需要更多 需要更多 智慧的工作,你都會發現 Astra 往往在 往往在 第一次嘗試時就能帶來很好的結果。 第一次嘗試時就能帶來很好的結果。 如果遇到障礙,它會告訴你它 如果遇到障礙,它會告訴你它 嘗試了什麼以及卡在哪裡了。正如你所 嘗試了什麼以及卡在哪裡了。正如你所 預料的那樣,Astra 非常擅長
長時間運行的任務。在這種 長時間運行的任務。在這種 任務中,第二步的小錯誤會導致第四十步出現 任務中,第二步的小錯誤會導致第四十步出現 問題。而 問題。而 Fable 5.1 從頭到尾都表現出色。該 模型能夠比我更快、更好地繪製出一幅可以 模型能夠比我更快、更好地繪製出一幅可以 辨認的圖像 辨認的圖像 。而且這個 。而且這個 模型在科學方面表現
模型在科學方面表現 優異。試穿一下。 我。我最初的想法是把他們放在同一個畫面裡,這樣他們看起來就像在同一場景中聊天一樣,但我認為最終得到的帶對話框的分割畫面效果其實相當不錯。
無需手動編輯; 無需手動編輯; 說話者正常播放, 說話者正常播放, 但畫面邊緣高亮顯示,而另 但畫面邊緣高亮顯示,而另 一邊則保持靜止,使整個 一邊則保持靜止,使整個 對話看起來非常流暢。 對話看起來非常流暢。 字幕翻譯也非常 字幕翻譯也非常 自然,有趣的是, 自然,有趣的是, 它甚至還在影片頂部添加了一小行文字 它甚至還在影片頂部添加了一小行文字 。素材:
。素材: 剪輯自兩家公司 官方發布的影片片段。我們甚至可以 官方發布的影片片段。我們甚至可以 想出一個玩笑式的標題,說這 想出一個玩笑式的標題,說這 兩家公司今天聯合發布了 兩家公司今天聯合發布了 最強大的型號。當然, 最強大的型號。當然, 會議亮點只是 會議亮點只是 熱身而已;今天真正的挑戰是我 熱身而已;今天真正的挑戰是我 自己那段17分27秒的即興獨白 自己那段17分27秒的即興獨白 自己那段17分27秒的即興獨白 。
。 觀看各種網路 觀看各種網路 簡報時,難免會心存懷疑。它是不是偷偷加載了 簡報時,難免會心存懷疑。它是不是偷偷加載了 大量插件或編寫了數千 大量插件或編寫了數千 字的規則才達到這種 字的規則才達到這種 效果?這次 效果?這次 完全是放任不管。我為它提供了一個 完全是放任不管。我為它提供了一個 純淨的 CloudCode 命令列 環境,沒有載入任何自訂技能
環境,沒有載入任何自訂技能 ,沒有編寫任何專門的規則, ,沒有編寫任何專門的規則, 沒有 MCP,也沒有預設的編輯工作流程 。工作目錄中只有兩個資料夾 :一個用於存放原始 素材,另一個是空的輸出目錄,用於存放轉錄文字和剪輯 片段。它 片段。它 透過呼叫本地工具自行處理了所有這些工作 透過呼叫本地工具自行處理了所有這些工作 ,無需任何人進行培訓 ,無需任何人進行培訓
。七個流程對應七個提示。我把它們交給他們之後,它就完全自動運行了。我什麼都沒做,連一次權限確認都沒做。運行時間 。七個流程對應七個提示。我把它們交給他們之後,它就完全自動運行了。我什麼都沒做,連一次權限確認都沒做。運行時間 超過兩個小時,並交付了 超過兩個小時,並交付了 七個任務的所有最終 七個任務的所有最終 剪輯片段。 此外,這七個步驟中還有一個關鍵的轉折,徹底顛覆了我最初的預期。稍後我們討論多片段拼接時,你就會明白了。好的,讓我們來看第
一個核心過程:從 17 分鐘的嘗試中挑選一個片段,剪輯成一個 1 分鐘的垂直螢幕短片。 任何剪輯過長影片的人都知道,最耗費腦力、最考驗判斷力的部分是: 打破完整的邏輯流程, 打破完整的邏輯流程, 找出哪些部分可以脫離周圍的上下文 找出哪些部分可以脫離周圍的上下文 獨立存在。在開始之前,我設定了三個嚴格的驗收標準:論點必須完整,即使沒有上下文也能說得通;切割點必須自然,不能有任何瑕疵;你不能刪減半個單詞,也不能留下任何錯誤或重錄。我會將
獨立存在。在開始之前,我設定了三個嚴格的驗收標準:論點必須完整,即使沒有上下文也能說得通;切割點必須自然,不能有任何瑕疵;你不能刪減半個單詞,也不能留下任何錯誤或重錄。我會將 這 這 三項要求 三項要求 和完整的提示訊息放在影片描述中。發送提示後,它首先呼叫了一個工具來轉錄整個劇集, 和完整的提示訊息放在影片描述中。發送提示後,它首先呼叫了一個工具來轉錄整個劇集, 並自行選擇了 1:29 到 3:06 的片段。在最終報告中,它
明確闡述了選擇的理由:這一部分討論了 明確闡述了選擇的理由:這一部分討論了 面對人工智慧時的三種選擇,這是整個事件的核心框架,非常清晰。該片段沒有提及視頻之外的任何內容;它還評估了其他三個部分,並詳細解釋了為什麼沒有選擇它們。如果我 面對人工智慧時的三種選擇,這是整個事件的核心框架,非常清晰。該片段沒有提及視頻之外的任何內容;它還評估了其他三個部分,並詳細解釋了為什麼沒有選擇它們。如果我 手動檢查的話, 手動檢查的話, 這實際上是我會首先選擇的片段
這實際上是我會首先選擇的片段 。所以,S 5.5 選擇的部分和我手動選擇的完全一樣 。原始素材長度為 97 秒,剪輯後為 83.7 秒。 讓我們來看看它刪減了哪些細節。當談到 第二種情況時,我結結巴巴地又重複了一遍; 它精確地刪除了被丟棄的前半部分,保留了正確的句子。在第二種情況下,問題
本身並沒有改變,但是問題的複雜性和錯誤發生的方式改變了。問題 本身並沒有改變,但是問題的複雜性和錯誤發生的方式改變了。問題 本身並 本身並 沒有改變,但是問題的複雜性和錯誤發生的方式發生了 沒有改變,但是問題的複雜性和錯誤發生的方式發生了 改變——在第二種情況下,問題本身並沒有改變,但是問題的複雜性和錯誤發生的方式發生了改變。期間還有三次長時間的停頓, 改變——在第二種情況下,問題本身並沒有改變,但是問題的複雜性和錯誤發生的方式發生了改變。期間還有三次長時間的停頓,
以及咂嘴聲。 這些令人尷尬的小習慣都被徹底改掉了 。實際上,你只有三個選擇。第一種 。實際上,你只有三個選擇。第一種 情況,老問題,老方法。 實際上你只有三個選擇;第一種情況,老問題,老方法。 40 條字幕中沒有一條拼字錯誤,也沒有改變我的原意。這裡還有另一個有趣的細節。 後半段,我隨口說了句“解決辦法,方法”, 結果和
結果和 之前一模一樣。該模型甚至在報告中也做了記錄。它說這可能是口誤,我已經糾正自己了。 之前一模一樣。該模型甚至在報告中也做了記錄。它說這可能是口誤,我已經糾正自己了。 它不確定是刪除“解決方案”還是“方法”這兩個詞中的一個,但最終決定兩者都保留。 它不確定是刪除“解決方案”還是“方法”這兩個詞中的一個,但最終決定兩者都保留。 聽完之後 聽完之後 ,我覺得留下它們是正確的; ,我覺得留下它們是正確的; 這只是我們說話時的一種自然的自我糾正,根本不是錯誤。需要解決的核心問題沒有改變,解決方案和方法也與以前完全相同
這只是我們說話時的一種自然的自我糾正,根本不是錯誤。需要解決的核心問題沒有改變,解決方案和方法也與以前完全相同 。還有一個意想不到的好處:對於從 。還有一個意想不到的好處:對於從 水平視頻裁剪出來的 9 分 16 秒的垂直視頻,它在剪輯點上實際上交替使用中景和特寫鏡頭,以隱藏
跳切。最終成品中,我的頭看起來忽大忽小,效果其實還不錯。這就像很多影片為了防止觀眾分心而使用的推拉鏡頭。 無論是幸運的意外還是有意為之,最終效果都非常舒適。好的,單一短影片片段可以處理,但是要將多個片段拼接成 17 分鐘的影片呢? 第三項任務,我讓它從 整段影片中挑選 整段影片中挑選 四個片段,剪輯成一個短片
四個片段,剪輯成一個短片 。它從 22 秒、5 分 23 秒、8 分 04 秒和 16 分 27 秒中選取了四個片段。我的 主題是「不要被 主題是「不要被 層出不窮的新人工智慧術語牽著鼻子走」。我根據原始順序將其剪輯成一個 78 秒的影片片段,因為原始順序已經構成了一個完整的關於問題、原因、真相和解決方案的論點。 它清理了段落中多餘的連詞和呼吸聲,在段落之間保留了自然的停頓, 並使
並使 四個段落的音量保持一致。完整聽下來,剪輯上沒有任何瑕疵。 四個段落的音量保持一致。完整聽下來,剪輯上沒有任何瑕疵。 主題選得其實不錯; 每當出現一個
新術語時,網路上總會有人說你以前的方法已經過時了,你需要盡快重新學習所有內容。你潛意識裡覺得 新術語時,網路上總會有人說你以前的方法已經過時了,你需要盡快重新學習所有內容。你潛意識裡覺得 以前掌握的溝通邏輯都失效了。你又陷入了學習焦慮的無盡循環。 以前掌握的溝通邏輯都失效了。你又陷入了學習焦慮的無盡循環。 但背後的邏輯其實非常簡單。只要機器仍然需要人類向它們解釋其意圖, 但背後的邏輯其實非常簡單。只要機器仍然需要人類向它們解釋其意圖, 這種能力的核心就從未改變。
這種能力的核心就從未改變。 這正是整篇文章最大的缺陷。 這正是整篇文章最大的缺陷。 第三部分開始時,我說:「只要機器仍然需要人類向它們解釋其意圖,這種能力的核心就從未改變 第三部分開始時,我說:「只要機器仍然需要人類向它們解釋其意圖,這種能力的核心就從未改變 。
。 」 請注意 請注意 「這種能力」這個短語。在原始影片中,我之前專門討論過我表達意圖的能力。所以, 「這種能力」這個短語。在原始影片中,我之前專門討論過我表達意圖的能力。所以, 這段話在那裡 這段話在那裡 自然而然地流露出來,但在他剪輯的這段 78 秒的短片中,之前並 沒有提到「這種能力」指的是什麼,所以觀眾一 沒有提到「這種能力」指的是什麼,所以觀眾一
聽到這個詞就會感到困惑。為什麼會發生這種事?我查看了 聽到這個詞就會感到困惑。為什麼會發生這種事?我查看了 他的報告,GPT-4.5 實際上註意到引用範圍過廣,但它認為上一節末尾提到的「通訊邏輯」可以涵蓋這種情況,因此沒有將其視為 需要修復的 需要修復的 錯誤 錯誤 。然而,對人耳來說,你可以立刻聽出這段話存在脫節。僅依靠「通信邏輯」無法支撐「這種能力」這個概念——這就是人工智慧的限制。它非常乾淨利落地切斷了聲音的接縫, 。然而,對人耳來說,你可以立刻聽出這段話存在脫節。僅依靠「通信邏輯」無法支撐「這種能力」這個概念——這就是人工智慧的限制。它非常乾淨利落地切斷了聲音的接縫,
但由於它認為其邏輯在文本中站得住腳,因此它沒有將這種聽覺上的脫節視為錯誤。因此,這一步驟仍需要人工幹預。我把整部都聽完了。我找到了問題的關鍵點,一旦發現這個脫節,我就給他提出了修改要求。我 但由於它認為其邏輯在文本中站得住腳,因此它沒有將這種聽覺上的脫節視為錯誤。因此,這一步驟仍需要人工幹預。我把整部都聽完了。我找到了問題的關鍵點,一旦發現這個脫節,我就給他提出了修改要求。我 指出了那個具體地點,並設定了非常嚴格的限制。我告訴他,「觀眾不會理解」這種
指出了那個具體地點,並設定了非常嚴格的限制。我告訴他,「觀眾不會理解」這種 能力,「所以你需要找到一種方法讓過渡自然起來 能力,「所以你需要找到一種方法讓過渡自然起來 。」你可以重新排列 。」你可以重新排列 句子,交換段落,或者改變順序,但是你 句子,交換段落,或者改變順序

來源:transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令:videonote https://www.youtube.com/watch?v=FUxw9s2VAxk --language zh

    來源:https://www.youtube.com/watch?v=FUxw9s2VAxk

    辨識語言:zh | 參數:--language zh

  2. 預期流程

    依指令產生的處理順序:

    1. 下載與語音辨識
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布
  3. 1. 下載與語音辨識

    工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)

    處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)

    耗時:154.5 秒

    關係:依序執行

    結果:完成

  4. 2. 全文快速校讀

    工具:videonote_rapid_transcript_review.py

    處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目

    產出:rapid_transcript_review_report.json(產出檔案)

    耗時:51.1 秒

    關係:依序執行

    結果:完成

  5. 3. 建立句子單元

    工具:videonote-build-sentence-units

    處理:將逐字稿切成帶時間軸的句子單元

    產出:sentence_units.json(句子單元)

    耗時:0.2 秒

    關係:依序執行

    結果:完成

  6. 4. 句子密度平衡

    工具:videonote_balance_sentence_units.py

    處理:平衡句子長度與密度

    產出:sentence_units.json(句子單元)

    耗時:0.2 秒

    關係:依序執行

    結果:完成

  7. 5. 時間軸稽核

    工具:videonote_timeline_audit.py

    處理:檢查時間軸與音訊對齊

    產出:timeline_audit_report.json(時間軸稽核)

    耗時:0.2 秒

    關係:依序執行

    結果:完成

  8. 6. 品質檢查

    工具:videonote_controlled_quality.py(檢查時間軸與品質)

    處理:檢查語言、時間軸與可讀性品質

    產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)

    耗時:0.3 秒

    關係:依序執行

    結果:完成

  9. 7. 播放時間軸回填

    工具:videonote_rebase_display_timeline.py

    處理:將網頁播放時間軸回填為校正字幕時間

    產出:display_timeline_rebase_report.json(時間軸回填報告)

    耗時:0.3 秒

    關係:依序執行

    結果:完成

  10. 8. 時間軸整合

    工具:videonote_timeline_reconcile.py

    處理:整合字幕、Whisper 與 VAD 時間證據

    產出:timeline_evidence.json(時間軸證據)

    耗時:0.7 秒

    關係:依序執行

    結果:完成

  11. 9. 逐字稿交叉檢查

    工具:videonote_cross_check_transcript.py

    處理:交叉檢查逐字稿與來源字幕

    產出:transcript_crosscheck_report.json(交叉檢查)

    耗時:0.8 秒

    關係:依序執行

    結果:完成

  12. 10. 來源句整理

    工具:videonote_prepare_source_entries.py

    處理:整理來源句子供時間軸與頁面使用

    產出:sentence_units.json(句子單元)

    耗時:0.9 秒

    關係:依序執行

    結果:完成

  13. 11. 生成筆記摘要

    工具:videonote-generate-note(生成筆記摘要)

    處理:生成筆記摘要與重點

    產出:note.md(筆記 Markdown)、note.html(筆記 HTML)

    耗時:138.6 秒

    關係:依序執行

    結果:完成

  14. 12. 建立筆記頁面

    工具:videonote-render-html(產生筆記 HTML)

    處理:產生可閱讀的筆記 HTML 頁面

    產出:note.html(筆記 HTML)

    耗時:0.7 秒

    關係:依序執行

    結果:完成

  15. 13. 發布公開頁面

    工具:videonote-publish(發布公開頁面)

    處理:發布到公開網站與每日列表

    產出:公開筆記網址、result.json(管線結果)

    耗時:0.8 秒

    關係:依序執行

    結果:完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據(PyAnnote / WhisperX)

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT,重新產生雙語與學習單元。
開啟 Workbench