工作清單

本地部署Qwen 3.8 27B，要用什么配置

逐字稿文字預覽

千萬3.827B就是開源模型的Deep Seek時刻。它性能好、體積小、個人也能部署,實現很不錯的效果。
最近幾天我研究了各種本地部署的方案,過程都有發在知識星球NewType裡面。那本期視頻我來做一個總結。
咱們從一個基礎問題開始。在本地跑開源大模型需要什麼樣的配置?
重點看兩個指標。
第一,容量。也就是先看統一內存或者GPU顯存的容量。模型運行的時候,需要把權重裝進GPU顯存或者統一內存。
如果裝不下,要麼無法運行,要麼就只能把部分的權重放進系統內存,通過CPU或者PCIe讀取。那這麼一來,速度就會大幅下降。
用大白話來說就是,內存或者顯存容量決定了你能跑多大尺寸、多高精度的模型。
舉個例子,一個27B的模型如果使用BF16的精度,那麼光是權重就需要大約50GB。
量化到8bit之後,可以降到30GB左右。
而量化到4bit之後,只需要17-20GB。
除了權重之外,系統本身推理框架上下紋,它們都需要占有內存。
所以4bit的模型,你光有17GB還不夠。大概得要20GB才能勉強能跑。
第二,帶框。
把模型裝進內存之後,第二個關鍵指標就是內存帶框。
容量決定了你能不能跑,而帶框決定模型生成有多快。
注意,內存容量大,並不意味著帶框就高。
比如英偉達的DGX Spark,它有128GB,比RTX Pro 6000的就是6GB還大。
看起來很大很划算對吧?
但是它的內存帶框只有273GB,遠小於6000的1792。
這麼低的帶框意味著,DGX Spark雖然能裝下很大的模型,
但是跑大型Dance模型的時候,生成速度不會太快。
它更適合MOE模型,因為MOE的總參數雖然很大,
但每次生成Token的時候,它只激活其中的一小部分。
你看,我們星球裡就有一個小夥伴,買了兩台,用來跑Deep Seek V4 Flash,速度有30多,夠用了。
容量和帶框是理解本地推理最重要的兩個指標,但它們不是全部。
你實際的性能還會受到GPU的數量力、模型架構和推理框架的影響。
但是對於普通人來說,先抓住這兩個核心指標完全沒有問題。
OK,理解了原理之後,那選擇就容易多了。
咱們有三個選擇。
第一,Mac。
蘋果芯片用的是統一記憶,也就是CPU和GPU共享一個記憶池。
因此,買Mac的話,可以用相對較低的價格獲得更高的記憶。
但是,它的不足之處在於,帶框沒有那麼高,只有5090和6000的一半甚至更低。
所以,即使Mac擁有同樣甚至更多的記憶,在運行Dance模型的時候,速度不會太快。
而這個是需要咱們取捨的地方。
第二,RTX5090。
5090擁有3.4G顯存和1792GB每秒的記憶體帶框,非常適合千萬3.827B這樣的模型。
所以,如果你的目標只是本地運行千萬3.827B的話,那一張5090通常會比Mac Studio更加合適。
如果需要多Agent并發的話,可以上兩張5090。
注意啊,5090沒有NV-Link。
你非要跨卡通信的話,要走PCIE,效率不會像一塊原生的64G顯卡那麼高。
所以,插兩張卡的目的,是讓每張卡都運行一個完整的模型。
第一張卡用來處理一部分的Agent。
第二張卡處理另一部分的Agent。
它特別適合短或者中上下文,高并發多Agent任務的情況。
5090雖然夠快,但它容量只有32G。
你跑27B的模型沒有問題。
如果要運行70B的模型超長上下文,或者同時常駐多個模型,
那這樣的顯存就不夠了。
這是它的不足之處。
第三,RTX PRO 6000。
這是最完整的本地AI方案。
這張卡擁有96G顯存和1792GB每秒的帶寬。
同時具備大容量和高帶寬。
意味著它特別適合長上下文多模型常駐和生產及Agent服務。
而且RTX PRO 6000還支持ECC和專業驅動,更適合長期運行。
但是,它有一個很大的不足。
太貴了。
你去收下價格就知道了。
剛才我介紹的三種方案,價格跨度非常大。
從幾萬到十幾二十萬都有。
所以,沒有一種硬件在所有維度都最好。
你只能做取捨。
大家目前用什麼樣的配置跑本地模型,效果如何?
歡迎在評論區留言。
OK,以上就是本期內容。
想了解AI想奪回個體主權,
想找到自從盜合的人就來我們Newtype社群。
那咱們下期見。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://b23.tv/RihreVW --language zh --auto-source-subtitles

    來源：https://b23.tv/RihreVW

    辨識語言：zh ｜ 參數：--language zh --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：19.4 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：37.3 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  6. 4. 句子密度平衡

    工具：videonote_balance_sentence_units.py

    處理：平衡句子長度與密度

    產出：sentence_units.json（句子單元）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  7. 5. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  8. 6. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  9. 7. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.6 秒

    關係：依序執行

    結果：完成

  12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：108.0 秒

    關係：依序執行

    結果：完成

  13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench