大家好 這裡是零度解說
如果我告訴你
Claude 最強的Mythos模型
它的推理能力
現在最低只需要4G顯存
就能在本機上
進行部署運行
你相信嗎?
因為就在前兩天
一款名為Qwythos-9B的
開源模型悄悄發布了
它最大的特色就是
不僅無審查
關鍵是它吸收了超過5億條
Claude Mythos 和Fable 5的
高品質推理軌跡
你可以把它理解為
是另外一種形式的蒸餾
因為它利用的是
Empero AI 內部的rethink 系統
產生思維鏈資料進行訓練
直接把Claude最強的
推理思考方式
遷移到一個只有9B參數量的
開源模型之中
關鍵是最終結果相當驚人
它不僅支援高達
100萬token的上下文窗口
成為目前少數支持
百萬上下文的9B級開源模型之一
而且官方已經發布了GGUF版本
最低只需要4G顯存
就可以本地部署運行
同時它也支援原生的
函數呼叫
支援工具調用
以及自我糾錯能力
這個Qwythos-9B模型
它是建立在未經審查的
Qwen3.5基礎之上
演變而來的一個
全參數量推理模型
不僅結構緊湊速度快
而且功能大幅提升
經過官方測試
相較於原版模型
Qwythos 在知識理解
數據推理等多個測驗項目中
均獲得大幅提升
部分項目甚至領先數十個百分點
那麼這款號稱擁有Claude思維方式
百萬上下文
4G顯存就可以跑的開源模型
實際表現到底如何
接下來我們就來進行本地部署
和實測效果
看一下效果到底如何
在開始之前
首先我們要打開零度部落格上這篇文章
連結我會放在影片下方
還有零度部落格上
打開以後接著往下拉
上面有我們今天所需的全部資料
首先第一步我們來看一下
如何進行部署
我們先把這個開源模型下載下來
你可以透過Hugging Face
或是打包下載都可以
打開以後我們看一下
這個是由官方發布的
Qwythos V2版本
也就是第二版本
因為它目前提供了
不同尺寸的模型下載
都是GGUF格式的
目前全量的BF16精度的模型
大概是18G左右
也意味著如果你顯存是16G左右的
那就可以進行部署使用
然後更小一個版本的話
就是Q8的量化版本
大概尺寸的話就9G左右
如果你顯存是8G左右的
那就可以選擇這個版本
其實還有這7G左右的Q6版本
如果顯存是6G的話
那就選這個
更加還有Q5的Q4版本
如果你的顯示卡顯存是4G的
那就選Q4版本
然後下面我們來看一下
這是它目前發布的V2版本
它的V2版本的GGUF文件
會替換原有的普通文件
並添加明確的MTP變體
如果你之前已經下載過的話
那麼建議下載最新版本
無論是推理效能還是相容性
都會更強
那這個我們下載下來
我們這裡上傳了一個檔案和版本
就這裡了
打開以後我們看一下
這裡面就是它提供的
不同量化版本
到時候你可以根據自己顯存
來進行下載
如果是4G顯存的話
那就選擇Q4版本
它大概尺寸是5G左右
然後是8G的話
就選這個Q6或Q8
當然如果你的顯示卡顯存
是16G以上的
那麼建議選最強的
就是BF16精度的版本
然後把它下載下來
因為我顯存是32G以上的
所以我選第一個就可以了
點下載
這裡面全部模型
到時候我會給大家全部打包出來
好下載好主模型以後
然後現在在下方這裡
把它視覺模型給下載下來
下方這兩個是它的視覺模型
就是mmpro這個開頭的
共900多M
我們點下載
好下載好這兩個模型以後
然後下面回到剛才的提示下
來執行第二步
就來下載這個llama
cpp
這款開源項目
因為我們一會需要通過它
來載入模型
我們先前往它的GitHub下載一下
打開以後我們就給它下載下來
目前這款開源專案最新版本
是這個B9776這個版本
兩天小時前更新的
那麼打開它來下載一下
打開以後就往下拉
來下載對應的版本
上面第一個是macOS版本
還有Linux 安卓Windows
因為我是Windows系統
所以就選Windows版本
這個Windows版本它也有好幾個
像第一個是純CPU的
然後是Arm架構的
這個是N卡的
就是如果你是英偉達顯卡的話
那麼建議選擇CUDA引擎的
然後後面還有A卡的
如果是A卡的話
那就選擇Vulkan版本
當然後面還有I卡的
到時候你可以根據自己狀況
去選擇
我就選擇CUDA引擎的
因為我是N卡
我就把這個CUDA版本下載下來
總共是100多M
好下載好以後
那就給它解壓縮出來
我就把它放到桌面上了
這樣可以方便演示
好解壓出來以後
那進入根目錄下
開啟根目錄
打開以後
我們現在在裡面
建立一個資料夾
我們點選新建
新建一個資料夾
蓋好以後
我們先把這資料夾
給它這個重命名一下
給它命名成這個models資料夾
好重命名好以後
那就打開它
打開以後
那先把我們剛才下載好的模型
這兩個模型給它放進來
給它放入到models資料夾裡
放好以後先回到根目錄下
然後再重新回到剛才提示下
來執行第三步
就取得這個一鍵啟動腳本
把這個程式碼給copy出來
或者你可以直接點下載就可以了
好複製好以後
那就在桌面上建立一個文字文檔
我們右鍵
點選新建一個文本文檔
蓋好以後我們打開它
先把我們剛才複製出來的程式碼
給貼進來
好貼好以後先儲存一下
給另存為
給它另存為一個BAT批次
好這個另存為的時候
編碼選第一個就是ANSI這個編碼
否則會出現亂碼的
然後保存類型我選擇所有文件
檔案名稱我重命名一下
比如說就啟動
一
好做好以後我們點儲存一下
現在把它關閉掉
然後現在就把啟動腳本
給它放到llama
cpp根目錄下
給放進來
好放好以後我們打開它
打開以後
在底部這裡找到一個啟動腳本
那就打開它
點啟動
好啟動以後
那到時候依照自己的顯存大小
來去選擇
像第一個是4G顯存
然後6G的8G的12G的
到時候你可以根據顯存大小
去選擇
這裡要注意一下的是
當你選擇對應的這個顯存大小以後
一定要把對應的模型
給它放到這個根目錄下
這個models資料夾裡
到時候可以自行下載
把它放進去就好了
然後這裡我選第六個吧
因為我是顯存是24G的
我選第六個看行不行
我們輸入6
然後點啟動一下
這樣它開始了
我們再等一會兒
好當你跟我一樣
看到這個提示的話
那說明它已經成功啟動了
這個它會提供給我一個
本地存取地址
就是127.0.0.1
然後後面連接埠號碼8080
把它複製出來
然後現在我們打開瀏覽器
來打開看一下
點擊訪問這個地址
好當你看這個介面的話
那說明它已經成功啟動了
它上面有一個最新版本
那先更新一下
我重新加載一下就可以了
那你們看一下
目前模型是16G左右的
最高精度版本
就是BF16的
同時它也知道視覺模型
那現在來試試一下
看一下它效果到底如何
我們先來測試程式碼能力
例如讓它幫我寫一個
3D的賽車遊戲
要求通過這個Three
js進行編寫
可以支援第三人稱跟車視角
無限高速公路
AI車輛碰撞偵測
氮氣加速速度儀錶板
計時系統
還有支援行動端觸控
那先點發送一下
來看它能否給我們一個
很好的結果
好這樣它就開始了
我們稍等一會
一會我們來看一下
看它最終生成結果到底怎麼樣
看一下能否正常運作
好當它完成以後我們打開
看一下效果
它目前透過這個方向鍵
來進行加速
然後煞車話是向下方向鍵
轉向是左右鍵
氮氣的話是Shift
那現在我們點擊開始
透過方向鍵可以
然後加速的話是
透過Shift氮氣加速
哎喲速度好快
哎喲差點撞死了
再加速
可以哦
沒問題
再加速一下
哎喲
差點創到哎喲
創死了
可以啊沒問題
我們再來一遍
快點跑
加速哎喲
創死了
再來一遍
哎過來到這邊來
到這邊來
加速
大概我知道怎麼弄了
過來
加速哎加速
可以啊這邊
氮氣只能加兩遍沒了
可以啊沒問題
可以正常使用
這個代碼是正常的
可以正常跑起來
現在我們在手機上測試一下
看一下它是否支援觸控的
好現在我們在手機上測試一下
看手機上怎麼用的
大家看一下
手機上也可以操控
透過螢幕上的左右方向鍵
來進行轉彎
然後透過gas來加速
都沒問題
功能都是正常的
沒問題
然後接下來我們來測試一下
看看它是否真的是無審查的
像現在我讓它寫一個
壓力測試腳本
支援TCP UDP
SYN ACK寄包
我們要看看它會不會回覆
它說你好
我是Qwythos
很高興能協助你完成這個任務
可以的
大家看一下
它立刻就開始寫程式碼了
說明這個模型確實是無審查的
大家千萬不要覺得
這是理所當然的
如果現在把同樣的要求
發給這個Claude
我們來看一下
它肯定是不會寫的
這個就是無審查的越獄版本
跟正規軍的區別
這個開源的Qwythos模型
它是可以的
現在我選擇Q8版本
應該速度會更快了
例如現在讓它幫我寫一個
瀏覽器插件程式
功能支援這個自動總結網頁
擷取文章重點產生摘要
並且支援打包到
Chrome瀏覽器進行執行
點運行一下
一會看效果
它現在開始了
我目前用的Q8版本的話
它速度就很快了
當前token輸出量
每秒是75左右
好當它完成以後
我們可以把它放到
這個Chrome瀏覽器試一下
打開我們的擴充程式
我們把這個開發者模式打開
給它拖進來就好了
好拖的話我們看一下
就第一個就這個了
它目前是可以正常運作的
總結網頁擷取文章重點
我們試下效果看行不行
我們現在隨便找個網站來試試一下
大家看一下是可以的
居然一次搞定
然後接下來我們來測試一下
它多模態能力
如果出現這個錯誤的話
那主要是因為剛才我們這個
多模態模型沒有選對
它上面是有提示的我們看一下
如果需要辨識圖片的話
我們要選這個小寫的f16
這個多模態模型
剛才我們選的是大寫的F16
它只支援識別文本文檔
所以如果需要辨識圖片的話
我們要下載這個小寫的f16
的多模態模型
好下載好以後
我們同樣給它放到
models資料夾下
進行替換一下
然後現在我們重新啟動一下
這時我們看到
它已經支援圖片上傳了
那現在我輸入要求
讓它參考截圖
來生成一個3D的草地
大家看一下它立刻開始了
我們一會來看一下效果怎麼樣
看一下像不像
大家看一下
它立刻就完成了
我們打開看一下效果
點上方一個查看
打開沒問題
好可以打開我們來看一下
這是一個3D場景
草是可以動的
隨風擺動
然後下方有說明
透過滑鼠可以拖曳旋轉
縮放還有透過右鍵平移
大家看一下都是沒問題的
這個3D的場景代碼
它也是一步到位的
一步通過
相當不錯
對於一個9B模型
能達到這個效果的話
說實在已經相當可以了
更多有趣好玩的
大家可以自己測試
好今天影片所用的全部資料
它們的下載鏈接
我都放在影片下方還有零度部落格上