大家好,這裡是人數解說。就在昨天,千萬3.8 Flash NEXT正式開源發佈1250億優勢的AI大模型。現在居然可以在本地電腦上進行部署運行。它是一個多模特的MOE緩活架構模型。每個Token實際只激活60億優勢。是千萬最新的下一代架構,也就是千萬4。它原生支持26.2萬上小文。擴張以後,甚至可以達到百萬Token。更誇張的是,低顯存用戶,可以用到的
用硬盤來湊。甚至有人用3090,MacBook Pro來進行運行。而它真正厲害的地方,還不只是人跑。無論是代碼推電能力,還是Agent,性能都非常強悍。比如把它跟Cloud的Opus 5,還有GPT506速放在一起盲測,都達到了意想不到的效果。那麼問題來了,一個1250億優勢的開源模型,到底能跑出什麼效果?今天我們就直接通過一系列真實的案例,答應看看這千萬3.8最新的Flash NEXT模型,到底有多地谱。目前它的
繼續EAV格式的模型以及同步發布。多個量化版以及同步發布的HanE Face開源社區。因為千萬3.8Flash NEXT模型,它支持CPU統一內存配置,以實現接近虛擬內存的速度。也就意味著,內存不夠,我們可以用硬盤來湊。接下來我們進行本地安裝部署實測下。在開始之前,首先我們去下載最新開源的千萬3.8Flash NEXT模型。
我們先把這個千萬3.8Flash NEXT模型給它動下來。我們先把這個千萬3.8Flash NEXT模型給它動下來。我們先把它打開它,來進行下載一下。好,打開以後,它裡面有多個量化模型。到時候你可以根據這顯示出硬盤大小,來進行選擇。比如說選擇Q字版本。這裡面有三個模型文件,來進行動下來。我們把它放在桌面上。我們點下載。好,下載它以後,那麼第二個,全部都給它放在桌面上。最近好多人問這個下載器啊,這是一款TDM-FARDS的多線程下載器。
下載大文件,大模型,速度超快。好,下載好第二個模型分訣以後。我們先返回去,來下載第三個模型分訣。同樣給它放在桌面上。我們點下載。我們稍等一會。它現在速度可以捧到將近每秒,將近100兆左右了。幾乎已經捧到Hugging Face的下載速度了。好,下載好模型文件以後。我們現在重新返回到剛才提示下。來執行第二步。接下來獲取下最新版本的NAMSAPP這款開業項目。那麼你先往打開它,先下載一下。我們需要用它來加載模型。打開以後,我們點下放最新版本。目前最新版本是V01.4.8.
我們先在網上。我們打開它,先下載一下。打開以後,然後再往下載。來獲取的對型版本。第一個是MacOS版本。另外一個是Android以及Windows版本。到時候根據情況去選擇就可以了。比如說這裡選擇Windows版本。因為我是N考的,所以這位選擇COOTAD版本。當然如果你是A考的話,那選擇WGWG版本。這位選擇COOTAD13版本。這裡需要注意一下是這兩個文件都要下載。前面這個組程序,後面是想法去通文件。這兩個都要下載。我們下載。我們下載下來。比如說同樣給它放到桌面上。我們點下載。好,下載好第一個文件以後。
我們先把它刀下來。然後把它放到桌面上。先下載一下。好,下載好以後,把它關閉掉。然後先把它夾出來。第二個,央桌包。全部夾出來。好,夾好以後,央桌包給它上掉。先把這NAMASPP組成序,我把它重命名一下。我們先把它重命名這NAMASPP。好,重命名好以後,先把這個區域文件給它放進去。放到這個NAMASPP根目錄下,拖上去就可以了。好,放入好以後,先打開它。先我們需要在根目錄下,來創建一個新建文件夾。我們需要給新建一個Modus50GWGWGWGWGWGWGWGWGWGWGWGWGWGW
新建好以後,先打開它。先把我們剛下載好的這個模型文件給它放進來。這三個模型文件都給它放進去就可以了。好,放入好以後,現在重新返回到乾車帖下,來執行第三步。就來獲取一下這個一介啟的腳本。突然給它動下來。好,下載好以後,這裡面的參數你就可以自由調整。尤其上面這個模型這裡。如果下載的模型跟我不一樣的話,那麼一定要把這個模型名稱改成自己的。因為我當前的模型名稱是這個。也就是千萬3.8Flash,Nex,UD,IQ4,HS,Z,
這個分卷。然後後面跟它分卷1到3。它就會自動價值三個分卷模型。然後其他優秀的話,你可以自由調整。那先來試一下。然後先把這個起動腳本給它放進去。放到NAMASPP根目錄下。好,放到後面我們先打開它。打開以後,先打開它。點擊打開。它現在開始加上模型了。我們稍等一會。好,當你看到這個鏈接的話,那說明它已經起動中空了。先打開試想,打開這個地址。打開燃燃器。打開這個地址。來試試想。可以啊,沒問題啊。
它現在成功了。目前加在的模型的話,是千萬3.8Flash,Nex,UD,Q4電化板。沒問題啊。那先來試一下,看行不行啊。比方說明好,請自我介紹一下。
好,說明好,有什麼第一發送一下。看一下能不能跑得動啊。我待機顯著是24GB的。內存的話是64GB。但硬盤比較大,是2T的。絕對是沒問題的。因為目前它是跑在我們硬盤上的。要得看一下它速度。目前可以跑在每秒是個頭肯左右。那先來跑一個任務。比如現在我讓它幫我編寫一個跑步遊戲。我們來試一下效果。
我們來試一下。好,這樣的話它就開始了。我們找到一會。當前速度的話,同樣是每秒加近11個頭肯左右。這個過程可以需要幾分鐘到幾十分鐘。那先來看一下我當前硬件佔用。我當前內存是64GB的。幾乎已經跑滿了。佔用力90%左右。然後CPU的話,佔用力大概是70%左右。那先來看一下顯著。幾乎已經佔滿了。24GB的顯著幾乎已經跑了95%左右了。因為當前是通過MMAP,讓模型群眾跑在這個硬盤上的。所以我們看顯著。幾乎已經佔滿了。24GB的顯著幾乎已經跑了95%左右了。因為當前是通過MMAP,讓模型群眾跑在這個硬盤上的。所以
所以雖然模型群眾超過的顯著。當它能量可以跑。當它完成以後,我們試一下效果。看看能否正常運行。我們點一下開始奔跑。哎呦,這樣的。哎,沒吃到。這個積分系統沒問題。哎,我怎麼都吃不到的。哎,越來越快了。哎呦,哦,創死了。我靠。
再來一次。再來一次。
再來一次。
再來一次。
再來一次。
再來一次。
再來一次。
再來一次。
嗯?
嗯?
它越來越快了。我靠。
我靠。
我靠。
我靠。
你們越來越快了。
我靠。
你們越來越快了。
哎?
哎?
吼。
吼。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。
我靠。