大家好,我是果叔。
好久不見,今天給大家分享一下我這邊一個小的發現。
其實大家知道這個Mac的一個芯片,就那個Mac,Apple Silicon這個芯片,它其實是有一個ANE芯片的。
尤其是像這個M3和M4的這兩代最新的芯片,它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。
但是我發現實際上我用了很久這個Mac,但是並沒有很好地真正地用到這個ANE芯片。
主要是很多的軟件和模型,它其實默認它是不適配這個,不會去調用Mac的這個ANE芯片的。
那所以我們在跑本地的一些模型,比如說我經常會用到的這個Whisper模型,就是我們這個Bilibili Subtitle Extractor這個Skill裡面。
它會有這個音頻轉文字的這樣的一個功能在。
那用到這個模型,但是它並沒有去使用到ANE芯片。
尤其是這個模型它原生本身是,默認是選擇Cuda的。
當然Mac是沒有Cuda的,所以說它就會走CPU。
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。
然後會影響,就是它在做的這個過程中,會影響到你CPU去負擔一些其他的任務。
比如說你如果同時在編程,在做一些編譯,那這個就很要命。
那但是呢,這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。
然後參加一個加速的這樣的一個工作。
那事實上呢,其實是完全是沒有問題的。
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。
因為我這邊的這台電腦是M3嘛。
那就是說,其實不管是M3還是M2,還包括M1。
蘋果從M系列芯片,它都是帶有這個ANE芯片加速的。
只是一個能力強弱的問題。
現在M5和M6如果用的話,它會有更加明顯的一個效果。
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。
就是告訴它你去做,然後拆解,然後用Agent裡去幹活。
最後如果Agent交付的不滿意的話呢,可以用升級模型去做。
然後讓它去給我完成交付。
它大概是用時一個小時21分鐘。
其實是並沒有我想像中的那麼久。
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。
而且我使用的是輕度推理的一個程度就夠了。
因為GPT6我還是相信它的一個能力的。
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。
因為我看到這個最終的一個實驗結果啊。
就是說是讓我非常驚豔的。
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。
那它大概是5分02秒的一個長度。
那它給我交付之後的一個版本呢,是做了這樣一個測試。
是只用了40秒的時間就完成了整個的一個轉換的工作。
但是原版的時候直接跑CPU呢,它是用了221秒。
那這個差距可以說是有5倍的一個提升啊。
就是說非常讓我驚訝。
最重要最重要的其實是這個CPU占用。
因為我們知道我如果同時在跑這樣的一個任務的時候,
我電腦CPU基本上就是幹費的。
就是你在並行去做任何其他任務的時候,
你電腦會很熱,而且非常卡。
然後會降頻。
這個是挺要命的。
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。
那但是用了這個ANE加速以後呢,
可以看到它的CPU占用基本上就只有30出頭。
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。
就是說你同時去再做一些編程啊。
編譯的工作都不會受到任何的影響。
你的CPU的剩餘的一個時間和占用數完全可以拿來去跑其他的這種任務。
那同時呢,因為有了這個巨大的一個提升。
那我用這台電腦去跑一些更長的視頻。
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,
其實就完全可以去更好的實現了。
那這基本上就讓我去。
像以前這種用CPU的速度去跑一兩小時的視頻。
幾乎就是一個巨討厭的事情。
你可能電腦放那裡燒一晚上才能跑出來。
那這個就是我拿到的一個結果吧。
那同時這個skill呢,我其實本來就是開運給大家的。
啊,我的Github上面是有的。
那現在我也是把它更新到了最新的。
啊,帶有ANE加速的版本。
如果是有用Mac電腦的同學呢,是可以直接去。
啊,Github上面更新到最新的版本。
那這個是我給大家分享的一個小的東西吧。
所以還是比較讓我滿意的。
那這個就是我今天給大家的分享吧。
如果說沒有關注我的可以去關注我。
然後我的自動回復會把我的一些skill啊,網站都發給你。
你可以在我的Github上面去找這個skill。
啊,網站上的話我應該還沒有更新這個資源。
你們可以先優先在Github上面去下載。
那好了,那,感谢大家的支持。
我們下次見了,拜拜。