WEBVTT

00:00.000 --> 00:07.120
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。

00:07.120 --> 00:16.520
其實大家知道這個Mac的一個芯片,就那個Mac,Apple Silicon這個芯片,它其實是有一個ANE芯片的。

00:16.520 --> 00:27.000
尤其是像這個M5和M6的這兩代最新的芯片,它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。

00:27.000 --> 00:34.800
但是我發現實際上我用了很久這個Mac,但是並沒有很好地真正地用到這個ANE芯片。

00:34.800 --> 00:43.520
主要是很多的軟件和模型,它其實默認它是不適配這個,不會去調用Mac的這個ANE芯片的。

00:43.520 --> 00:53.200
那所以我們在跑本地的一些模型,比如說我經常會用到的這個Whisper模型,就是我們這個Bilibili Subtitle Extractor這個Skill裡面。

00:53.200 --> 00:58.000
它會有這個音頻轉文字的這樣的一個功能在。

00:58.000 --> 01:01.600
那用到這個模型,但是它並沒有去使用到ANE芯片。

01:01.600 --> 01:07.000
尤其是這個模型它原生本身是,默認是選擇Cuda的。

01:07.000 --> 01:10.280
當然Mac是沒有Cuda的,所以說它就會走CPU。

01:10.280 --> 01:16.280
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。

01:16.280 --> 01:22.880
然後會影響,就是它在做的這個過程中,會影響到你CPU去負擔一些其他的任務。

01:22.880 --> 01:28.080
比如說你如果同時在編程,在做一些編譯,那這個就很要命。

01:28.080 --> 01:36.480
那但是呢,這個我就想到了看一下能不能用這個最新版本的GPT6來去嘗試優化這個東西。

01:36.480 --> 01:44.280
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。

01:44.280 --> 01:48.280
然後參加一個加速的這樣的一個工作。

01:48.280 --> 01:52.280
那事實上呢,其實是完全是沒有問題的。

01:52.280 --> 01:58.080
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。

01:58.080 --> 02:00.280
因為我這邊的這台電腦是M3嘛。

02:00.280 --> 02:05.080
那就是說,其實不管是M3還是M2,還包括M1。

02:05.080 --> 02:10.480
蘋果從M系列芯片,它都是帶有這個A1E芯片加速的。

02:10.480 --> 02:12.880
只是一個能力強弱的問題。

02:12.880 --> 02:17.680
現在M5和M6如果用的話,它會有更加明顯的一個效果。

02:17.680 --> 02:24.080
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。

02:24.080 --> 02:29.480
就是告訴它你去做,然後拆解,然後用紫袋裡去幹活。

02:29.480 --> 02:35.480
最後如果紫袋裡交付的不滿意的話呢,可以用升級模型去做。

02:35.480 --> 02:37.480
然後讓它去給我完成交付。

02:37.480 --> 02:41.480
它大概是用時一個小時21分鐘。

02:41.480 --> 02:44.480
其實是並沒有我想像中的那麼久。

02:44.480 --> 02:48.080
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。

02:48.080 --> 02:54.080
而且我使用的是輕度推理的一個程度就夠了。

02:54.080 --> 02:57.280
因為GPT6我還是相信它的一個能力的。

02:57.280 --> 03:04.280
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。

03:04.280 --> 03:07.280
因為我看到這個最終的一個實驗結果啊。

03:07.280 --> 03:10.280
就是說是讓我非常驚豔的。

03:10.280 --> 03:15.280
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。

03:15.280 --> 03:18.280
那它大概是5分02秒的一個長度。

03:18.280 --> 03:22.280
那它給我交付之後的一個版本呢,是做了這樣一個測試。

03:22.280 --> 03:28.280
是只用了40秒的時間就完成了整個的一個轉換的工作。

03:28.280 --> 03:33.280
但是原版的時候直接跑CPU呢,它是用了221秒。

03:33.280 --> 03:38.280
那這個差距可以說是有5倍的一個提升啊。

03:38.280 --> 03:39.280
就是說非常讓我驚訝。

03:39.280 --> 03:43.280
最重要最重要的其實是這個CPU占用。

03:43.280 --> 03:47.280
因為我們知道我如果同時在跑這樣的一個任務的時候,

03:47.280 --> 03:50.280
我電腦CPU基本上就是幹費的。

03:50.280 --> 03:53.280
就是你在並行去做任何其他任務的時候,

03:53.280 --> 03:56.280
你電腦會很熱,而且非常卡。

03:56.280 --> 03:57.280
然後會降頻。

03:57.280 --> 04:00.280
這個是挺要命的。

04:00.280 --> 04:06.280
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。

04:06.280 --> 04:09.280
那但是用了這一個ANA加速以後呢,

04:09.280 --> 04:13.280
可以看到它的CPU占用基本上就只有30出頭。

04:13.280 --> 04:18.280
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。

04:18.280 --> 04:21.280
就是說你同時去再做一些編程啊。

04:21.280 --> 04:24.280
編譯的工作都不會受到任何的影響。

04:24.280 --> 04:32.280
你的CPU的控出來的一個時間和占用數完全可以拿來去跑其他的這種任務。

04:32.280 --> 04:36.280
那同時呢,因為有了這個巨大的一個提升。

04:36.280 --> 04:39.280
那我用這台電腦去跑一些更長的視頻。

04:39.280 --> 04:44.280
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,

04:44.280 --> 04:47.280
其實就完全可以去更好的實現了。

04:47.280 --> 04:50.280
那這基本上就讓我去。

04:50.280 --> 04:55.280
像以前這種用CPU的速度去跑中一兩小時的視頻。

04:55.280 --> 04:59.280
幾乎就是一個巨討厭的事情。

04:59.280 --> 05:03.280
你可能電腦放那裡燒一晚上才能跑出來。

05:03.280 --> 05:06.280
那這個就是我拿到的一個結果吧。

05:06.280 --> 05:10.280
那同時這個skill呢,我其實本來就是開運給大家的。

05:10.280 --> 05:13.280
啊,我的Github上面是有的。

05:13.280 --> 05:16.280
那現在我也是把它更新到了最新的。

05:16.280 --> 05:18.280
啊,帶有ANE加速的版本。

05:18.280 --> 05:22.280
如果是有用Mac電腦的同學呢,是可以直接去。

05:22.280 --> 05:25.280
啊,Github上面更新到最新的版本。

05:25.280 --> 05:30.280
那這個是我給大家分享的一個小的東西吧。

05:30.280 --> 05:34.280
所以還是比較讓我滿意的。

05:34.280 --> 05:38.280
那這個就是我今天給大家的分享吧。

05:38.280 --> 05:41.280
如果說沒有關注我的可以去關注我。

05:41.280 --> 05:45.280
然後我的自動回復會把我的一些skill啊,網站都發給你。

05:45.280 --> 05:48.280
你可以在我的Github上面去找這個skill。

05:48.280 --> 05:52.280
啊,網站上的話我應該還沒有更新這個資源。

05:52.280 --> 05:55.280
你們可以先優先在Github上面去下載。

05:55.280 --> 05:59.280
那好了,那,感谢大家的支持。

05:59.280 --> 06:01.280
我們下次見了,拜拜。