1
00:00:00,000 --> 00:00:07,120
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。

2
00:00:07,120 --> 00:00:16,520
其實大家知道這個Mac的一個芯片,就那個Mac,Apple Silicon這個芯片,它其實是有一個ANE芯片的。

3
00:00:16,520 --> 00:00:27,000
尤其是像這個M5和M6的這兩代最新的芯片,它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。

4
00:00:27,000 --> 00:00:34,800
但是我發現實際上我用了很久這個Mac,但是並沒有很好地真正地用到這個ANE芯片。

5
00:00:34,800 --> 00:00:43,520
主要是很多的軟件和模型,它其實默認它是不適配這個,不會去調用Mac的這個ANE芯片的。

6
00:00:43,520 --> 00:00:53,200
那所以我們在跑本地的一些模型,比如說我經常會用到的這個Whisper模型,就是我們這個Bilibili Subtitle Extractor這個Skill裡面。

7
00:00:53,200 --> 00:00:58,000
它會有這個音頻轉文字的這樣的一個功能在。

8
00:00:58,000 --> 00:01:01,600
那用到這個模型,但是它並沒有去使用到ANE芯片。

9
00:01:01,600 --> 00:01:07,000
尤其是這個模型它原生本身是,默認是選擇Cuda的。

10
00:01:07,000 --> 00:01:10,280
當然Mac是沒有Cuda的,所以說它就會走CPU。

11
00:01:10,280 --> 00:01:16,280
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。

12
00:01:16,280 --> 00:01:22,880
然後會影響,就是它在做的這個過程中,會影響到你CPU去負擔一些其他的任務。

13
00:01:22,880 --> 00:01:28,080
比如說你如果同時在編程,在做一些編譯,那這個就很要命。

14
00:01:28,080 --> 00:01:36,480
那但是呢,這個我就想到了看一下能不能用這個最新版本的GPT6來去嘗試優化這個東西。

15
00:01:36,480 --> 00:01:44,280
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。

16
00:01:44,280 --> 00:01:48,280
然後參加一個加速的這樣的一個工作。

17
00:01:48,280 --> 00:01:52,280
那事實上呢,其實是完全是沒有問題的。

18
00:01:52,280 --> 00:01:58,080
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。

19
00:01:58,080 --> 00:02:00,280
因為我這邊的這台電腦是M3嘛。

20
00:02:00,280 --> 00:02:05,080
那就是說,其實不管是M3還是M2,還包括M1。

21
00:02:05,080 --> 00:02:10,480
蘋果從M系列芯片,它都是帶有這個A1E芯片加速的。

22
00:02:10,480 --> 00:02:12,880
只是一個能力強弱的問題。

23
00:02:12,880 --> 00:02:17,680
現在M5和M6如果用的話,它會有更加明顯的一個效果。

24
00:02:17,680 --> 00:02:24,080
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。

25
00:02:24,080 --> 00:02:29,480
就是告訴它你去做,然後拆解,然後用紫袋裡去幹活。

26
00:02:29,480 --> 00:02:35,480
最後如果紫袋裡交付的不滿意的話呢,可以用升級模型去做。

27
00:02:35,480 --> 00:02:37,480
然後讓它去給我完成交付。

28
00:02:37,480 --> 00:02:41,480
它大概是用時一個小時21分鐘。

29
00:02:41,480 --> 00:02:44,480
其實是並沒有我想像中的那麼久。

30
00:02:44,480 --> 00:02:48,080
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。

31
00:02:48,080 --> 00:02:54,080
而且我使用的是輕度推理的一個程度就夠了。

32
00:02:54,080 --> 00:02:57,280
因為GPT6我還是相信它的一個能力的。

33
00:02:57,280 --> 00:03:04,280
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。

34
00:03:04,280 --> 00:03:07,280
因為我看到這個最終的一個實驗結果啊。

35
00:03:07,280 --> 00:03:10,280
就是說是讓我非常驚豔的。

36
00:03:10,280 --> 00:03:15,280
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。

37
00:03:15,280 --> 00:03:18,280
那它大概是5分02秒的一個長度。

38
00:03:18,280 --> 00:03:22,280
那它給我交付之後的一個版本呢,是做了這樣一個測試。

39
00:03:22,280 --> 00:03:28,280
是只用了40秒的時間就完成了整個的一個轉換的工作。

40
00:03:28,280 --> 00:03:33,280
但是原版的時候直接跑CPU呢,它是用了221秒。

41
00:03:33,280 --> 00:03:38,280
那這個差距可以說是有5倍的一個提升啊。

42
00:03:38,280 --> 00:03:39,280
就是說非常讓我驚訝。

43
00:03:39,280 --> 00:03:43,280
最重要最重要的其實是這個CPU占用。

44
00:03:43,280 --> 00:03:47,280
因為我們知道我如果同時在跑這樣的一個任務的時候,

45
00:03:47,280 --> 00:03:50,280
我電腦CPU基本上就是幹費的。

46
00:03:50,280 --> 00:03:53,280
就是你在並行去做任何其他任務的時候,

47
00:03:53,280 --> 00:03:56,280
你電腦會很熱,而且非常卡。

48
00:03:56,280 --> 00:03:57,280
然後會降頻。

49
00:03:57,280 --> 00:04:00,280
這個是挺要命的。

50
00:04:00,280 --> 00:04:06,280
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。

51
00:04:06,280 --> 00:04:09,280
那但是用了這一個ANA加速以後呢,

52
00:04:09,280 --> 00:04:13,280
可以看到它的CPU占用基本上就只有30出頭。

53
00:04:13,280 --> 00:04:18,280
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。

54
00:04:18,280 --> 00:04:21,280
就是說你同時去再做一些編程啊。

55
00:04:21,280 --> 00:04:24,280
編譯的工作都不會受到任何的影響。

56
00:04:24,280 --> 00:04:32,280
你的CPU的控出來的一個時間和占用數完全可以拿來去跑其他的這種任務。

57
00:04:32,280 --> 00:04:36,280
那同時呢,因為有了這個巨大的一個提升。

58
00:04:36,280 --> 00:04:39,280
那我用這台電腦去跑一些更長的視頻。

59
00:04:39,280 --> 00:04:44,280
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,

60
00:04:44,280 --> 00:04:47,280
其實就完全可以去更好的實現了。

61
00:04:47,280 --> 00:04:50,280
那這基本上就讓我去。

62
00:04:50,280 --> 00:04:55,280
像以前這種用CPU的速度去跑中一兩小時的視頻。

63
00:04:55,280 --> 00:04:59,280
幾乎就是一個巨討厭的事情。

64
00:04:59,280 --> 00:05:03,280
你可能電腦放那裡燒一晚上才能跑出來。

65
00:05:03,280 --> 00:05:06,280
那這個就是我拿到的一個結果吧。

66
00:05:06,280 --> 00:05:10,280
那同時這個skill呢,我其實本來就是開運給大家的。

67
00:05:10,280 --> 00:05:13,280
啊,我的Github上面是有的。

68
00:05:13,280 --> 00:05:16,280
那現在我也是把它更新到了最新的。

69
00:05:16,280 --> 00:05:18,280
啊,帶有ANE加速的版本。

70
00:05:18,280 --> 00:05:22,280
如果是有用Mac電腦的同學呢,是可以直接去。

71
00:05:22,280 --> 00:05:25,280
啊,Github上面更新到最新的版本。

72
00:05:25,280 --> 00:05:30,280
那這個是我給大家分享的一個小的東西吧。

73
00:05:30,280 --> 00:05:34,280
所以還是比較讓我滿意的。

74
00:05:34,280 --> 00:05:38,280
那這個就是我今天給大家的分享吧。

75
00:05:38,280 --> 00:05:41,280
如果說沒有關注我的可以去關注我。

76
00:05:41,280 --> 00:05:45,280
然後我的自動回復會把我的一些skill啊,網站都發給你。

77
00:05:45,280 --> 00:05:48,280
你可以在我的Github上面去找這個skill。

78
00:05:48,280 --> 00:05:52,280
啊,網站上的話我應該還沒有更新這個資源。

79
00:05:52,280 --> 00:05:55,280
你們可以先優先在Github上面去下載。

80
00:05:55,280 --> 00:05:59,280
那好了,那,感谢大家的支持。

81
00:05:59,280 --> 00:06:01,280
我們下次見了,拜拜。