Mac 本地Whisper转写别再烤 CPU：ANE 加速 Whisper 实测快 5 倍

果叔AI 首頁 每日列表 原始影片
實際影片長度：6:04.249。原文、繁中、雙語可點擊句子跳轉影片。
0:00.000–0:07.120
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。
0:07.120–0:10.025
其實大家知道這個Mac的一個芯片,
0:10.025–0:11.222
就那個Mac,
0:11.222–0:14.127
Apple Silicon這個芯片,
0:14.127–0:16.520
它其實是有一個ANE芯片的。
0:16.520–0:21.105
尤其是像這個M3和M4的這兩代最新的芯片,
0:21.105–0:27.000
它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。
0:27.000–0:30.705
但是我發現實際上我用了很久這個Mac,
0:30.705–0:34.800
但是並沒有很好地真正地用到這個ANE芯片。
0:34.800–0:37.233
主要是很多的軟件和模型,
0:37.233–0:39.870
它其實默認它是不適配這個,
0:39.870–0:43.520
不會去調用Mac的這個ANE芯片的。
0:43.520–0:45.382
那所以我們在跑本地的一些模型,
0:45.382–0:48.112
比如說我經常會用到的這個Whisper模型,
0:48.112–0:53.200
就是我們這個Bilibili Subtitle Extractor這個Skill裡面。
0:53.200–0:58.000
它會有這個音頻轉文字的這樣的一個功能在。
0:58.000–1:01.600
那用到這個模型,但是它並沒有去使用到ANE芯片。
1:01.600–1:07.000
尤其是這個模型它原生本身是,默認是選擇Cuda的。
1:07.000–1:10.280
當然Mac是沒有Cuda的,所以說它就會走CPU。
1:10.280–1:16.280
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。
1:16.280–1:17.350
然後會影響,
1:17.350–1:19.491
就是它在做的這個過程中,
1:19.491–1:22.880
會影響到你CPU去負擔一些其他的任務。
1:22.880–1:28.080
比如說你如果同時在編程,在做一些編譯,那這個就很要命。
1:28.080–1:29.057
那但是呢,
1:29.057–1:36.480
這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。
1:36.480–1:44.280
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。
1:44.280–1:48.280
然後參加一個加速的這樣的一個工作。
1:48.280–1:52.280
那事實上呢,其實是完全是沒有問題的。
1:52.280–1:58.080
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。
1:58.080–2:00.280
因為我這邊的這台電腦是M3嘛。
2:00.280–2:05.080
那就是說,其實不管是M3還是M2,還包括M1。
2:05.080–2:10.480
蘋果從M系列芯片,它都是帶有這個ANE芯片加速的。
2:10.480–2:12.880
只是一個能力強弱的問題。
2:12.880–2:17.680
現在M5和M6如果用的話,它會有更加明顯的一個效果。
2:17.680–2:24.080
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。
2:24.080–2:29.480
就是告訴它你去做,然後拆解,然後用Agent裡去幹活。
2:29.480–2:35.480
最後如果Agent交付的不滿意的話呢,可以用升級模型去做。
2:35.480–2:37.480
然後讓它去給我完成交付。
2:37.480–2:41.480
它大概是用時一個小時21分鐘。
2:41.480–2:44.480
其實是並沒有我想像中的那麼久。
2:44.480–2:48.080
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。
2:48.080–2:54.080
而且我使用的是輕度推理的一個程度就夠了。
2:54.080–2:57.280
因為GPT6我還是相信它的一個能力的。
2:57.280–3:04.280
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。
3:04.280–3:07.280
因為我看到這個最終的一個實驗結果啊。
3:07.280–3:10.280
就是說是讓我非常驚豔的。
3:10.280–3:15.280
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。
3:15.280–3:18.280
那它大概是5分02秒的一個長度。
3:18.280–3:22.280
那它給我交付之後的一個版本呢,是做了這樣一個測試。
3:22.280–3:28.280
是只用了40秒的時間就完成了整個的一個轉換的工作。
3:28.280–3:33.280
但是原版的時候直接跑CPU呢,它是用了221秒。
3:33.280–3:38.280
那這個差距可以說是有5倍的一個提升啊。
3:38.280–3:39.280
就是說非常讓我驚訝。
3:39.280–3:43.280
最重要最重要的其實是這個CPU占用。
3:43.280–3:47.280
因為我們知道我如果同時在跑這樣的一個任務的時候,
3:47.280–3:50.280
我電腦CPU基本上就是幹費的。
3:50.280–3:53.280
就是你在並行去做任何其他任務的時候,
3:53.280–3:56.280
你電腦會很熱,而且非常卡。
3:56.280–3:57.280
然後會降頻。
3:57.280–4:00.280
這個是挺要命的。
4:00.280–4:06.280
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。
4:06.280–4:09.280
那但是用了這個ANE加速以後呢,
4:09.280–4:13.280
可以看到它的CPU占用基本上就只有30出頭。
4:13.280–4:18.280
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。
4:18.280–4:21.280
就是說你同時去再做一些編程啊。
4:21.280–4:24.280
編譯的工作都不會受到任何的影響。
4:24.280–4:32.280
你的CPU的剩餘的一個時間和占用數完全可以拿來去跑其他的這種任務。
4:32.280–4:36.280
那同時呢,因為有了這個巨大的一個提升。
4:36.280–4:39.280
那我用這台電腦去跑一些更長的視頻。
4:39.280–4:44.280
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,
4:44.280–4:47.280
其實就完全可以去更好的實現了。
4:47.280–4:50.280
那這基本上就讓我去。
4:50.280–4:55.280
像以前這種用CPU的速度去跑一兩小時的視頻。
4:55.280–4:59.280
幾乎就是一個巨討厭的事情。
4:59.280–5:03.280
你可能電腦放那裡燒一晚上才能跑出來。
5:03.280–5:06.280
那這個就是我拿到的一個結果吧。
5:06.280–5:10.280
那同時這個skill呢,我其實本來就是開運給大家的。
5:10.280–5:13.280
啊,我的Github上面是有的。
5:13.280–5:16.280
那現在我也是把它更新到了最新的。
5:16.280–5:18.280
啊,帶有ANE加速的版本。
5:18.280–5:22.280
如果是有用Mac電腦的同學呢,是可以直接去。
5:22.280–5:25.280
啊,Github上面更新到最新的版本。
5:25.280–5:30.280
那這個是我給大家分享的一個小的東西吧。
5:30.280–5:34.280
所以還是比較讓我滿意的。
5:34.280–5:38.280
那這個就是我今天給大家的分享吧。
5:38.280–5:41.280
如果說沒有關注我的可以去關注我。
5:41.280–5:45.280
然後我的自動回復會把我的一些skill啊,網站都發給你。
5:45.280–5:48.280
你可以在我的Github上面去找這個skill。
5:48.280–5:52.280
啊,網站上的話我應該還沒有更新這個資源。
5:52.280–5:55.280
你們可以先優先在Github上面去下載。
5:55.280–5:59.280
那好了,那,感谢大家的支持。
5:59.280–6:01.280
我們下次見了,拜拜。
0:00.000–0:07.120
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。
0:07.120–0:10.025
其實大家知道這個Mac的一個芯片,
0:10.025–0:11.222
就那個Mac,
0:11.222–0:14.127
Apple Silicon這個芯片,
0:14.127–0:16.520
它其實是有一個ANE芯片的。
0:16.520–0:21.105
尤其是像這個M3和M4的這兩代最新的芯片,
0:21.105–0:27.000
它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。
0:27.000–0:30.705
但是我發現實際上我用了很久這個Mac,
0:30.705–0:34.800
但是並沒有很好地真正地用到這個ANE芯片。
0:34.800–0:37.233
主要是很多的軟件和模型,
0:37.233–0:39.870
它其實默認它是不適配這個,
0:39.870–0:43.520
不會去調用Mac的這個ANE芯片的。
0:43.520–0:45.382
那所以我們在跑本地的一些模型,
0:45.382–0:48.112
比如說我經常會用到的這個Whisper模型,
0:48.112–0:53.200
就是我們這個Bilibili Subtitle Extractor這個Skill裡面。
0:53.200–0:58.000
它會有這個音頻轉文字的這樣的一個功能在。
0:58.000–1:01.600
那用到這個模型,但是它並沒有去使用到ANE芯片。
1:01.600–1:07.000
尤其是這個模型它原生本身是,默認是選擇Cuda的。
1:07.000–1:10.280
當然Mac是沒有Cuda的,所以說它就會走CPU。
1:10.280–1:16.280
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。
1:16.280–1:17.350
然後會影響,
1:17.350–1:19.491
就是它在做的這個過程中,
1:19.491–1:22.880
會影響到你CPU去負擔一些其他的任務。
1:22.880–1:28.080
比如說你如果同時在編程,在做一些編譯,那這個就很要命。
1:28.080–1:29.057
那但是呢,
1:29.057–1:36.480
這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。
1:36.480–1:44.280
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。
1:44.280–1:48.280
然後參加一個加速的這樣的一個工作。
1:48.280–1:52.280
那事實上呢,其實是完全是沒有問題的。
1:52.280–1:58.080
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。
1:58.080–2:00.280
因為我這邊的這台電腦是M3嘛。
2:00.280–2:05.080
那就是說,其實不管是M3還是M2,還包括M1。
2:05.080–2:10.480
蘋果從M系列芯片,它都是帶有這個ANE芯片加速的。
2:10.480–2:12.880
只是一個能力強弱的問題。
2:12.880–2:17.680
現在M5和M6如果用的話,它會有更加明顯的一個效果。
2:17.680–2:24.080
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。
2:24.080–2:29.480
就是告訴它你去做,然後拆解,然後用Agent裡去幹活。
2:29.480–2:35.480
最後如果Agent交付的不滿意的話呢,可以用升級模型去做。
2:35.480–2:37.480
然後讓它去給我完成交付。
2:37.480–2:41.480
它大概是用時一個小時21分鐘。
2:41.480–2:44.480
其實是並沒有我想像中的那麼久。
2:44.480–2:48.080
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。
2:48.080–2:54.080
而且我使用的是輕度推理的一個程度就夠了。
2:54.080–2:57.280
因為GPT6我還是相信它的一個能力的。
2:57.280–3:04.280
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。
3:04.280–3:07.280
因為我看到這個最終的一個實驗結果啊。
3:07.280–3:10.280
就是說是讓我非常驚豔的。
3:10.280–3:15.280
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。
3:15.280–3:18.280
那它大概是5分02秒的一個長度。
3:18.280–3:22.280
那它給我交付之後的一個版本呢,是做了這樣一個測試。
3:22.280–3:28.280
是只用了40秒的時間就完成了整個的一個轉換的工作。
3:28.280–3:33.280
但是原版的時候直接跑CPU呢,它是用了221秒。
3:33.280–3:38.280
那這個差距可以說是有5倍的一個提升啊。
3:38.280–3:39.280
就是說非常讓我驚訝。
3:39.280–3:43.280
最重要最重要的其實是這個CPU占用。
3:43.280–3:47.280
因為我們知道我如果同時在跑這樣的一個任務的時候,
3:47.280–3:50.280
我電腦CPU基本上就是幹費的。
3:50.280–3:53.280
就是你在並行去做任何其他任務的時候,
3:53.280–3:56.280
你電腦會很熱,而且非常卡。
3:56.280–3:57.280
然後會降頻。
3:57.280–4:00.280
這個是挺要命的。
4:00.280–4:06.280
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。
4:06.280–4:09.280
那但是用了這個ANE加速以後呢,
4:09.280–4:13.280
可以看到它的CPU占用基本上就只有30出頭。
4:13.280–4:18.280
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。
4:18.280–4:21.280
就是說你同時去再做一些編程啊。
4:21.280–4:24.280
編譯的工作都不會受到任何的影響。
4:24.280–4:32.280
你的CPU的剩餘的一個時間和占用數完全可以拿來去跑其他的這種任務。
4:32.280–4:36.280
那同時呢,因為有了這個巨大的一個提升。
4:36.280–4:39.280
那我用這台電腦去跑一些更長的視頻。
4:39.280–4:44.280
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,
4:44.280–4:47.280
其實就完全可以去更好的實現了。
4:47.280–4:50.280
那這基本上就讓我去。
4:50.280–4:55.280
像以前這種用CPU的速度去跑一兩小時的視頻。
4:55.280–4:59.280
幾乎就是一個巨討厭的事情。
4:59.280–5:03.280
你可能電腦放那裡燒一晚上才能跑出來。
5:03.280–5:06.280
那這個就是我拿到的一個結果吧。
5:06.280–5:10.280
那同時這個skill呢,我其實本來就是開運給大家的。
5:10.280–5:13.280
啊,我的Github上面是有的。
5:13.280–5:16.280
那現在我也是把它更新到了最新的。
5:16.280–5:18.280
啊,帶有ANE加速的版本。
5:18.280–5:22.280
如果是有用Mac電腦的同學呢,是可以直接去。
5:22.280–5:25.280
啊,Github上面更新到最新的版本。
5:25.280–5:30.280
那這個是我給大家分享的一個小的東西吧。
5:30.280–5:34.280
所以還是比較讓我滿意的。
5:34.280–5:38.280
那這個就是我今天給大家的分享吧。
5:38.280–5:41.280
如果說沒有關注我的可以去關注我。
5:41.280–5:45.280
然後我的自動回復會把我的一些skill啊,網站都發給你。
5:45.280–5:48.280
你可以在我的Github上面去找這個skill。
5:48.280–5:52.280
啊,網站上的話我應該還沒有更新這個資源。
5:52.280–5:55.280
你們可以先優先在Github上面去下載。
5:55.280–5:59.280
那好了,那,感谢大家的支持。
5:59.280–6:01.280
我們下次見了,拜拜。
0:00.000–0:07.120
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。
大家好,我是果叔。好久不見,今天給大家分享一下我這邊一個小的發現。
0:07.120–0:10.025
其實大家知道這個Mac的一個芯片,
其實大家知道這個Mac的一個芯片,
0:10.025–0:11.222
就那個Mac,
就那個Mac,
0:11.222–0:14.127
Apple Silicon這個芯片,
Apple Silicon這個芯片,
0:14.127–0:16.520
它其實是有一個ANE芯片的。
它其實是有一個ANE芯片的。
0:16.520–0:21.105
尤其是像這個M3和M4的這兩代最新的芯片,
尤其是像這個M3和M4的這兩代最新的芯片,
0:21.105–0:27.000
它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。
它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。
0:27.000–0:30.705
但是我發現實際上我用了很久這個Mac,
但是我發現實際上我用了很久這個Mac,
0:30.705–0:34.800
但是並沒有很好地真正地用到這個ANE芯片。
但是並沒有很好地真正地用到這個ANE芯片。
0:34.800–0:37.233
主要是很多的軟件和模型,
主要是很多的軟件和模型,
0:37.233–0:39.870
它其實默認它是不適配這個,
它其實默認它是不適配這個,
0:39.870–0:43.520
不會去調用Mac的這個ANE芯片的。
不會去調用Mac的這個ANE芯片的。
0:43.520–0:45.382
那所以我們在跑本地的一些模型,
那所以我們在跑本地的一些模型,
0:45.382–0:48.112
比如說我經常會用到的這個Whisper模型,
比如說我經常會用到的這個Whisper模型,
0:48.112–0:53.200
就是我們這個Bilibili Subtitle Extractor這個Skill裡面。
就是我們這個Bilibili Subtitle Extractor這個Skill裡面。
0:53.200–0:58.000
它會有這個音頻轉文字的這樣的一個功能在。
它會有這個音頻轉文字的這樣的一個功能在。
0:58.000–1:01.600
那用到這個模型,但是它並沒有去使用到ANE芯片。
那用到這個模型,但是它並沒有去使用到ANE芯片。
1:01.600–1:07.000
尤其是這個模型它原生本身是,默認是選擇Cuda的。
尤其是這個模型它原生本身是,默認是選擇Cuda的。
1:07.000–1:10.280
當然Mac是沒有Cuda的,所以說它就會走CPU。
當然Mac是沒有Cuda的,所以說它就會走CPU。
1:10.280–1:16.280
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。
那走CPU帶來一個問題就特別明顯,就是它又慢,然後又會讓你的電腦聚熱。
1:16.280–1:17.350
然後會影響,
然後會影響,
1:17.350–1:19.491
就是它在做的這個過程中,
就是它在做的這個過程中,
1:19.491–1:22.880
會影響到你CPU去負擔一些其他的任務。
會影響到你CPU去負擔一些其他的任務。
1:22.880–1:28.080
比如說你如果同時在編程,在做一些編譯,那這個就很要命。
比如說你如果同時在編程,在做一些編譯,那這個就很要命。
1:28.080–1:29.057
那但是呢,
那但是呢,
1:29.057–1:36.480
這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。
這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。
1:36.480–1:44.280
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。
看能不能去單獨去寫一套這個能夠跑ANE芯片的這樣的一個編碼器。
1:44.280–1:48.280
然後參加一個加速的這樣的一個工作。
然後參加一個加速的這樣的一個工作。
1:48.280–1:52.280
那事實上呢,其實是完全是沒有問題的。
那事實上呢,其實是完全是沒有問題的。
1:52.280–1:58.080
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。
而且這個GPT6給到的一個結果,就是說M3也是可以直接去做這個優化的。
1:58.080–2:00.280
因為我這邊的這台電腦是M3嘛。
因為我這邊的這台電腦是M3嘛。
2:00.280–2:05.080
那就是說,其實不管是M3還是M2,還包括M1。
那就是說,其實不管是M3還是M2,還包括M1。
2:05.080–2:10.480
蘋果從M系列芯片,它都是帶有這個ANE芯片加速的。
蘋果從M系列芯片,它都是帶有這個ANE芯片加速的。
2:10.480–2:12.880
只是一個能力強弱的問題。
只是一個能力強弱的問題。
2:12.880–2:17.680
現在M5和M6如果用的話,它會有更加明顯的一個效果。
現在M5和M6如果用的話,它會有更加明顯的一個效果。
2:17.680–2:24.080
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。
那所以我讓它去這樣跑去做的話呢,其實是用一個很簡單的提示詞。
2:24.080–2:29.480
就是告訴它你去做,然後拆解,然後用Agent裡去幹活。
就是告訴它你去做,然後拆解,然後用Agent裡去幹活。
2:29.480–2:35.480
最後如果Agent交付的不滿意的話呢,可以用升級模型去做。
最後如果Agent交付的不滿意的話呢,可以用升級模型去做。
2:35.480–2:37.480
然後讓它去給我完成交付。
然後讓它去給我完成交付。
2:37.480–2:41.480
它大概是用時一個小時21分鐘。
它大概是用時一個小時21分鐘。
2:41.480–2:44.480
其實是並沒有我想像中的那麼久。
其實是並沒有我想像中的那麼久。
2:44.480–2:48.080
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。
我本來想的是可能會跑一個晚上,沒想到一個小時就搞定了。
2:48.080–2:54.080
而且我使用的是輕度推理的一個程度就夠了。
而且我使用的是輕度推理的一個程度就夠了。
2:54.080–2:57.280
因為GPT6我還是相信它的一個能力的。
因為GPT6我還是相信它的一個能力的。
2:57.280–3:04.280
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。
那最後它給我交付到的一個結果呢,是確實讓我有非常大的驚喜的。
3:04.280–3:07.280
因為我看到這個最終的一個實驗結果啊。
因為我看到這個最終的一個實驗結果啊。
3:07.280–3:10.280
就是說是讓我非常驚豔的。
就是說是讓我非常驚豔的。
3:10.280–3:15.280
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。
就是說我們可以看我這邊拿了一個測試視頻,就是一個B站的。
3:15.280–3:18.280
那它大概是5分02秒的一個長度。
那它大概是5分02秒的一個長度。
3:18.280–3:22.280
那它給我交付之後的一個版本呢,是做了這樣一個測試。
那它給我交付之後的一個版本呢,是做了這樣一個測試。
3:22.280–3:28.280
是只用了40秒的時間就完成了整個的一個轉換的工作。
是只用了40秒的時間就完成了整個的一個轉換的工作。
3:28.280–3:33.280
但是原版的時候直接跑CPU呢,它是用了221秒。
但是原版的時候直接跑CPU呢,它是用了221秒。
3:33.280–3:38.280
那這個差距可以說是有5倍的一個提升啊。
那這個差距可以說是有5倍的一個提升啊。
3:38.280–3:39.280
就是說非常讓我驚訝。
就是說非常讓我驚訝。
3:39.280–3:43.280
最重要最重要的其實是這個CPU占用。
最重要最重要的其實是這個CPU占用。
3:43.280–3:47.280
因為我們知道我如果同時在跑這樣的一個任務的時候,
因為我們知道我如果同時在跑這樣的一個任務的時候,
3:47.280–3:50.280
我電腦CPU基本上就是幹費的。
我電腦CPU基本上就是幹費的。
3:50.280–3:53.280
就是你在並行去做任何其他任務的時候,
就是你在並行去做任何其他任務的時候,
3:53.280–3:56.280
你電腦會很熱,而且非常卡。
你電腦會很熱,而且非常卡。
3:56.280–3:57.280
然後會降頻。
然後會降頻。
3:57.280–4:00.280
這個是挺要命的。
這個是挺要命的。
4:00.280–4:06.280
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。
尤其對於MacBook Air這種散熱能力比較弱的電腦來說是這樣的。
4:06.280–4:09.280
那但是用了這個ANE加速以後呢,
那但是用了這個ANE加速以後呢,
4:09.280–4:13.280
可以看到它的CPU占用基本上就只有30出頭。
可以看到它的CPU占用基本上就只有30出頭。
4:13.280–4:18.280
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。
那這樣的話,你其實基本上是沒有什麼體感上的一個損耗。
4:18.280–4:21.280
就是說你同時去再做一些編程啊。
就是說你同時去再做一些編程啊。
4:21.280–4:24.280
編譯的工作都不會受到任何的影響。
編譯的工作都不會受到任何的影響。
4:24.280–4:32.280
你的CPU的剩餘的一個時間和占用數完全可以拿來去跑其他的這種任務。
你的CPU的剩餘的一個時間和占用數完全可以拿來去跑其他的這種任務。
4:32.280–4:36.280
那同時呢,因為有了這個巨大的一個提升。
那同時呢,因為有了這個巨大的一個提升。
4:36.280–4:39.280
那我用這台電腦去跑一些更長的視頻。
那我用這台電腦去跑一些更長的視頻。
4:39.280–4:44.280
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,
比如說一個小時的視頻,兩個小時的視頻的這種文本轉譯的工作,
4:44.280–4:47.280
其實就完全可以去更好的實現了。
其實就完全可以去更好的實現了。
4:47.280–4:50.280
那這基本上就讓我去。
那這基本上就讓我去。
4:50.280–4:55.280
像以前這種用CPU的速度去跑一兩小時的視頻。
像以前這種用CPU的速度去跑一兩小時的視頻。
4:55.280–4:59.280
幾乎就是一個巨討厭的事情。
幾乎就是一個巨討厭的事情。
4:59.280–5:03.280
你可能電腦放那裡燒一晚上才能跑出來。
你可能電腦放那裡燒一晚上才能跑出來。
5:03.280–5:06.280
那這個就是我拿到的一個結果吧。
那這個就是我拿到的一個結果吧。
5:06.280–5:10.280
那同時這個skill呢,我其實本來就是開運給大家的。
那同時這個skill呢,我其實本來就是開運給大家的。
5:10.280–5:13.280
啊,我的Github上面是有的。
啊,我的Github上面是有的。
5:13.280–5:16.280
那現在我也是把它更新到了最新的。
那現在我也是把它更新到了最新的。
5:16.280–5:18.280
啊,帶有ANE加速的版本。
啊,帶有ANE加速的版本。
5:18.280–5:22.280
如果是有用Mac電腦的同學呢,是可以直接去。
如果是有用Mac電腦的同學呢,是可以直接去。
5:22.280–5:25.280
啊,Github上面更新到最新的版本。
啊,Github上面更新到最新的版本。
5:25.280–5:30.280
那這個是我給大家分享的一個小的東西吧。
那這個是我給大家分享的一個小的東西吧。
5:30.280–5:34.280
所以還是比較讓我滿意的。
所以還是比較讓我滿意的。
5:34.280–5:38.280
那這個就是我今天給大家的分享吧。
那這個就是我今天給大家的分享吧。
5:38.280–5:41.280
如果說沒有關注我的可以去關注我。
如果說沒有關注我的可以去關注我。
5:41.280–5:45.280
然後我的自動回復會把我的一些skill啊,網站都發給你。
然後我的自動回復會把我的一些skill啊,網站都發給你。
5:45.280–5:48.280
你可以在我的Github上面去找這個skill。
你可以在我的Github上面去找這個skill。
5:48.280–5:52.280
啊,網站上的話我應該還沒有更新這個資源。
啊,網站上的話我應該還沒有更新這個資源。
5:52.280–5:55.280
你們可以先優先在Github上面去下載。
你們可以先優先在Github上面去下載。
5:55.280–5:59.280
那好了,那,感谢大家的支持。
那好了,那,感谢大家的支持。
5:59.280–6:01.280
我們下次見了,拜拜。
我們下次見了,拜拜。

影片筆記：Mac 本地Whisper转写别再烤 CPU：ANE 加速 Whisper 实测快 5 倍

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

  • 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=2 已先套用暫定修正：尤其是像這個M5和M6的這兩代最新的芯片,它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。 → 尤其是像這個M3和M4的這兩代最新的芯片,它其實都是大幅的強調它在神經網絡運算能力上的一個優勢。；segment=13 已先套用暫定修正：那但是呢,這個我就想到了看一下能不能用這個最新版本的GPT6來去嘗試優化這個東西。 → 那但是呢,這個我就想到了看一下能不能用這個最新版本的GPT-4o來去嘗試優化這個東西。）
  • 待修正：逐字稿可先使用，但有待校正清單（segment=55 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

講者透過 AI 輔助開發，成功讓 Mac 上的 Whisper 模型調用 Apple Silicon 的 ANE（神經網絡引擎）進行加速，將轉寫速度提升約 5 倍，並大幅降低 CPU 佔用與發熱問題。

核心重點

  • 問題背景：Mac 上的 Whisper 模型（如 Bilibili Subtitle Extractor Skill）默認使用 CUDA 或 CPU 運算。由於 Mac 無 CUDA，模型 fallback 至 CPU，導致運算速度慢、電腦發熱、CPU 佔用率高，影響其他任務（如編程、編譯）。
  • 解決方案：利用 AI（講者提及 GPT-4o，但口誤稱為 GPT-6）生成專門調用 ANE 芯片的編碼器。
  • 開發流程：通過簡單提示詞讓 AI 拆解任務，由 Agent 執行代碼編寫。若結果不滿意，則升級模型重新生成。整個過程耗時約 1 小時 21 分鐘。
  • 實驗結果：
  • 速度提升：5 分鐘 02 秒的視頻，原版 CPU 運算需 221 秒，ANE 加速後僅需 40 秒，提升約 5 倍。
  • 資源佔用：CPU 佔用率從滿載降至 30% 左右，不再影響多任務處理。
  • 適用性：適用於 M1、M2、M3 系列芯片，M5、M6 效果更明顯。
  • 資源分享：該 Skill 已更新並開源至 GitHub，Mac 用戶可直接下載最新版本以獲得 ANE 加速功能。

詳細大綱

  1. Mac ANE 芯片的現狀與問題
  • Apple Silicon (M3, M4) 強調神經網絡運算優勢。
  • 多數軟件/模型默認不調用 ANE，導致 Mac 用戶無法受益。
  • Whisper 模型默認選擇 CUDA，Mac 無 CUDA 則 fallback 至 CPU。
  • CPU 運算的缺點：速度慢、電腦發熱、CPU 佔用率高，影響並行任務（編程/編譯）。
  1. 利用 AI 優化 ANE 加速
  • 嘗試使用最新版本 AI 模型優化 Whisper 模型。
  • 目標：單獨寫一套能跑 ANE 芯片的編碼器。
  • 確認 M3 (及 M1, M2) 均帶有 ANE 芯片加速能力。
  1. AI 輔助開發流程
  • 使用簡單提示詞：告知目標、拆解任務。
  • 使用 Agent 執行代碼編寫。
  • 若 Agent 交付不滿意，升級模型重新生成。
  • 輕度推理程度即可達成目標。
  1. 實驗數據對比
  • 測試對象：Bilibili 視頻，長度 5 分 02 秒。
  • CPU 版本：耗時 221 秒，CPU 佔用率高，電腦發熱降頻。
  • ANE 加速版本：耗時 40 秒，CPU 佔用約 30%。
  • 效能提升：速度提升約 5 倍。
  1. 實際應用價值
  • 解決 MacBook Air 等散熱能力弱機型的發熱問題。
  • 釋放 CPU 資源，允許同時進行編程、編譯等其他任務。
  • 使長時間視頻（1-2 小時）的文本轉譯成為可能，無需 overnight 等待。
  1. 資源分享
  • Skill 已更新至 GitHub，包含 ANE 加速版本。
  • 歡迎 Mac 用戶下載使用。

工具 / 模型 / 名詞整理

  • 硬體/芯片：
  • Mac
  • Apple Silicon
  • M3 芯片
  • M4 芯片
  • M2 芯片
  • M1 芯片
  • M5 芯片
  • M6 芯片
  • ANE 芯片 (神經網絡引擎)
  • CPU
  • MacBook Air
  • 軟件/模型/服務：
  • Whisper 模型
  • Bilibili Subtitle Extractor (Skill)
  • CUDA
  • GPT-4o
  • GPT-6 (講者口誤)
  • Agent
  • GitHub
  • Bilibili (B站)

操作流程整理

  1. 識別問題：發現 Mac 上的 Whisper 模型因無 CUDA 支援而使用 CPU，導致效率低落與發熱。
  2. 設定目標：決定利用 AI 生成一套專門調用 ANE 芯片的編碼器。
  3. 提示詞輸入：使用簡單提示詞告知 AI 目標與任務拆解。
  4. Agent 執行：由 AI Agent 執行代碼編寫。
  5. 評估與迭代：若交付結果不滿意，升級模型重新生成。
  6. 驗證結果：
  • 測試 5 分 02 秒的 Bilibili 視頻。
  • 確認 ANE 版本耗時 40 秒，CPU 佔用約 30%。
  • 確認速度提升約 5 倍。
  1. 發布資源：將 Skill 更新至 GitHub 供 Mac 用戶下載。

值得注意的限制或風險

  • 硬體相容性：此方案適用於 M1、M2、M3 系列芯片，講者提及 M5、M6 效果更明顯，但需確認當前硬體是否支援。
  • 開發時間：透過 AI 輔助開發並進行測試與迭代，整個過程耗時約 1 小時 21 分鐘，非即時解決方案。
  • 模型依賴：依賴特定版本的 AI 模型（講者提及 GPT-4o/GPT-6）來生成編碼器，若模型更新或變更，可能需要重新生成代碼。

逐字稿辨識疑點

  • GPT-6：逐字稿中講者多次提到「GPT-6」，但前文提及的是「GPT-4o」。根據上下文邏輯，這可能是口誤，但依規則標記為需查證，不自行更正為 GPT-4o 或其他版本。
  • Bilibili Subtitle Extractor：此為 Skill 名稱，逐字稿中寫法如此，保留原樣。
  • 5倍提升：講者口述「221秒」與「40秒」，計算結果約為 5.5 倍，講者總結為「5倍」，此為講者原話，保留。
  • CPU占用30出頭：講者口述數據，保留原樣。

可延伸追問

  • ANE 加速在處理不同語言或複雜語音環境下的準確率是否有變化？
  • 對於更長時長（如 1-2 小時）的視頻，ANE 加速帶來的時間節省具體是多少？
  • 是否有其他類似 Whisper 的模型可以透過此方法進行 ANE 加速？
  • GitHub 上的 Skill 具體安裝與配置步驟為何？

尚未產生學習筆記

請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習