0:00.000–0:03.715
zh大家好,最近一個名為Dark Bloom的項目,
0:03.715–0:04.523
zh熱度驟增。
0:04.523–0:08.238
zh它可以把許多閒置的Mac設備連成一個算力網絡。
0:08.238–0:13.892
zh有人就把一台M5Mac 128GB內存的Mac進入了Dark Bloom,
0:13.892–0:16.799
zh24小時內處理了13000多個請求,
0:16.799–0:18.414
zh賺到了4.11美元,
0:18.414–0:19.545
zh並且體現成功。
0:19.545–0:20.353
zh至於電費,
0:20.353–0:23.906
zh大約賺到收入的5%以及磨損其實都構不成問題。
0:23.906–0:24.714
zh也就是說,
0:24.714–0:26.976
zh在你桌上的Mac不用的時候,
0:26.976–0:28.591
zh它可以替別人跑AI,
0:28.591–0:29.560
zh順帶賺點錢。
0:29.560–0:31.504
zh至少前沿模型的訂閱費就有了。
0:31.504–0:34.838
zh這個由Icon Labs推出的分布式AI推理網絡,
0:34.838–0:36.088
zh機制大概有這幾步。
0:36.088–0:36.588
zh首先,
0:36.588–0:37.616
zh開發者發起請求,
0:37.616–0:41.227
zhDark Bloom的調度中心負責挑一台合適的Mac,
0:41.227–0:42.754
zh把這個請求加密發過去。
0:42.754–0:44.977
zhMac本地用MLX運行開運模型,
0:44.977–0:46.227
zh再將結果加密返回。
0:46.227–0:49.143
zh這個項目疊加了Secure Enclave,
0:49.143–0:50.671
enSecure Boot,
0:50.671–0:51.643
zh還有設備認證,
0:51.643–0:52.338
zh簽名程序,
0:52.338–0:54.560
zh內存隔離等Apple的安全機制。
0:54.560–0:55.430
zh嚴格來說,
0:55.430–0:58.212
zh雖然中央調度方仍然存在信任邊界,
0:58.212–1:00.125
zh不是絕對的端了端加密,
1:00.125–1:02.560
zh但它比一般重包算力認真的多。
1:02.560–1:04.829
zhDark Bloom的成長速度非常快,
1:04.829–1:05.711
zh今年4月上線,
1:05.711–1:07.602
zh6月介入OpenRouter,
1:07.602–1:09.619
zh7月初單日Token突破10億,
1:09.619–1:14.031
zh7月底重購MLX的連續Batching Prefail速度提升3-4倍,
1:14.031–1:17.560
zh到8月成為了OpenRouter的付費Provider。
1:17.560–1:19.083
zh今天最新數據顯示,
1:19.083–1:22.637
zhDark Bloom已經介入1380台機器,
1:22.637–1:25.006
zh網絡聚合內存123.2TB,
1:25.006–1:27.375
zhAR2大約是22.2萬美元,
1:27.375–1:28.560
zh實現一周翻倍。
1:28.560–1:30.851
zh當然它的提升空間還是很大的,
1:30.851–1:32.815
zh比如峰值利用率為15%,
1:32.815–1:35.105
zh說明願意賣算力的機器比較多,
1:35.105–1:37.560
zh而真實付費需求還沒有完全跟上。
1:37.560–1:39.560
zh另外,收益分佈其實並不均勻,
1:39.560–1:41.560
zh比如前面說的那台M5Max,
1:41.560–1:43.417
zh它一天是賺了4.11美元,
1:43.417–1:45.989
zh同時還有另一台M324GB的Mac,
1:45.989–1:48.560
zh是在8個小時內一個任務都沒有接到的。
1:48.560–1:52.560
zh所以也許調度它更偏向高內存,認證狀態好的機器。
1:52.560–1:58.560
zh再者,它的延遲、穩定性還有知識模型數量等,勢必會繼續完善。
1:58.560–2:00.079
zh上周末,剛看到這個項目的時候,
2:00.079–2:01.598
zh想起幾年前有研究過分佈式計算,
2:01.598–2:03.725
enDistributed Computing,
2:03.725–2:06.560
zh而YouTuber Matthew Burman就這樣找到,
2:06.560–2:09.560
zhDart Bloom稱為數據中心殺手。
2:09.560–2:10.560
zh他說,
2:10.560–2:11.816
enJust imagine we have a
2:11.816–2:13.560
enmillion of these nodes set up,
2:13.560–2:14.989
enThat is major inference
2:14.989–2:16.346
enpower that anybody can
2:16.346–2:17.631
entap into at a fraction
2:17.631–2:18.989
enof the price of going to
2:18.989–2:20.560
enan open AI or an anthropic,
2:20.560–2:22.493
enand it's completely distributed,
2:22.493–2:24.827
enit's completely built by regular people。
2:24.827–2:25.823
zh當推理需求暴漲,
2:25.823–2:26.771
zh而開源模型、
2:26.771–2:28.349
zhMOE和電話技術等,
2:28.349–2:30.876
zh又正好把一部分能力壓到了Mac、
2:30.876–2:33.560
zh工作站還有AIPC這類邊緣設備上,
2:33.560–2:39.560
zh那麼原本散落在千家萬戶的沉睡算力,就有了被組織成公共基礎設施的可能。
2:39.560–2:42.576
zh數據中心仍會守住訓練和高并發推理,
2:42.576–2:46.657
zh但那些隱私敏感突發的常委的成本敏感的推理需求,
2:46.657–2:50.560
zh完全可以流向一張有可驗證邊緣設備組成的網路。
2:50.560–2:54.329
zh最後介紹一下DarkGloom的核心開發者Gajesh,
2:54.329–2:55.541
zh他7歲開始寫代碼,
2:55.541–2:57.560
zh10歲給創業公司做聊天機器人,
2:57.560–3:01.507
zh13歲創建了一個基於區塊鏈的加密貨幣理財管理工具,
3:01.507–3:04.192
zh資產管理規模一度達到700萬美元,
3:04.192–3:06.560
zh15歲加入EigenLabs,
3:06.560–3:11.560
zh今年Gajesh干滿18歲,致力於打造開放網絡,加速開放智能。
3:11.560–3:13.560
zh這期節目就到這裡,Thanks for listening!
3:13.560–3:15.560
zh我是Kyoli,Thanks for listening!
0:00.000–0:03.715
大家好,最近一個名為Dark Bloom的項目,
0:03.715–0:04.523
熱度驟增。
0:04.523–0:08.238
它可以把許多閒置的Mac設備連成一個算力網絡。
0:08.238–0:13.892
有人就把一台M5Mac 128GB內存的Mac進入了Dark Bloom,
0:13.892–0:16.799
24小時內處理了13000多個請求,
0:16.799–0:18.414
賺到了4.11美元,
0:18.414–0:19.545
並且體現成功。
0:19.545–0:20.353
至於電費,
0:20.353–0:23.906
大約賺到收入的5%以及磨損其實都構不成問題。
0:23.906–0:24.714
也就是說,
0:24.714–0:26.976
在你桌上的Mac不用的時候,
0:26.976–0:28.591
它可以替別人跑AI,
0:28.591–0:29.560
順帶賺點錢。
0:29.560–0:31.504
至少前沿模型的訂閱費就有了。
0:31.504–0:34.838
這個由Icon Labs推出的分布式AI推理網絡,
0:34.838–0:36.088
機制大概有這幾步。
0:36.088–0:36.588
首先,
0:36.588–0:37.616
開發者發起請求,
0:37.616–0:41.227
Dark Bloom的調度中心負責挑一台合適的Mac,
0:41.227–0:42.754
把這個請求加密發過去。
0:42.754–0:44.977
Mac本地用MLX運行開運模型,
0:44.977–0:46.227
再將結果加密返回。
0:46.227–0:49.143
這個項目疊加了Secure Enclave,
0:49.143–0:50.671
Secure Boot,
0:50.671–0:51.643
還有設備認證,
0:51.643–0:52.338
簽名程序,
0:52.338–0:54.560
內存隔離等Apple的安全機制。
0:54.560–0:55.430
嚴格來說,
0:55.430–0:58.212
雖然中央調度方仍然存在信任邊界,
0:58.212–1:00.125
不是絕對的端了端加密,
1:00.125–1:02.560
但它比一般重包算力認真的多。
1:02.560–1:04.829
Dark Bloom的成長速度非常快,
1:04.829–1:05.711
今年4月上線,
1:05.711–1:07.602
6月介入OpenRouter,
1:07.602–1:09.619
7月初單日Token突破10億,
1:09.619–1:14.031
7月底重購MLX的連續Batching Prefail速度提升3-4倍,
1:14.031–1:17.560
到8月成為了OpenRouter的付費Provider。
1:17.560–1:19.083
今天最新數據顯示,
1:19.083–1:22.637
Dark Bloom已經介入1380台機器,
1:22.637–1:25.006
網絡聚合內存123.2TB,
1:25.006–1:27.375
AR2大約是22.2萬美元,
1:27.375–1:28.560
實現一周翻倍。
1:28.560–1:30.851
當然它的提升空間還是很大的,
1:30.851–1:32.815
比如峰值利用率為15%,
1:32.815–1:35.105
說明願意賣算力的機器比較多,
1:35.105–1:37.560
而真實付費需求還沒有完全跟上。
1:37.560–1:39.560
另外,收益分佈其實並不均勻,
1:39.560–1:41.560
比如前面說的那台M5Max,
1:41.560–1:43.417
它一天是賺了4.11美元,
1:43.417–1:45.989
同時還有另一台M324GB的Mac,
1:45.989–1:48.560
是在8個小時內一個任務都沒有接到的。
1:48.560–1:52.560
所以也許調度它更偏向高內存,認證狀態好的機器。
1:52.560–1:58.560
再者,它的延遲、穩定性還有知識模型數量等,勢必會繼續完善。
1:58.560–2:00.079
上周末,剛看到這個項目的時候,
2:00.079–2:01.598
想起幾年前有研究過分佈式計算,
2:01.598–2:03.725
Distributed Computing,
2:03.725–2:06.560
而YouTuber Matthew Burman就這樣找到,
2:06.560–2:09.560
Dart Bloom稱為數據中心殺手。
2:09.560–2:10.560
他說,
2:10.560–2:11.816
Just imagine we have a
2:11.816–2:13.560
million of these nodes set up,
2:13.560–2:14.989
That is major inference
2:14.989–2:16.346
power that anybody can
2:16.346–2:17.631
tap into at a fraction
2:17.631–2:18.989
of the price of going to
2:18.989–2:20.560
an open AI or an anthropic,
2:20.560–2:22.493
and it's completely distributed,
2:22.493–2:24.827
it's completely built by regular people。
2:24.827–2:25.823
當推理需求暴漲,
2:25.823–2:26.771
而開源模型、
2:26.771–2:28.349
MOE和電話技術等,
2:28.349–2:30.876
又正好把一部分能力壓到了Mac、
2:30.876–2:33.560
工作站還有AIPC這類邊緣設備上,
2:33.560–2:39.560
那麼原本散落在千家萬戶的沉睡算力,就有了被組織成公共基礎設施的可能。
2:39.560–2:42.576
數據中心仍會守住訓練和高并發推理,
2:42.576–2:46.657
但那些隱私敏感突發的常委的成本敏感的推理需求,
2:46.657–2:50.560
完全可以流向一張有可驗證邊緣設備組成的網路。
2:50.560–2:54.329
最後介紹一下DarkGloom的核心開發者Gajesh,
2:54.329–2:55.541
他7歲開始寫代碼,
2:55.541–2:57.560
10歲給創業公司做聊天機器人,
2:57.560–3:01.507
13歲創建了一個基於區塊鏈的加密貨幣理財管理工具,
3:01.507–3:04.192
資產管理規模一度達到700萬美元,
3:04.192–3:06.560
15歲加入EigenLabs,
3:06.560–3:11.560
今年Gajesh干滿18歲,致力於打造開放網絡,加速開放智能。
3:11.560–3:13.560
這期節目就到這裡,Thanks for listening!
3:13.560–3:15.560
我是Kyoli,Thanks for listening!
0:00.000–0:03.715
zh大家好,最近一個名為Dark Bloom的項目,
大家好,最近一個名為Dark Bloom的項目,
0:03.715–0:04.523
zh熱度驟增。
熱度驟增。
0:04.523–0:08.238
zh它可以把許多閒置的Mac設備連成一個算力網絡。
它可以把許多閒置的Mac設備連成一個算力網絡。
0:08.238–0:13.892
zh有人就把一台M5Mac 128GB內存的Mac進入了Dark Bloom,
有人就把一台M5Mac 128GB內存的Mac進入了Dark Bloom,
0:13.892–0:16.799
zh24小時內處理了13000多個請求,
24小時內處理了13000多個請求,
0:16.799–0:18.414
zh賺到了4.11美元,
賺到了4.11美元,
0:18.414–0:19.545
zh並且體現成功。
並且體現成功。
0:19.545–0:20.353
zh至於電費,
至於電費,
0:20.353–0:23.906
zh大約賺到收入的5%以及磨損其實都構不成問題。
大約賺到收入的5%以及磨損其實都構不成問題。
0:23.906–0:24.714
zh也就是說,
也就是說,
0:24.714–0:26.976
zh在你桌上的Mac不用的時候,
在你桌上的Mac不用的時候,
0:26.976–0:28.591
zh它可以替別人跑AI,
它可以替別人跑AI,
0:28.591–0:29.560
zh順帶賺點錢。
順帶賺點錢。
0:29.560–0:31.504
zh至少前沿模型的訂閱費就有了。
至少前沿模型的訂閱費就有了。
0:31.504–0:34.838
zh這個由Icon Labs推出的分布式AI推理網絡,
這個由Icon Labs推出的分布式AI推理網絡,
0:34.838–0:36.088
zh機制大概有這幾步。
機制大概有這幾步。
0:36.088–0:36.588
zh首先,
首先,
0:36.588–0:37.616
zh開發者發起請求,
開發者發起請求,
0:37.616–0:41.227
zhDark Bloom的調度中心負責挑一台合適的Mac,
Dark Bloom的調度中心負責挑一台合適的Mac,
0:41.227–0:42.754
zh把這個請求加密發過去。
把這個請求加密發過去。
0:42.754–0:44.977
zhMac本地用MLX運行開運模型,
Mac本地用MLX運行開運模型,
0:44.977–0:46.227
zh再將結果加密返回。
再將結果加密返回。
0:46.227–0:49.143
zh這個項目疊加了Secure Enclave,
這個項目疊加了Secure Enclave,
0:49.143–0:50.671
enSecure Boot,
Secure Boot,
0:50.671–0:51.643
zh還有設備認證,
還有設備認證,
0:51.643–0:52.338
zh簽名程序,
簽名程序,
0:52.338–0:54.560
zh內存隔離等Apple的安全機制。
內存隔離等Apple的安全機制。
0:54.560–0:55.430
zh嚴格來說,
嚴格來說,
0:55.430–0:58.212
zh雖然中央調度方仍然存在信任邊界,
雖然中央調度方仍然存在信任邊界,
0:58.212–1:00.125
zh不是絕對的端了端加密,
不是絕對的端了端加密,
1:00.125–1:02.560
zh但它比一般重包算力認真的多。
但它比一般重包算力認真的多。
1:02.560–1:04.829
zhDark Bloom的成長速度非常快,
Dark Bloom的成長速度非常快,
1:04.829–1:05.711
zh今年4月上線,
今年4月上線,
1:05.711–1:07.602
zh6月介入OpenRouter,
6月介入OpenRouter,
1:07.602–1:09.619
zh7月初單日Token突破10億,
7月初單日Token突破10億,
1:09.619–1:14.031
zh7月底重購MLX的連續Batching Prefail速度提升3-4倍,
7月底重購MLX的連續Batching Prefail速度提升3-4倍,
1:14.031–1:17.560
zh到8月成為了OpenRouter的付費Provider。
到8月成為了OpenRouter的付費Provider。
1:17.560–1:19.083
zh今天最新數據顯示,
今天最新數據顯示,
1:19.083–1:22.637
zhDark Bloom已經介入1380台機器,
Dark Bloom已經介入1380台機器,
1:22.637–1:25.006
zh網絡聚合內存123.2TB,
網絡聚合內存123.2TB,
1:25.006–1:27.375
zhAR2大約是22.2萬美元,
AR2大約是22.2萬美元,
1:27.375–1:28.560
zh實現一周翻倍。
實現一周翻倍。
1:28.560–1:30.851
zh當然它的提升空間還是很大的,
當然它的提升空間還是很大的,
1:30.851–1:32.815
zh比如峰值利用率為15%,
比如峰值利用率為15%,
1:32.815–1:35.105
zh說明願意賣算力的機器比較多,
說明願意賣算力的機器比較多,
1:35.105–1:37.560
zh而真實付費需求還沒有完全跟上。
而真實付費需求還沒有完全跟上。
1:37.560–1:39.560
zh另外,收益分佈其實並不均勻,
另外,收益分佈其實並不均勻,
1:39.560–1:41.560
zh比如前面說的那台M5Max,
比如前面說的那台M5Max,
1:41.560–1:43.417
zh它一天是賺了4.11美元,
它一天是賺了4.11美元,
1:43.417–1:45.989
zh同時還有另一台M324GB的Mac,
同時還有另一台M324GB的Mac,
1:45.989–1:48.560
zh是在8個小時內一個任務都沒有接到的。
是在8個小時內一個任務都沒有接到的。
1:48.560–1:52.560
zh所以也許調度它更偏向高內存,認證狀態好的機器。
所以也許調度它更偏向高內存,認證狀態好的機器。
1:52.560–1:58.560
zh再者,它的延遲、穩定性還有知識模型數量等,勢必會繼續完善。
再者,它的延遲、穩定性還有知識模型數量等,勢必會繼續完善。
1:58.560–2:00.079
zh上周末,剛看到這個項目的時候,
上周末,剛看到這個項目的時候,
2:00.079–2:01.598
zh想起幾年前有研究過分佈式計算,
想起幾年前有研究過分佈式計算,
2:01.598–2:03.725
enDistributed Computing,
Distributed Computing,
2:03.725–2:06.560
zh而YouTuber Matthew Burman就這樣找到,
而YouTuber Matthew Burman就這樣找到,
2:06.560–2:09.560
zhDart Bloom稱為數據中心殺手。
Dart Bloom稱為數據中心殺手。
2:09.560–2:10.560
zh他說,
他說,
2:10.560–2:11.816
enJust imagine we have a
Just imagine we have a
2:11.816–2:13.560
enmillion of these nodes set up,
million of these nodes set up,
2:13.560–2:14.989
enThat is major inference
That is major inference
2:14.989–2:16.346
enpower that anybody can
power that anybody can
2:16.346–2:17.631
entap into at a fraction
tap into at a fraction
2:17.631–2:18.989
enof the price of going to
of the price of going to
2:18.989–2:20.560
enan open AI or an anthropic,
an open AI or an anthropic,
2:20.560–2:22.493
enand it's completely distributed,
and it's completely distributed,
2:22.493–2:24.827
enit's completely built by regular people。
it's completely built by regular people。
2:24.827–2:25.823
zh當推理需求暴漲,
當推理需求暴漲,
2:25.823–2:26.771
zh而開源模型、
而開源模型、
2:26.771–2:28.349
zhMOE和電話技術等,
MOE和電話技術等,
2:28.349–2:30.876
zh又正好把一部分能力壓到了Mac、
又正好把一部分能力壓到了Mac、
2:30.876–2:33.560
zh工作站還有AIPC這類邊緣設備上,
工作站還有AIPC這類邊緣設備上,
2:33.560–2:39.560
zh那麼原本散落在千家萬戶的沉睡算力,就有了被組織成公共基礎設施的可能。
那麼原本散落在千家萬戶的沉睡算力,就有了被組織成公共基礎設施的可能。
2:39.560–2:42.576
zh數據中心仍會守住訓練和高并發推理,
數據中心仍會守住訓練和高并發推理,
2:42.576–2:46.657
zh但那些隱私敏感突發的常委的成本敏感的推理需求,
但那些隱私敏感突發的常委的成本敏感的推理需求,
2:46.657–2:50.560
zh完全可以流向一張有可驗證邊緣設備組成的網路。
完全可以流向一張有可驗證邊緣設備組成的網路。
2:50.560–2:54.329
zh最後介紹一下DarkGloom的核心開發者Gajesh,
最後介紹一下DarkGloom的核心開發者Gajesh,
2:54.329–2:55.541
zh他7歲開始寫代碼,
他7歲開始寫代碼,
2:55.541–2:57.560
zh10歲給創業公司做聊天機器人,
10歲給創業公司做聊天機器人,
2:57.560–3:01.507
zh13歲創建了一個基於區塊鏈的加密貨幣理財管理工具,
13歲創建了一個基於區塊鏈的加密貨幣理財管理工具,
3:01.507–3:04.192
zh資產管理規模一度達到700萬美元,
資產管理規模一度達到700萬美元,
3:04.192–3:06.560
zh15歲加入EigenLabs,
15歲加入EigenLabs,
3:06.560–3:11.560
zh今年Gajesh干滿18歲,致力於打造開放網絡,加速開放智能。
今年Gajesh干滿18歲,致力於打造開放網絡,加速開放智能。
3:11.560–3:13.560
zh這期節目就到這裡,Thanks for listening!
這期節目就到這裡,Thanks for listening!
3:13.560–3:15.560
zh我是Kyoli,Thanks for listening!
我是Kyoli,Thanks for listening!