1
00:00:00,000 --> 00:00:29,560
大家好,最近一個名為Dark Bloom的項目,熱度驟增。它可以把許多閒置的Mac設備連成一個算力網絡。有人就把一台M5Mac 128GB內存的Mac進入了Dark Bloom,24小時內處理了13000多個請求,賺到了4.11美元,並且體現成功。至於電費,大約賺到收入的5%以及磨損其實都構不成問題。也就是說,在你桌上的Mac不用的時候,它可以替別人跑AI,順帶賺點錢。

2
00:00:29,560 --> 00:00:54,560
至少前沿模型的訂閱費就有了。這個由Icon Labs推出的分布式AI推理網絡,機制大概有這幾步。首先,開發者發起請求,Dark Bloom的調度中心負責挑一台合適的Mac,把這個請求加密發過去。Mac本地用MLX運行開運模型,再將結果加密返回。這個項目疊加了Secure Enclave,Secure Boot,還有設備認證,簽名程序,內存隔離等Apple的安全機制。

3
00:00:54,560 --> 00:01:02,560
嚴格來說,雖然中央調度方仍然存在信任邊界,不是絕對的端了端加密,但它比一般重包算力認真的多。

4
00:01:02,560 --> 00:01:17,560
Dark Bloom的成長速度非常快,今年4月上線,6月介入OpenRouter,7月初單日Token突破10億,7月底重購MLX的連續Batching Prefail速度提升3-4倍,到8月成為了OpenRouter的付費Provider。

5
00:01:17,560 --> 00:01:28,560
今天最新數據顯示,Dark Bloom已經介入1380台機器,網絡聚合內存123.2TB,AR2大約是22.2萬美元,實現一周翻倍。

6
00:01:28,560 --> 00:01:37,560
當然它的提升空間還是很大的,比如峰值利用率為15%,說明願意賣算力的機器比較多,而真實付費需求還沒有完全跟上。

7
00:01:37,560 --> 00:01:48,560
另外,收益分佈其實並不均勻,比如前面說的那台M5Max,它一天是賺了4.11美元,同時還有另一台M324GB的Mac,是在8個小時內一個任務都沒有接到的。

8
00:01:48,560 --> 00:01:52,560
所以也許調度它更偏向高內存,認證狀態好的機器。

9
00:01:52,560 --> 00:01:58,560
再者,它的延遲、穩定性還有知識模型數量等,勢必會繼續完善。

10
00:01:58,560 --> 00:02:06,560
上周末,剛看到這個項目的時候,想起幾年前有研究過分佈式計算,Distributed Computing,而YouTuber Matthew Burman就這樣找到,

11
00:02:06,560 --> 00:02:09,560
Dart Bloom稱為數據中心殺手。

12
00:02:09,560 --> 00:02:10,560
他說,

13
00:02:10,560 --> 00:02:13,560
Just imagine we have a million of these nodes set up,

14
00:02:13,560 --> 00:02:20,560
That is major inference power that anybody can tap into at a fraction of the price of going to an open AI or an anthropic,

15
00:02:20,560 --> 00:02:24,560
and it's completely distributed,it's completely built by regular people。

16
00:02:24,560 --> 00:02:33,560
當推理需求暴漲,而開源模型、MOE和電話技術等,又正好把一部分能力壓到了Mac、工作站還有AIPC這類邊緣設備上,

17
00:02:33,560 --> 00:02:39,560
那麼原本散落在千家萬戶的沉睡算力,就有了被組織成公共基礎設施的可能。

18
00:02:39,560 --> 00:02:50,560
數據中心仍會守住訓練和高并發推理,但那些隱私敏感突發的常委的成本敏感的推理需求,完全可以流向一張有可驗證邊緣設備組成的網路。

19
00:02:50,560 --> 00:02:57,560
最後介紹一下DarkGloom的核心開發者Gajesh,他7歲開始寫代碼,10歲給創業公司做聊天機器人,

20
00:02:57,560 --> 00:03:06,560
13歲創建了一個基於區塊鏈的加密貨幣理財管理工具,資產管理規模一度達到700萬美元,15歲加入EigenLabs,

21
00:03:06,560 --> 00:03:11,560
今年Gajesh干滿18歲,致力於打造開放網絡,加速開放智能。

22
00:03:11,560 --> 00:03:13,560
這期節目就到這裡,Thanks for listening!

23
00:03:13,560 --> 00:03:15,560
我是Kyoli,Thanks for listening!