0:04.333–0:04.700
zh哈囉，大家好
0:04.700–0:05.800
zh歡迎收聽科技浪
0:05.833–0:06.933
zh我是主持人哈利
0:06.966–0:09.833
zh科技浪是一個白話跟你聊科技的 Podcast
0:09.866–0:11.233
zh希望可以用簡單易懂
0:11.233–0:16.466
zh但是又深入的方式，帶你了解時下最火的科技話題
0:16.500–0:19.366
zh本期節目由犀牛盾贊助播出
0:19.366–0:19.600
zh好
0:19.600–0:20.866
zh那過去這一週
0:20.900–0:23.733
zh就是算是蘋果發表會結束的第二週
0:23.766–0:27.000
zh就是有一些初步的評測都已經出來了嘛
0:27.000–0:27.200
zh對不對？
0:27.200–0:30.533
zh我不知道大家看到這個 iPhone 18 Pro
0:30.566–0:32.600
zh有沒有決定要購買呢？
0:32.633–0:33.633
zh當然
0:33.666–0:35.866
zh跟 17 Pro 比起來
0:35.900–0:39.600
zh確實沒有多少的更新，對不對？
0:39.600–0:41.866
zh但我自己還是會換
0:41.866–0:45.800
zh因為我現在其實原本我的 iPhone
0:45.833–0:51.000
zh我有很多支手機，那 iPhone 就是有一支 17 Pro
0:51.033–0:54.300
zh它也算是我主要的手機之一
0:54.333–0:58.166
zh那我還是會想換成 18 Pro，是為什麼呢？
0:58.166–1:01.500
zh其實，老實說啦，單純看這個
1:01.500–1:06.266
zh就目前看 CP 值，真的是沒有到那麼高，OK
1:06.566–1:08.333
zh就你換了之後，你得到什麼？
1:08.433–1:14.466
zh就更好的電池續航跟晶片效能以及相機
1:14.500–1:16.966
zh那相機那邊就是有個可變光圈嘛
1:17.000–1:17.700
zh對不對？
1:17.700–1:19.000
zh然後當然還有顏色啦
1:19.500–1:21.300
zh顏色對我來說還好啦
1:21.933–1:23.700
zh好，那你就得到這些嘛
1:23.700–1:26.600
zh那這個真的值得你多花那一兩萬塊嗎？
1:27.000–1:29.066
zh我覺得對於很多人來說
1:29.066–1:32.833
zh就現有的體驗來說是真的沒有到很值得，OK
1:33.066–1:37.333
zh然後我自己本人，就我目前的使用狀況呢
1:37.333–1:39.566
zh確實也真的沒有必要
1:39.600–1:41.966
zh就是多花這一筆錢這樣子
1:42.000–1:43.733
zh但我還是會換，是為什麼？
1:44.566–1:47.766
zh因為我的想法是比較接近，我買了先放著
1:47.900–1:51.033
zh這個能力我覺得我未來會用到，我買了先放著
1:51.200–1:52.133
zh我現在還用不到
1:52.533–1:56.566
zh我們今天這集業配時間比較長一點
1:56.600–2:00.266
zh剛好願意跟大家分享一些我自己的想法
2:00.300–2:02.633
zh我們現在都還沒講到業配產品
2:03.166–2:07.000
zh反正我的想法就是，因為這個 iPhone 18 Pro
2:07.000–2:11.100
zh他們用了這個新的晶片，叫做 A20 Pro 的晶片嘛
2:11.133–2:11.666
zh對不對？
2:11.666–2:14.433
zh它跟上一代 A19 Pro 比起來呢
2:14.466–2:17.900
zh當然就是在各方面的表現都有提升啊
2:17.933–2:18.966
zh那他們 demo
2:18.966–2:21.866
zh很多打遊戲的散熱效果比較好啊等等的
2:21.900–2:24.766
zh但那些評測員都沒有 demo 到的一點
2:24.766–2:26.633
zh是它的 AI 運算的表現
2:26.900–2:30.266
zh它的 AI 運算表現不是提升一點點而已喔
2:30.266–2:31.500
zh提升非常多喔
2:31.566–2:35.833
zh我看有一個網友發了他的測試在 X 上面
2:35.833–2:40.900
zh他是跑 On-Device 的 Apple Foundation Model
2:40.933–2:45.733
zh他發現一個長 prompt 的 time to first token
2:45.733–2:50.633
zh直接從 A19 Pro 的 2000 多毫秒變成 1000 毫秒
2:50.666–2:52.533
zh直接砍半
2:52.533–2:54.666
zh整個 time to first token 都快非常多
2:54.900–2:58.866
zh當然，我知道很多人就會說，蘋果根本就沒有 AI
2:58.900–3:00.633
zh那你現在買來放著有什麼用？
3:00.633–3:03.533
zh我覺得快了啦，真的快了啦
3:03.700–3:05.166
zh你聽我們之前在分析
3:05.166–3:07.266
zhApple Intelligence 的那幾集
3:07.300–3:09.700
zhApple Foundation Model 的那幾集
3:09.700–3:14.766
zh你就會知道蘋果在這邊已經有在做準備了
3:14.800–3:17.400
zh尤其像這個更強的 Siri，iOS 27
3:17.433–3:21.000
zh其實我不知道這個中文版到底什麼時候會推出
3:21.000–3:22.766
zh但我覺得
3:22.766–3:24.566
zh如果推出的時候
3:24.600–3:29.100
zh大家中文版用到的是接近英文版的這種滿血狀態的話
3:29.100–3:30.200
zh會很有感啦
3:30.233–3:30.433
zh真的
3:30.466–3:31.766
zh那如果你已經準備好
3:31.766–3:33.633
zh要下單 iPhone 18 Pro 了
3:33.666–3:35.300
zh手機殼也必須先準備好
3:35.300–3:38.566
zh那這次要跟大家介紹我最近最喜歡的
3:38.600–3:40.133
zh這個太空級防摔
3:40.133–3:42.800
zh犀牛盾 AirX 極致氣墊緩衝殼
3:42.800–3:45.666
zh那 AirX 的防護到底有多強呢？
3:45.700–3:49.400
zh你知道犀牛盾他們把 AirX 送到瑞典太空中心
3:49.400–3:52.733
zh進行超過三萬公尺近太空高度的摔落測試
3:52.766–3:53.800
zh你沒聽錯喔
3:53.833–3:55.000
zh三萬公尺
3:55.000–3:59.800
zh那它經歷了，這個手機包著殼，經歷了極致低溫
3:59.833–4:03.533
zh真空環境跟高空落下來的衝擊之後呢
4:03.533–4:06.166
zh手機竟然還可以正常使用
4:06.166–4:08.800
zh這個是創下了全新的世界紀錄的
4:08.833–4:11.300
zh那 AirX 可以做到這件事情呢
4:11.333–4:15.133
zh關鍵就在於 AirX 裡面有 360 度的包覆式氣囊
4:15.133–4:18.700
zh搭配了這個犀牛盾獨家的內傷防護複合系統
4:18.733–4:21.933
zh可以把摔落瞬間的衝擊力給分散吸收掉
4:21.933–4:22.966
zh那你可以想像
4:23.000–4:25.533
zh就是我們幫手機裝上了一圈安全氣囊
4:25.533–4:28.466
zh可以降低摔落的受損機會
4:28.466–4:29.733
zh如果你挑手機殼
4:29.766–4:31.600
zh也很在意顏色跟手感的話
4:31.633–4:36.100
zh可以看看犀牛盾的 SolidX 強化吸震緩衝殼
4:36.100–4:37.533
zh這個 SolidX
4:37.566–4:42.033
zh它的霧透系列可以透出 iPhone 本身的顏色
4:42.066–4:45.733
zh很百搭，再加上它很細緻的磨砂質感
4:45.733–4:47.233
zh摸起來很舒服
4:47.233–4:49.800
zh也抗污耐髒。內側四個角落
4:49.833–4:51.200
zh也是有緩衝槽的
4:51.233–4:54.866
zh所以它的外型跟防護都有顧到
4:54.866–4:58.100
zh也很好拆裝。另外也有其他的
4:58.133–5:00.666
zh像是主打終身抗黃保固
5:00.700–5:05.333
zh如果變黃了，可以免費換新的 Clear 透明殼系列
5:05.333–5:09.100
zh以及全新的裸機感 Bumper 邊框殼
5:09.133–5:12.966
zh連螢幕、鏡頭保護都可以一起備齊
5:13.000–5:14.933
zh現在購買任何一款手機殼
5:14.933–5:16.800
zh保護貼還有限時 7 折起
5:17.600–5:19.200
zh舊殼也不要急著丟
5:19.233–5:21.400
zh犀牛盾現在有 RHINOLOOP
5:21.400–5:23.566
zh手機殼回收計畫的大進化
5:23.566–5:26.466
zh加入官方會員，完成手機驗證
5:26.466–5:28.533
zh再啟動舊殼回收的話
5:28.566–5:31.100
zh新殼就可以折抵 500 塊
5:31.100–5:33.766
zh那或是你在官網結帳的時候呢
5:33.800–5:35.900
zh輸入我們哈利的折扣碼
5:35.900–5:40.333
zh這個科技浪的限時折扣碼 i18-harry，小寫的 i
5:40.333–5:44.133
zh然後 18，然後 dash harry，都是小寫的
5:44.166–5:47.666
zh這個我們在本集資訊欄也會提供折扣碼
5:47.666–5:51.766
zh你就可以訂單直接滿 700 塊，現折 100 塊，OK
5:52.166–5:55.466
zh所以這個連結跟折扣碼都放在節目的資訊欄
5:56.033–5:59.200
zh準備換新 iPhone 的朋友，可以記得去看看
5:59.233–6:01.433
zh來幫新手機先把防護給準備好
6:01.800–6:03.933
zh本集業配就到這邊結束，謝謝犀牛盾的贊助
6:04.333–6:08.400
zh各位，我們必須得來聊聊 Jev，J-E-V，Jev
6:08.433–6:10.666
zh過去這三天的社群媒體
6:10.666–6:12.666
zh不管是 X 還是 Threads
6:12.700–6:15.700
zh全部都是 Jev，怎麼滑都是看到 Jev
6:15.733–6:19.866
zh十篇裡面至少七八篇都是 Jev，如果你不知道的話
6:19.866–6:24.600
zh這個 Jev 是過去這一週 AI 圈最大的一個新聞
6:24.600–6:28.700
zh所有人都在討論的一個新的 AI 模型
6:28.733–6:32.533
zh那它是由一間叫做 TypeSafe AI 的公司在上禮拜推出的
6:33.000–6:35.100
zh那你如果沒有聽過 TypeSafe AI 這間公司
6:35.100–6:35.966
zh其實非常正常啦
6:35.966–6:39.066
zh因為他們基本上在上禮拜之前是
6:39.066–6:41.333
zh沒有人聽過的一間公司
6:41.366–6:42.966
zh他們 2024 年成立
6:42.966–6:46.366
zh但是兩年的時間他們都是在低調打造產品
6:46.366–6:48.666
zh就是 Stealth Mode 這樣子
6:49.300–6:55.400
zh那在上禮拜他們才終於就是推出他們的第一個模型
6:55.400–6:58.866
zh然後就也讓大家了解知道他們這樣子
6:58.900–7:03.400
zh那這模型一出來，馬上就是全網爆紅啊
7:03.433–7:06.466
zh整個 AI 圈子沒有任何其他 topic
7:06.500–7:09.833
zh大家都在講 Jev，那為什麼會這麼紅呢？
7:09.866–7:12.633
zh就是現在 AI 模型整天都在推出嘛
7:12.633–7:15.066
zh就是每個禮拜都有新模型推出來
7:15.100–7:18.433
zh為什麼這個模型會得到這麼多關注？
7:18.466–7:22.566
zh首先，最主要的原因是因為它不是一般的 AI 模型
7:22.866–7:25.566
zh它不是一個 chatbot，也不是一個 AI agent
7:25.566–7:27.400
zh它是一個 TypeSafe 把它稱作
7:27.433–7:28.933
zhSystem 1 model 的模型
7:29.366–7:30.766
zh好，那你聽這個名字
7:30.800–7:32.766
zh原本你第一次看到就覺得，哇
7:32.800–7:35.000
zh好像很炫砲耶，好像很神秘耶！
7:35.033–7:38.066
zh什麼叫做 System 1 model？感覺好像很厲害
7:38.066–7:41.300
zh然後你往下繼續看他們的這個宣傳文呢
7:41.300–7:42.900
zh你會覺得越看越扯
7:42.933–7:45.200
zh他們講了很多東西，像是說
7:45.233–7:48.033
zhJev 這個模型呢，是不會有幻覺的
7:48.066–7:52.600
zhZero Hallucinations，這個原本應該是 AI 模型
7:52.600–7:56.866
zh這個 LLM 模型的一個致命痛點的幻覺問題
7:56.900–7:58.433
zh他們竟然沒有
7:58.433–7:59.333
zh然後還寫
7:59.366–8:03.600
zh它的速度跟成本都是遠遠勝過現在的大型語言模型
8:04.033–8:05.066
zh速度快多少倍？
8:05.466–8:09.000
zh不是快一倍兩倍，是快兩百倍
8:09.533–8:11.166
zh然後成本呢？
8:11.200–8:12.600
zh便宜四百倍
8:13.100–8:15.100
zh哇，看到這邊你真的會覺得說
8:15.133–8:17.000
zh這個模型到底是何方神聖啊
8:17.300–8:19.166
zh你就忍不住想要去研究它嘛
8:19.633–8:21.166
zh那這是它爆紅的第一個原因
8:21.533–8:22.900
zh它還有另外一個原因
8:23.233–8:25.033
zh就是它的 Founder
8:25.033–8:28.666
zhTypeSafe AI 的 CEO，其實背景很硬喔
8:28.800–8:31.200
zh他的名字叫做 Diogo Almeida
8:31.233–8:32.966
zh是一個蠻騷包的 CEO
8:33.633–8:37.266
zh因為他去參加一些演講啊，Event
8:37.300–8:41.500
zh都會穿著一個粉色的那種羽絨大衣，OK
8:42.066–8:44.166
zh就很亮的很亮的那種粉色
8:44.600–8:47.533
zh就有點像是那個 One Piece 的那個 Doflamingo 那樣子
8:47.933–8:50.600
zh那反正，他的技術底子真的很硬喔
8:50.900–8:53.700
zh他是 ChatGPT 的共同發明者之一
8:54.266–8:55.800
zh差不多 2022 年
8:55.800–8:57.933
zhOpenAI 在研究怎麼把
8:57.933–9:02.033
zhGPT-3 這種只會做文字接龍的大型語言模型
9:02.033–9:04.033
zh變成是一個 chatbot
9:04.033–9:09.833
zh像是 ChatGPT 這種會跟你一來一往地聊天的模型
9:09.866–9:11.800
zh那這背後最核心的技術呢
9:12.566–9:15.733
zh就是後訓練，就是 RLHF 的這些技術
9:15.766–9:19.600
zh就是 Diogo Almeida 當時在 OpenAI 研究的
9:19.800–9:21.933
zh他們甚至後來出了一篇論文
9:21.966–9:23.933
zh然後這個 Diogo Almeida
9:23.966–9:26.100
zh是那篇論文的主要作者之一
9:26.266–9:28.900
zh所以這整件事就是一個完美頭條嘛，對不對？
9:29.400–9:29.633
zh哇
9:29.633–9:31.766
zh這個 ChatGPT 的共同發明者之一
9:31.800–9:33.733
zh竟然推出了一個 AI 模型
9:33.733–9:36.600
zh比現在的模型快兩百倍
9:36.600–9:38.333
zh然後還便宜四百倍
9:38.366–9:41.400
zh然後還永遠不會產生幻覺。哇！
9:41.400–9:43.700
zh天翻地覆，世界要改變啦！
9:43.733–9:45.766
zh那當然啦，就一如既往
9:45.766–9:50.200
zh其實很多這些 marketing 的講法都是比較偏炒作啦
9:50.233–9:54.266
zh其實事實的狀況就是，天下沒有白吃的午餐
9:54.266–9:54.566
zh好
9:54.600–9:57.033
zh你今天要做到我們剛剛講的那三件事情呢
9:57.066–10:00.933
zh你勢必要犧牲一點你們模型能夠做到的事
10:00.933–10:03.533
zh那聽完今天這集 podcast 呢
10:03.566–10:07.533
zh你就會完全理解 Jev 這個模型它到底是什麼
10:07.533–10:09.166
zh它的運作原理又是什麼
10:09.200–10:11.600
zh它的應用場景可以應用在哪些地方
10:11.600–10:13.266
zh能夠解決哪些問題
10:13.266–10:17.066
zh然後哪些場景是沒有辦法取代現在的 LLM 的
10:17.100–10:19.266
zh以及它的實測狀況如何
10:19.700–10:21.700
zh我自己也有簡單地去測試一下
10:22.166–10:24.366
zh然後最後我覺得也是非常重要的一點
10:24.400–10:25.433
zh就是 So what？
10:25.633–10:28.366
zh有了 Jev 之後，又會發生什麼事情？
10:28.633–10:31.866
zh這對於現在的 AI agent 的意義究竟是什麼？
10:32.300–10:36.666
zh我覺得 Jev 當然不像是很多的文章一樣
10:36.700–10:38.600
zh講得會改變世界
10:38.600–10:44.133
zh但是它確實，必須說，是一個重要的技術趨勢
10:44.166–10:46.000
zh它確實是會改變一些事情
10:46.533–10:47.733
zh好，那首先呢
10:47.733–10:50.766
zh我們就先從 Jev 到底是什麼開始聊起
10:51.300–10:53.633
zh好，那當然這個 TypeSafe AI 是把它稱作
10:53.633–10:55.666
zh一個 System 1 model 嘛，對不對？
10:56.100–10:57.566
zh好，但你直接這樣子講
10:57.566–10:59.300
zh沒有人會知道它是什麼的啦
10:59.600–11:02.600
zh好，其實一個最精準的講法
11:02.633–11:04.166
zh我會把它稱作一個
11:04.166–11:08.300
enLLM-based general-purpose classification model
11:08.333–11:12.766
zh中文可以翻成基於大型語言模型的通用分類模型
11:12.766–11:15.166
zhOK，那當然我知道 TypeSafe AI
11:15.200–11:17.900
zh他們官方絕對不會認同這樣子的定義
11:17.933–11:21.566
zh因為他們就是很明顯地想要跟 LLM 切割嘛
11:21.566–11:22.866
zh然後做出差別
11:22.900–11:24.766
zh才會把它叫做 System 1 model
11:24.800–11:27.133
zh但是我覺得最精準的講法應該是這樣子
11:27.166–11:28.466
zh我自己認為
11:28.466–11:31.966
zh那當然這一句話聽起來很長很複雜
11:32.000–11:33.766
zh很多人可能一時之間沒有辦法
11:33.766–11:35.133
zh完全理解它是什麼意思
11:35.166–11:36.900
zh所以我們把它 break down
11:36.933–11:39.166
zh我們把它拆出幾個重要的觀念來看
11:39.166–11:40.300
zh先看最後一句喔
11:40.333–11:43.600
zhJev 是一個 classification model 分類模型
11:43.633–11:46.166
zh意思就是說它只能做分類工作
11:46.166–11:48.966
zh它不能產生文字、圖片或是程式碼
11:49.000–11:51.233
zh這邊其實就是跟一般的這些
11:51.266–11:54.866
zhAI agent、AI chatbot 很不一樣的地方嘛
11:54.866–11:55.766
zh對不對？
11:55.800–11:57.466
zh所謂的分類工作呢
11:57.466–12:01.700
zh就真的是針對一個情況或是一個物件去幫它做分類
12:01.733–12:04.500
zh就比如說你拿到一個客服的訊息
12:04.500–12:06.533
zh一個客人的抱怨的訊息
12:06.566–12:08.400
zh那你要根據這個訊息
12:08.400–12:11.366
zh分辨它究竟是一個技術相關的問題
12:11.366–12:12.833
zh還是一個帳務相關的問題
12:12.866–12:14.166
zh還是一個物流相關的問題
12:14.200–12:14.866
zh等等
12:14.900–12:19.800
zh或者是根據目前你看到的這一則 email 的內容呢
12:19.833–12:22.900
zh去判斷它是不是釣魚信件
12:22.933–12:25.800
zhOK，就兩種可能而已，是或是不是
12:25.800–12:32.466
zh或者是根據履歷的內容以及你的徵才標準
12:32.466–12:37.233
zh去判斷這個應徵者跟我們職缺的適合程度有幾分
12:37.266–12:39.733
zh1 到 5 分，究竟有幾分這樣子
12:39.766–12:43.366
zh好，那像這類型的工作呢，就是 Jev 在做的
12:43.366–12:46.133
zh而且 Jev 也只能做這類型的工作
12:46.166–12:49.100
zh它不會產生文字，也不會產生圖片，好
12:49.100–12:52.900
zh你今天就是丟給它一個你要判斷的情況
12:52.933–12:56.333
zh以及這個情況之下你目前的選項有哪些
12:56.333–12:59.200
zh然後 Jev 就會直接吐給你一串機率分布
12:59.233–13:01.033
zh好，這個機率分布呢
13:01.066–13:03.966
zh就是你給它的選項當中的機率分布
13:03.966–13:04.333
enOK
13:04.366–13:06.366
zh比如說 A 選項幾% 的機率
13:06.366–13:09.266
zhB 選項幾% 的機率，C 選項幾% 這樣子
13:09.300–13:12.133
zh像是你丟給它一個客服的訊息，內容就是說
13:12.166–13:15.333
zh「我想知道一下我的包裹目前的進度。」
13:15.333–13:19.800
zh那你下面就寫出，你現在要問的問題是
13:19.800–13:22.500
zh請問這個客服的訊息呢
13:22.533–13:24.766
zh它是哪一個類別的問題？
13:24.800–13:27.400
zh然後下面有 A 選項：帳務
13:27.400–13:30.300
zhB 選項：技術，C 選項：物流
13:30.333–13:34.300
zhD 選項……然後你把這整坨東西丟給 Jev
13:34.300–13:37.200
zhJev 就會吐一個機率分布給你
13:37.233–13:40.566
zh比如說帳務機率 2%，技術機率 1%
13:40.600–13:42.466
zh然後物流機率 92%
13:42.466–13:45.700
zh然後其他選項機率幾%、幾%、幾%
13:45.733–13:49.066
zh你透過這個機率分布就可以看到說
13:49.066–13:53.766
zhJev 認為這個問題有 92% 的機會是跟物流相關的
13:53.766–13:55.000
zh所以說，好
13:55.033–13:58.333
zh這個，八成這個問題就是物流的問題這樣
13:58.366–14:01.833
zh好，你覺得 Jev 可以幫你很快地去做出這個判斷
14:02.000–14:05.033
zh然後同時，Jev 也不只是一個單純的分類模型
14:05.033–14:07.400
zh它是一個通用的分類模型
14:07.433–14:09.733
zh一個 general-purpose classification model
14:09.733–14:11.066
zh那這句話在講的呢
14:11.100–14:13.366
zh就是同樣一個 Jev 模型
14:13.400–14:16.566
zh可以解決各式各樣不同的分類問題
14:16.566–14:16.666
enOK
14:16.800–14:21.733
zh你不用再額外去訓練它去學習如何分類不同的問題
14:21.900–14:23.966
zh它自己本來就可以靠著它的
14:23.966–14:25.866
zh這個世界知識去進行判斷
14:26.266–14:28.000
zh好，你只要 context
14:28.000–14:30.766
zh就是你的問題的狀況，問題的敘述
14:30.800–14:33.766
zh還有這個該給的資訊有給足
14:33.800–14:37.066
zh它大部分的情況下都有能力可以自己判斷
14:37.100–14:39.833
zh那當然啦，我覺得有些人可能會覺得說
14:39.866–14:41.533
zh這不是理所當然的嗎？
14:42.166–14:45.933
zh現在哪一個模型不是通用的嘛，對不對？
14:46.433–14:47.600
zh但你必須要知道
14:47.633–14:49.500
zh我覺得通用這件事情
14:49.533–14:50.800
zh就是你還是得加在
14:50.833–14:53.166
zhclassification model 這個詞之前
14:53.166–14:54.433
zh因為你要知道
14:54.466–14:57.200
zh在 ChatGPT 時代之前
14:57.233–15:00.100
zh我們那時候在講 AI，其實那時候
15:00.133–15:01.000
zh甚至不是在講 AI
15:01.000–15:03.366
zh在講 machine learning 那個時候
15:03.400–15:04.433
zh在講 machine learning
15:04.466–15:06.766
zh在講機器學習的時候呢
15:06.766–15:09.500
zhclassification，也就是分類問題
15:09.500–15:11.533
zh一直以來都是一個大類別
15:11.566–15:16.166
zh很多的機器學習的演算法都是為了分類問題而設計的
15:16.566–15:20.066
zh那當然沒有任何一個演算法是可以像是現在 Jev
15:20.100–15:24.233
zh像是現在那個 ChatGPT 這麼通用的
15:24.233–15:28.766
zh全部都是針對一個你的特定問題
15:28.800–15:32.666
zh特定領域的特定問題去訓練一個模型出來
15:32.700–15:34.400
zh就比如說你們今天一個銀行
15:34.400–15:37.966
zh想要大量去判斷你們客戶的違約機率有多高
15:38.000–15:40.500
zh你就要準備大量的歷史資料
15:40.533–15:42.733
zh一筆一筆都清楚地標示了
15:42.766–15:45.166
zh這個客戶他的交易行為如何
15:45.166–15:49.433
zh他的個人資料、基本資料，然後他是否有違約
15:49.433–15:51.366
zh具體很多這種過去的資料
15:51.400–15:53.666
zh就拿這些資料去訓練一個模型
15:53.833–15:55.866
zh隨便看你要挑什麼樣子的演算法
15:56.233–15:58.800
zh有一些比較統計 based 的演算法
15:58.800–16:01.266
zh也有一些像是神經網路的演算法
16:01.633–16:04.500
zh反正你挑一個演算法，然後就訓練這個模型
16:05.100–16:07.366
zh那後續你就可以用
16:07.400–16:11.466
zh這個模型去為新的客戶去進行預測
16:11.733–16:15.533
zh預測看這個人有沒有違約的機率這樣子
16:15.900–16:19.566
zh但很明顯地，同一個模型就只會做這件事情
16:19.866–16:21.666
zh它不能同時也幫你去判斷一封
16:21.666–16:23.333
zhemail 到底是不是釣魚信件
16:23.766–16:28.000
zh它只會做你訓練資料有丟給它的事情這樣子
16:28.533–16:30.866
zh所以 classification model 已經是
16:30.866–16:32.100
enmachine learning
16:32.133–16:34.333
zh這個圈子當中已經很老的一個詞了
16:34.533–16:37.833
zh然後也是大家鑽研很久的一個技術
16:38.166–16:41.133
zh但是 Jev 我覺得可以說就是站在
16:41.166–16:44.166
zhclassification model 的頂端啦
16:44.300–16:46.933
zh它是一個通用的模型
16:47.200–16:50.466
zh任何問題，你不用訓練，不用找訓練資料
16:50.500–16:52.733
zh丟給它，它就會做了這樣子
16:52.966–16:55.066
zh那當然啦，有一些如果太偏的
16:55.100–16:57.700
zh會需要大量領域知識的問題
16:57.700–17:01.366
zhJev 也不一定能夠直接就給出一個很好的答案
17:01.400–17:04.100
zh就比如說，像我們剛剛舉的例子就蠻不錯的嘛
17:04.800–17:07.933
zh銀行內部要去判斷一個客人他的違約機率
17:08.366–17:10.700
zh那像這樣子的問題呢，因為網路上
17:10.700–17:13.166
zh它在這個 Jev，我們待會會講到 Jev
17:13.200–17:14.766
zh它是一個 LLM-based
17:14.800–17:17.033
zh它有一個大型語言模型的基底
17:17.033–17:20.066
zh它一樣是透過網路上的資料訓練出來的模型
17:20.533–17:23.200
zh網路上的資料你全部都看過
17:23.233–17:25.333
zh你也不一定可以建立起一個很好的直覺
17:25.366–17:30.366
zh就是什麼樣子的客人容易違約嘛，對不對？
17:30.366–17:34.866
zh通常還是要從銀行自己內部的資料去學習
17:34.866–17:37.933
zh你才可以建立起這邊的直覺
17:38.366–17:41.300
zh那這邊的問題可能 Jev 就沒有辦法解得很好
17:41.333–17:43.700
zh但是其實絕大多數的問題啦
17:43.733–17:47.566
zh然後很多也都是已經非常有商業價值的問題
17:47.566–17:49.800
zhJev 其實就直接可以解決了
17:49.833–17:52.933
zh待會我們也可以在講應用場景的時候再多講一些
17:53.100–17:55.033
zh好，那我們剛剛也有大概提到了嘛
17:55.066–17:56.466
zh就是這個 Jev 的模型呢
17:56.466–18:00.200
zh它之所以是一個通用的分類模型，它有通用能力呢
18:00.200–18:02.400
zh也是因為它是用一個 LLM
18:02.433–18:05.000
zh一個大型語言模型作為基底嘛
18:05.000–18:05.433
zh對不對？
18:05.433–18:06.900
zh那嚴格來說呢
18:06.933–18:10.600
zh它是用一個預訓練完的 LLM 作為基底
18:10.600–18:12.800
zh但是在後訓練的部分呢
18:12.800–18:15.400
zh它的做法跟現在典型的 LLM
18:15.433–18:18.133
zh跟 Agent 就開始有不一樣了
18:18.133–18:21.133
zh它是在後訓練的這個階段開始分歧的，OK
18:21.533–18:23.833
zh我們知道現在這些 LLM 的訓練主要
18:23.833–18:26.333
zh就是分成兩個階段嘛，預訓練跟後訓練
18:26.633–18:27.966
zh那預訓練階段
18:28.000–18:32.033
zh就是讓這個模型大量地去看網路上的訓練資料
18:32.066–18:35.833
zh然後去建立起基本的世界知識跟語言能力
18:35.833–18:40.366
zh那後訓練的部分就是建立在這個基本的能力之上
18:40.400–18:44.533
zh再去把這個模型形塑成人類想要的樣子
18:44.566–18:46.966
zh或者是會使用工具的樣子
18:47.400–18:49.800
zh所以 Jev 跟一般 LLM 的差別
18:49.800–18:53.033
zh就是差在後訓練這一段的訓練方式不同嘛
18:53.066–18:53.700
zh對不對？
18:53.700–18:56.333
zh我們一樣經過一樣的預訓練
18:56.333–18:59.566
zh就是做出了一個有世界知識的模型
19:00.000–19:01.800
zh那假設你今天想要讓
19:01.800–19:04.566
zh這個模型後續變成 ChatGPT 的話
19:04.600–19:08.133
zh你就會先讓它理解怎麼樣子跟人類溝通
19:08.133–19:10.633
zh怎麼樣子一搭一唱變成一個 chatbot
19:10.666–19:13.733
zh然後再教它怎麼樣子去使用工具
19:13.766–19:15.800
zh怎麼樣去解數學題目
19:15.833–19:20.800
zh怎麼樣子去解決一個很長時間的 coding 題目等等的
19:20.800–19:22.333
zh好，慢慢訓練這些事情
19:22.366–19:24.500
zh然後它就變成了那個 GPT-6。好
19:24.500–19:28.866
zh那如果你是想要把它變成 Jev 這樣子的模型的話呢
19:28.900–19:32.566
zh你在後訓練的過程中就不要教它怎麼吐文字了
19:32.566–19:34.800
zh不要教它給出完整的回答了
19:34.833–19:37.666
zh就直接教它怎麼吐一個機率分布就好了
19:37.666–19:40.766
zh就基於你的問題，你就是只能吐一個機率分布，OK
19:41.066–19:44.566
zh就是把它硬是變成一個單純的選擇機器
19:44.733–19:46.466
zh大概念基本上就是這樣子啦
19:46.600–19:49.700
zh好，但如果你想要再更深一步了解的話呢
19:49.733–19:52.866
zh我們接下來就來聊一些技術細節
19:52.866–19:54.900
zh那如果你不想聽的話也沒關係
19:54.933–19:57.700
zh就是本集資訊欄都有時間軸
19:57.700–20:00.833
zh這個 part 會比較細一點，比較技術一點
20:00.866–20:03.100
zh你就直接跳到下一個 part 就 OK 了
20:03.100–20:06.066
zh反正我們知道這個後訓練的部分呢
20:06.100–20:09.433
zh也是有分很多不同階段的嘛，對不對？
20:09.666–20:12.366
zh有這個 supervised fine-tuning 啊
20:12.400–20:13.833
zh有 RLHF 啊等等的
20:14.033–20:16.666
zh每個階段都有它的目的
20:17.100–20:18.100
zh像是 RLHF
20:18.100–20:22.166
enReinforcement Learning from Human Feedback
20:22.200–20:24.233
zh它在做的就是想辦法讓
20:24.233–20:26.800
zh這個模型的回答更跟人類對齊
20:26.833–20:31.800
zh就是說更自然，社會接受度更高，然後更安全
20:31.800–20:36.900
zh給出大家真的會比較喜歡的一個回答
20:36.933–20:39.633
zh另外一個 part 也是很有名的
20:39.633–20:42.600
zh是最近這兩年興起的，叫做 RLVR
20:42.633–20:47.266
enReinforcement Learning with Verifiable Rewards
20:47.733–20:52.166
zh這邊在做的就是透過讓模型去解決像數學題
20:52.166–20:54.166
zh像 coding 的問題
20:54.166–20:59.533
zh像是一些 puzzle，像是一些 tool use 的 task
20:59.566–21:02.266
zh這種有明確定義的解答
21:02.266–21:05.666
zh明確可被驗證的結果的問題
21:05.700–21:13.066
zh去訓練它的思考的能力，去嘗試解決方法的能力
21:13.100–21:17.366
zh使用工具的能力，驗證答案的能力等等
21:17.366–21:20.900
zh這個其實就是很多人在過去這兩年講到
21:20.933–21:23.400
zhRL 的時候特別在指的東西
21:23.400–21:26.033
zh就是在講 RLVR
21:26.066–21:31.266
zhTypeSafe 他們基本上不做 RLVR，也不做 RLHF
21:31.300–21:33.633
zh他們在做的是一種新的後訓練
21:33.666–21:37.433
zh他們有發明一個新的詞，叫做 RLCD
21:37.433–21:43.033
enReinforcement Learning for Calibrated Decisions
21:43.033–21:47.000
zh的中文是叫做「校準決策」
21:47.000–21:49.600
zh它的意思就是代表說
21:49.600–21:52.333
zh它這個模型必須要能夠給出
21:52.366–21:55.433
zh真的很符合現實的機率分布
21:55.433–21:56.666
zh白話來說
21:56.700–22:02.266
zh它並不是只是要求這個模型最後有選到對的分類
22:02.300–22:04.066
zh選到對的選項而已
22:04.100–22:09.266
zh它還會要求這個模型給出的機率分布是符合事實的
22:09.400–22:11.000
zh應該說盡量接近事實
22:11.466–22:15.066
zh因為真實世界中的很多問題也不是非黑即白的
22:15.300–22:18.433
zh同樣的一件事情，同樣的一個回覆
22:18.466–22:22.466
zh其實在各種不同的狀況之下也會有不一樣的解讀
22:22.466–22:26.133
zh然後有時候也真的就是有一些機率成分在裡面嘛
22:26.166–22:27.000
zh對不對？
22:27.333–22:28.366
zh就比如說
22:28.366–22:31.800
zh你今天的任務是判斷餐廳 Google
22:31.833–22:36.033
zh評論下面的留言到底是正面的還是負面的
22:36.033–22:42.100
zh假設有一句留言是寫說：「這間餐廳真的很扯」有寫到這句話
22:42.500–22:44.500
zh那可能 80% 的情況之下
22:44.533–22:47.700
zh這個人是覺得這間餐廳很爛，對不對？
22:48.100–22:50.200
zh但其實同樣一句話也是可以
22:50.233–22:52.000
zh就是比較少人這樣用啦
22:52.000–22:54.366
zh但是可能 20% 的狀況之下
22:54.400–22:57.633
zh有些人也是會把這句話拿來當稱讚嘛
22:57.666–22:58.100
zh對不對？
22:58.100–23:00.733
zh他可能說：「真的很扯 竟然做出這麼好吃的 burger！」嘛
23:00.766–23:01.233
zh對不對？
23:01.633–23:05.266
zh所以 TypeSafe AI 透過 RLCD 的訓練目標
23:05.300–23:10.400
zh就是希望讓 Jev 遇到「這個餐廳真的很扯」這句話的時候呢
23:10.400–23:14.866
zh它會吐出 80% 負面這樣子的一個答案
23:14.900–23:18.033
zh那具體來說，這個 RLCD 究竟是怎麼做的？
23:18.066–23:19.633
zhTypeSafe AI 沒有講
23:19.900–23:21.900
zh這個算是他們的 Secret Sauce
23:21.900–23:24.266
zh他們的商業機密的部分啦，對不對？
23:25.466–23:29.900
zhJev 的整個模型，他們有講的東西確實沒有很多
23:29.933–23:31.733
zh它是一個閉源模型
23:32.400–23:35.333
zhJev，他們今天 TypeSafe 也就只有釋出
23:35.333–23:37.533
zhJev 的這個 API 的 endpoint
23:37.566–23:41.200
zh所以說你能做的就是看到 Jev 這個 API
23:41.233–23:43.900
zh你的 input、output 是什麼
23:43.900–23:45.066
zh就這樣子而已
23:45.066–23:47.866
zh你實在不知道這個模型它的架構是什麼
23:47.900–23:49.733
zh然後它經過什麼樣子的訓練
23:49.733–23:52.866
zh以及甚至它的 pure output 是什麼
23:52.866–23:54.566
zh你其實也不太知道
23:54.600–23:57.466
zh但在所有的商業機密當中呢
23:57.466–24:01.100
zh最重要的，我覺得是 Data 跟 RLCD
24:01.400–24:03.833
zh其實 Diogo 他本人也有大概講到這一點
24:04.633–24:08.233
zh這個模型本身的架構其實沒有到非常重要啦
24:08.333–24:11.800
zh雖然說他們確實說 Jev 的架構有一些更新
24:12.233–24:14.866
zh它並不是真的就是跟現在的
24:14.866–24:17.100
zhLLM 完全長得一模一樣
24:17.100–24:19.033
zh只是訓練方式不一樣而已
24:19.033–24:19.500
zh並沒有
24:19.766–24:21.900
zh它架構上也是有一些創新
24:21.933–24:24.700
zh但那個不是 Jev 它最厲害的地方
24:25.166–24:29.166
zhJev 它最厲害的地方是它的 RLCD 的 recipe
24:29.200–24:32.333
zh它整個食譜跟它的訓練資料這樣子
24:32.866–24:34.000
zh不知道他們怎麼搞的
24:34.266–24:37.533
zh好，那這邊畢竟全部都是一個謎
24:37.566–24:39.333
zh所以我們就也不講太多了
24:39.366–24:41.000
zh就也沒有意義嘛，對不對？
24:41.033–24:45.700
zh好，但針對這個模型的運作原理的技術細節
24:45.733–24:48.300
zh我這邊可以給出一些我自己的猜測啦
24:48.300–24:50.200
zh那當然我的猜測不一定對
24:50.200–24:53.066
zh雖然說我去網路上，後來我去網路上看
24:53.066–24:55.733
zh我發現也蠻多人跟我的想法一樣的
24:55.766–24:57.266
zh但是它不一定對啦
24:57.300–25:00.900
zh但是它，我覺得是對於大家建立起這個
25:00.933–25:03.133
zh這樣子的模型怎麼運作
25:03.133–25:05.566
zh我們的直覺是有點幫助的啦
25:05.566–25:08.666
zh因為大方向應該就是這樣子
25:09.033–25:10.966
zh我們知道一些大方向的東西
25:11.233–25:18.366
zh首先我們知道的是它這個 API 的 input output 的 shape，跟它的這些字數的限制等等
25:18.766–25:21.066
zh像是它的這個 input
25:21.066–25:24.500
zh基本上你就是放你的問題的敘述
25:24.533–25:27.400
zh應該說它是叫做 state 啦
25:28.166–25:31.000
zh你現在的情況，你的前後文是什麼
25:31.333–25:34.066
zh你現在在解決的是什麼問題
25:34.800–25:37.733
zh還有 question 的部分
25:38.166–25:41.633
zhquestion 就是你要 Jev 去回答的問題
25:41.833–25:42.466
enOK
25:42.466–25:47.200
zh那這邊每個問題就是除了有問題本身的敘述以外呢
25:47.233–25:51.400
zh也會有那個問題有哪些選項可以選，OK
25:51.433–25:52.400
zh那選項
25:52.433–25:55.600
zh每一題的選項最多是 255 個
25:55.633–25:58.800
zh然後問題的數量本身沒有限制
25:58.833–26:00.466
zh但是它有總 token 的限制
26:00.466–26:02.100
zh總 token 的限制有兩個喔
26:02.133–26:04.666
zh第一個是你整個 API request
26:04.700–26:07.633
zh就是你的 state 加你的所有問題
26:07.666–26:09.966
zh加你的所有選項不可以超過
26:09.966–26:11.766
zh64K 的 token
26:11.800–26:12.700
zh然後
26:12.733–26:15.400
zh你的 state 加任意一個問題
26:15.400–26:17.566
zh加那個問題的所有選項
26:17.600–26:20.000
zh不可以超過 32K 的 token
26:20.033–26:22.566
zh這些數字一看就知道
26:22.600–26:27.200
zh不是 PM 隨便亂定的，它都是有意義的
26:27.200–26:32.800
zh32K 你一看到就知道應該是跟 context length 有點關係
26:32.833–26:37.366
zh然後 255、256 − 1，2 的八次方 − 1
26:37.400–26:41.533
zh很明顯也是一個技術上限制的數字
26:41.566–26:44.233
zh這邊就是我們的第一個線索
26:44.466–26:48.333
zh還有另外一個線索，TypeSafe 的 CEO Diogo
26:48.333–26:50.200
zh他會在 Hacker News
26:50.233–26:53.066
zh就是一個技術論壇
26:53.066–26:57.700
zh他會在這個技術論壇上回一些留言，他還蠻活躍的
26:57.733–26:59.833
zh好，那他在回覆當中
26:59.833–27:00.900
zh他有一次就有提到
27:00.933–27:02.600
zh就是說確認了一件事情
27:02.633–27:05.400
zh說這個 Jev 的運作原理
27:05.433–27:07.566
zh就是把 LLM 產生的這個
27:07.600–27:10.600
entoken probability distribution
27:10.600–27:13.200
zh換成是針對目前問題的選項的
27:13.233–27:16.033
zhprobability distribution。好
27:16.033–27:19.400
zh其實它的核心概念是這樣子。好
27:19.433–27:23.366
zh這個是 CEO 認可的講法。那這什麼意思呢？
27:23.366–27:25.600
zh首先我們知道現在這些 LLM
27:25.600–27:27.700
zh我們看到它們的產出都是一個
27:27.733–27:29.766
zhtoken 一個 token 吐出來嘛
27:29.766–27:30.333
zh對不對？
27:30.366–27:32.633
zh但它其實並不是算完之後就
27:32.633–27:34.800
zh直接跳出一個 token 這樣
27:35.366–27:39.433
zh它其實實際它吐出的產出是一個機率分布，OK
27:39.700–27:42.933
zh每一個 token 背後它都是先吐出一個機率分布
27:42.966–27:45.933
zh再從這個機率分布當中選出一個 token
27:45.933–27:50.166
zh這個機率分布就是橫跨它的整個 vocabulary
27:50.200–27:53.166
zh就是它能夠吐出的所有 token 當中
27:53.200–27:58.366
zh每一個 token 作為下一個 token 的機率有多高
27:58.400–28:01.933
zh那它不一定每次都選機率最高，有時候選機率第二
28:01.933–28:05.133
zh有時候選機率第三的，看你的 temperature 調整
28:05.166–28:07.833
zh但反正我們今天就是一直在從 LLM
28:07.833–28:10.900
zh吐出的機率分布當中選一個 token 這樣
28:11.133–28:14.033
zh那這樣 Jev 的概念其實也沒有差很多嘛
28:14.033–28:14.800
zh對不對？
28:14.900–28:16.733
zh它也是吐機率分布啊，對不對？
28:17.100–28:20.333
zh只不過它的機率分布不是它所有能產生的
28:20.366–28:22.233
zhtoken 之間的機率分布
28:22.233–28:23.633
zh它根本不會產生 token
28:23.666–28:28.366
zh它是針對目前這個問題的選項的機率分布，OK
28:28.833–28:30.866
zh那但這邊就有個問題啦，就每次
28:30.900–28:33.066
zh因為它是個通用模型嘛，對不對？
28:33.333–28:36.833
zh它每次的選項數量可能不同啊，針對不同問題
28:36.866–28:38.833
zh它可能有時候是非題就兩個選項
28:38.866–28:42.500
zh有時候多選題，不是多選啦，就是選擇題
28:42.500–28:44.466
zh可能十個選項之類的都有可能嘛
28:44.466–28:45.033
zh對不對？
28:45.066–28:48.100
zh那這邊就是，它怎麼做的呢？
28:48.400–28:51.400
zh這部分就開始進入我猜測的部分了
28:51.666–28:55.933
zh我猜測它的做法，我後來發現也蠻多人這樣講的
28:55.966–28:59.666
zh就是它每次的 output 就是固定是一個
28:59.666–29:03.266
zh255 個 element 的 classifier head
29:03.266–29:04.366
zh簡單來說
29:04.366–29:09.433
zh它每次就是吐出 255 個 element 的一個機率分布
29:09.466–29:13.200
zh每一個 element，每一個元素，它的機率是幾%
29:13.233–29:15.366
zh每次一定都會有 255 個
29:15.466–29:19.100
zh那假設今天的問題只有五個選項的話
29:19.133–29:22.666
zh那這五個選項就分別對應到那
29:22.700–29:26.000
zh255 個 output 中的前五個
29:26.000–29:29.133
zh好，那第六個開始後面的就全部都不要看
29:29.166–29:30.800
zh要嘛就是全部都零啊
29:30.833–29:32.333
zh要嘛就全部 mask 住啊
29:32.333–29:34.633
zh就反正那邊都不重要，就不用看它們
29:34.666–29:38.700
zh好，那就它一樣會吐出這 255 個的機率分布
29:38.933–29:41.966
zh好，其實嚴格來說啦，好，這邊又更技術一點
29:42.000–29:43.800
zh但就是它在吐的是 logits
29:43.833–29:50.066
zh那這些 logits 後續才會透過一個叫做 softmax 的 function 把它換成機率分布這樣子
29:50.066–29:53.033
zh但反正它今天能做到的事情就是
29:53.066–29:55.633
zh吐出 255 個全部的 logits
29:55.666–29:57.100
zh但只用前 5 個
29:57.100–30:00.266
zh然後只拿前 5 個去算一個機率分布
30:00.266–30:02.766
zh就是只拿前 5 個去丟那個 softmax
30:02.800–30:05.400
zh然後算出每個的機率是多少
30:05.433–30:06.566
zh然後加起來會是 100%
30:06.566–30:10.600
zh所以你有點可以把它想像成是說一般的 LLM
30:10.633–30:14.300
zh它在吐的這個機率分布是所有 token 的選項嘛
30:14.333–30:17.633
zh那它可能，當然每個 LLM 的這個 vocabulary
30:17.666–30:19.700
zh就是總字彙數量也不太一樣
30:19.733–30:23.366
zh但可能假設你今天這個 LLM 的總字彙數是 10 萬個
30:23.400–30:27.466
zh你總共可以吐出 10 萬個可能的 token。好
30:27.466–30:33.833
zh那你就是每次，你都是產出一個 10 萬個 token 之間的機率分布這樣子。好
30:33.833–30:36.466
zh但是這個 Jev 它的 token 總數呢
30:36.500–30:40.300
zh它的詞彙總數你可以把它想像成是就只有 255 個
30:40.300–30:44.366
zhOK，每次這些詞彙都會代表不一樣的東西
30:44.400–30:47.366
zh但就是針對你目前問題的選項是什麼
30:47.366–30:48.400
zh它就代表什麼
30:48.433–30:50.666
zh然後我們要做的也不是只挑選
30:50.666–30:52.500
zh一個 token 出來就好了
30:52.900–30:57.533
zh我們要做的是把所有的選項算出一個機率分布
30:57.866–31:02.366
zh那在這個機率分布當中呢，你可以再算出說誰最高
31:02.400–31:05.100
zh然後誰就是成為你目前的 choice
31:05.100–31:09.600
zh同時你也可以算整個機率分布的信心程度
31:10.000–31:12.333
zh如果這個機率分布超偏某個問題的話
31:12.333–31:13.966
zh就代表你的信心程度很高
31:14.600–31:16.400
zh如果是比較平均一點點
31:16.433–31:18.900
zh就代表你的信心程度稍微低一點
31:19.733–31:21.900
zh所以他們 API 也會回傳
31:22.800–31:24.400
zh這些信心程度等等
31:24.566–31:27.966
zh但這些都是透過原本的機率分布算出來的
31:28.033–31:30.800
zh它最終的 output 就是一個機率分布
31:30.866–31:34.266
zh然後你一個 API request 裡面包了很多不同的問題
31:34.300–31:36.000
zh一次傳過去嘛，對不對？
31:36.500–31:38.766
zh我猜他們在做的事情呢
31:38.766–31:41.633
zh他們是一個個問題會獨立評估
31:41.866–31:44.366
zh這個其實不是我猜啦，這個是官方他們直接有說
31:44.533–31:47.200
zh他們說每個問題他們是獨立評估的
31:47.200–31:48.866
zh但是平行進行評估的
31:49.100–31:51.400
zh所以說你增加你的問題數量
31:51.433–31:53.533
zh不會增加延遲的時間太多
31:53.966–31:56.166
zhOK，好，那他只有講到這邊啦
31:56.166–31:57.733
zh但是具體怎麼做呢？
31:57.800–32:00.333
zh我覺得他應該暗示得蠻清楚的
32:00.333–32:02.966
zh就是配合我們剛剛發現的另外一個線索
32:03.000–32:06.500
zh就是你的 state 加任意一個問題加選項
32:06.500–32:08.366
zh不能超過 32K token
32:08.400–32:10.766
zh所以說這個 32K token 應該
32:10.766–32:13.400
zh就是它的 context length，32K
32:13.800–32:18.133
zh然後你問的所有問題會一個一個被分開拆出來
32:18.166–32:22.166
zh然後再包成一個 batch 進行一次的推論
32:22.200–32:25.233
zh一次的 forward pass 這樣子
32:25.233–32:30.400
zhOK，就有點像是說，就一樣你今天用傳統的 LLM
32:30.433–32:36.466
zh然後你可能你的 API 你 send 一個 request 給這個 NVIDIA 的機櫃
32:36.466–32:39.333
zh然後還有另外一個使用者的 request
32:39.366–32:42.166
zh然後這個 NVIDIA 機櫃會把你們兩個的 request
32:42.166–32:44.700
zh跟很多其他人的 request 包在一起
32:44.733–32:46.166
zh一次進行推論
32:46.200–32:49.433
zh然後一直產出很多個 token，是一樣的道理
32:49.433–32:51.133
zh只是他們這邊在做的
32:51.133–32:54.366
zh就是你的每個問題會被分開拆出來這樣子
32:54.366–32:56.900
zh所以我講了這麼多，我只是想幫你建立一個直覺
32:56.900–32:59.900
zh就是你今天看到 Jev 回答一個問題
32:59.933–33:03.933
zh其實它在做的運算其實是很接近
33:03.933–33:07.800
zh就是一個 LLM 產生一個 token
33:07.800–33:10.800
zhOK，就這樣而已，就它吐一個 token 出來
33:10.800–33:12.500
zh就完成了它所有的任務
33:12.633–33:15.500
zh從這邊你就可以了解到
33:15.500–33:17.066
zh為什麼 Jev
33:17.066–33:22.533
zh它可以有這麼大量的速度的提升跟成本的節省
33:22.566–33:25.533
zh快 200 倍，省 400 倍的成本
33:25.800–33:26.233
zh為什麼呢？
33:26.466–33:27.800
zh因為它只吐一個 token 啊
33:29.166–33:31.600
zh它只跑一次啊，就結束啦
33:32.033–33:35.333
zh那一般的 LLM，如果給出一個 2000 字的回答
33:35.333–33:37.033
zh它就是要跑 2000 次啊
33:37.233–33:38.300
zh它就要跑 2000 個 token
33:38.333–33:39.900
zh2000 個 forward pass 嘛，對不對？
33:40.333–33:42.966
zh整個權重要算過 2000 遍
33:43.133–33:46.033
zh那這個大方向的直覺，我覺得是不太可能會錯的啦
33:46.200–33:49.133
zhOK，就很多也是他們官方已經間接承認的東西
33:49.533–33:52.633
zh我覺得我這邊比較猜測我自己的想法的部分
33:53.000–33:58.800
zh只是在於它 255 個 classifier head 的 implementation
33:58.833–34:00.766
zh那些細節的部分啦
34:00.866–34:02.900
zh但這個直覺是不會錯的
34:03.000–34:04.733
zh你就是可以這樣子去思考 Jev
34:04.933–34:08.633
zh那你現在完整理解了 Jev 的運作原理之後呢
34:08.666–34:12.833
zh你再回來看一個 Jev 模型跟 LLM 模型的差別
34:12.833–34:16.466
zh好，你就可以非常直覺地去理解到說為什麼
34:16.466–34:19.100
zh這個 TypeSafe AI 會把它稱作
34:19.100–34:21.300
zh會這樣子去 market 這個模型
34:21.333–34:23.366
zh會把它稱作 System 1 模型
34:23.400–34:25.666
zh然後會講出那些什麼完全不會
34:25.666–34:28.433
zhhallucinate 之類的一些行銷用語嘛
34:28.433–34:29.066
zh對不對？
34:29.100–34:32.466
zh首先，它會叫做 System 1 模型呢
34:32.466–34:34.766
zh當然就是一樣是來自於
34:34.800–34:38.466
zh《Thinking, Fast and Slow》這本書
34:38.500–34:44.766
zh他們講說人類的大腦有 System 1 跟 System 2 的這兩種思考系統
34:44.766–34:46.466
zhSystem 1 是直覺腦
34:46.466–34:49.333
zh就是你直接想也不想針對這個問題
34:49.366–34:51.333
zh反射性地直接給出答案
34:51.766–34:54.633
zh那 System 2 就是思考計畫腦
34:54.666–34:55.666
zh就是針對
34:55.700–35:00.433
zh這個問題你會花很多時間去認真地一步一步地思考
35:00.433–35:03.433
zh去做計畫，去安排，然後再去回答
35:03.466–35:05.966
zh一般的 LLM 是 System 2
35:05.966–35:10.033
zh應該說現在絕大多數的 LLM 都是會思考的
35:10.033–35:11.700
zh在回答問題之前
35:12.000–35:14.933
zh好，那 Jev 它就是完全不會思考
35:14.966–35:17.033
zh它反射性地針對這個問題
35:17.033–35:20.666
zh直接給出一個答案的模型，所以說是 System 1
35:20.700–35:23.266
zh那我知道有些人會說，欸不對啊
35:23.266–35:25.833
zh這其實不久之前，大概兩年之前
35:25.833–35:29.466
zh我們才在講說當時的 LLM 都是 System 1
35:29.500–35:33.900
zh然後後來才慢慢因為 o1 的出現，模型開始會思考
35:33.933–35:35.966
zh才開始變成 System 2 嘛，對不對？
35:35.966–35:38.766
zh那不是原本的模型也是 System 1 嘛，對不對？
35:39.166–35:40.300
zh是不是原本的模型
35:40.300–35:42.500
zh其實也很接近 Jev 可以做到的事情？
35:42.900–35:44.433
zh其實嚴格來說
35:44.433–35:47.266
zh現在所有的大型語言模型都
35:47.300–35:50.033
zh可以被迫做出 Jev 的行為
35:50.200–35:54.433
zh就是你可以硬逼它變成是跟 Jev 類似的模型，OK
35:54.633–35:58.000
zh然後也真的可以得到跟 Jev 一樣的 Speed Up，OK
35:58.233–36:01.100
zh只是它的表現可能不一定像是原生的 Jev 這麼好
36:01.366–36:02.666
zh那怎麼說呢？
36:02.866–36:05.166
zh其實網路上在過去這幾天
36:05.166–36:10.666
zh已經有大量的這些開源社群的人去想辦法做出
36:10.700–36:13.966
zh一個開源版本的 Jev 模型
36:13.966–36:18.566
zh使用的就是一些像是 Qwen 這種的
36:18.600–36:21.200
zh這個要怎麼做呢？
36:21.200–36:23.500
zh其實不用經過額外的訓練喔
36:23.766–36:26.266
zh你只是要它有 Jev 的行為的話
36:26.266–36:28.000
zh你不用額外再訓練它
36:28.400–36:29.466
zh那這邊要怎麼做呢？
36:29.566–36:31.700
zh其實比你想像中的更簡單喔
36:31.800–36:35.466
zh假設你今天要用一個像是社群有人用的
36:35.466–36:37.900
zh這個 Qwen3.5-4B 的模型
36:38.366–36:40.200
zh你要把它變成 Jev，你要怎麼做？
36:40.400–36:43.366
zh就是你一樣丟給它你的 state 跟你的 question
36:43.766–36:50.066
zh就比如說你的 state 是這個客人說：「哇！你們餐廳的牛排實在是太好吃了！」
36:50.433–36:51.966
zh那你的 question
36:51.966–36:55.933
zh就是：「請問這則回覆是正面的還是負面的？」
36:57.200–37:01.300
zh下面就有兩個選項，選項 A：正面，選項 B：負面
37:01.600–37:06.666
zh你這邊就要把選項的代號要明確地標出來
37:06.700–37:08.433
zh要標 A 跟 B
37:09.300–37:13.133
zh之後你在 prompt 裡面就可以直接明確地跟它說
37:13.166–37:15.866
zh針對目前的問題以及選項
37:15.866–37:18.900
zh好，直接給我你會選哪一個選項
37:18.933–37:19.033
enOK
37:19.466–37:21.766
zh所以說，你的整個 prompt 就是這樣
37:21.900–37:23.400
zh我剛剛講的全部都是 prompt 的部分
37:23.766–37:25.866
zh那接下來，Qwen 收到這個 prompt 之後
37:25.900–37:28.466
zh它的第一步就是要開始產生 token 嘛，對不對？
37:28.500–37:29.966
zh要產生出第一個 token
37:30.466–37:32.166
zh好，那我們剛剛也有講到
37:32.200–37:35.066
zh就是一般的 LLM 在產生一個 token 的時候
37:35.066–37:37.400
zh它其實是在產生一個機率分布
37:37.433–37:41.833
zh好，那更嚴格來說呢，它是產生所有可能的 token
37:41.866–37:45.033
zh都會幫它打一個分數，叫做 logits
37:45.033–37:49.533
zhlogits 這個分數後續才會被轉換成機率分布
37:49.533–37:52.700
zh透過一個叫做 softmax 的功能
37:52.733–37:57.866
zh但反正它會為所有可能的 token 都打一個分數
37:58.133–38:00.566
zh那理論上在所有 token 當中
38:00.566–38:04.100
zh字母 A 的分數應該是最高的嘛，對不對？
38:04.500–38:09.866
zh因為我們就是叫它直接給出你的選項啊
38:09.900–38:14.033
zh所以說它理論上應該最有可能直接吐出 A 這樣子
38:14.466–38:16.633
zh但它也有可能吐出其他的嘛，對不對？
38:17.033–38:19.400
zh就你同樣的一個 prompt 丟給一個 LLM
38:19.433–38:20.233
zh叫它去回答
38:20.666–38:22.400
zh它有時候會直接就給你回答「A」
38:22.433–38:23.766
zh沒錯，這是符合你的需求
38:23.933–38:26.166
zh但有時候它會回答「答案是 A」
38:26.166–38:27.866
zh那它第一個 token 呢
38:27.900–38:30.333
zh就是它其實是「答」這個 token
38:30.366–38:32.900
zh「答」這個字的機率是最高的，對不對？
38:32.933–38:34.833
zh但是所以說就是它不一定 A
38:34.833–38:36.800
zh這個 token 的分數是最高的
38:36.800–38:40.233
zh但是你其他的 token 的分數你就完全不要看啊
38:40.266–38:46.100
zh你就直接拿 token A 的這個分數跟 token B 的這個分數
38:46.100–38:47.133
zh只看這兩個分數
38:47.166–38:49.200
zh然後把它放到 softmax function
38:49.200–38:50.366
zh當中去算一個機率
38:50.400–38:53.766
zh就是硬是只算這兩個 token 的機率
38:53.766–38:56.100
zh然後兩個要加起來 100%
38:56.533–38:58.466
zh那它這邊 softmax 算完之後
38:58.500–39:00.733
zh可能就是 token A 的機率是 95%
39:00.766–39:02.933
zh然後 token B 的機率是 5%。好
39:02.933–39:06.066
zh那這個時候你就是得到跟 Jev 一樣的輸出了嘛
39:06.100–39:06.933
zh對不對？
39:06.966–39:10.000
zh就是一個針對你目前問題的所有選項的
39:10.000–39:11.166
zh一個機率分布
39:11.200–39:12.233
zh所以簡單來說
39:12.233–39:14.666
zh因為 LLM 本身就是在產生機率分布
39:14.666–39:16.433
zh所以說你也不用特別訓練它
39:16.466–39:18.700
zh你也不用改目前的 LLM 的架構
39:18.733–39:22.833
zh你只要單純不去解讀它產生的 token
39:22.833–39:26.100
zh而是直接讀你想要的 token 的機率分布
39:26.133–39:29.266
zh你就可以讓它變成一個 Jev 的模型了，OK
39:29.266–39:30.000
zh就是這麼簡單
39:30.466–39:33.833
zh那網路上確實也是有人把 Qwen3.5-4B 的模型
39:33.833–39:35.433
zh變成一個 Jev 的模型
39:35.433–39:40.933
zh然後它表現跟實際 TypeSafe AI 的 Jev 模型究竟有多接近呢？
39:40.966–39:45.766
zh其實真的在簡單跟中等的問題上面都非常的接近喔
39:46.133–39:48.866
zh簡單的問題基本上是接近 100%
39:48.900–39:50.800
zh完全表現是非常好的
39:51.366–39:53.466
zh那唯一是在一些比較困難一點
39:53.466–39:55.866
zh複雜一點的問題上，它會輸給 Jev
39:56.066–39:59.600
zh然後在整個機率的校準上，機率的校準上
39:59.633–40:03.066
zhcalibration 上，它也會輸給 Jev 一點
40:03.400–40:05.533
zhOK，就算是中等的問題
40:05.533–40:08.433
zh它答對了沒錯，但它的機率分布
40:08.466–40:10.300
zh沒有到像 Jev 一樣這麼準
40:10.333–40:13.633
zh但速度跟成本，其實都可以贏過 Jev
40:13.800–40:15.800
zh這速度可以比 Jev 快一點點
40:15.966–40:18.933
zh嚴格來說，這樣直接比也沒有到非常公平
40:18.933–40:20.100
zh因為這個 Qwen
40:20.133–40:23.066
zh我們是本地直接跑，那 Jev 是 API
40:23.100–40:25.066
zh還要算網路的來回速度
40:25.066–40:26.566
zh但你就算扣了
40:26.600–40:31.500
zh就是給 Qwen 的這個速度一些網路的 punishment
40:31.533–40:35.133
zh還是就是跟 Jev 差不多快，甚至比 Jev 快一點點
40:35.133–40:39.033
zh我在想這個 Jev 的模型應該是比 4B 再大一點這樣子
40:39.066–40:42.466
zh然後同時成本當然也贏過 Jev 嘛，對不對？
40:42.500–40:45.300
zh因為這個 Qwen 的模型你隨便一台筆電就可以跑了
40:45.333–40:47.266
zh所以你成本基本上是零
40:47.266–40:49.166
zh所以天下所有的 LLM 你都
40:49.166–40:51.200
zh可以直接把它當作 Jev 在用
40:51.233–40:55.200
zh然後它立刻就可以得到幾百倍的速度跟幾百倍的
40:55.200–40:57.000
zh這個成本優化這樣子
40:57.000–41:02.133
zh但是它能不能真的在這些問題選項上面給出
41:02.166–41:05.466
zh真的很有校準過的機率分布
41:05.500–41:07.833
zh真的準確率高的答案呢？
41:07.833–41:10.500
zh這個就是 Jev 它特別強的地方了
41:10.566–41:11.733
zh這個就是因為 Jev
41:11.733–41:15.200
zh它整個模型原生就是為了這樣子的
41:15.200–41:17.900
zhuse case 去訓練出來的嘛
41:17.933–41:21.066
zh就是我們剛剛講的這個 RLCD 的部分嘛，對不對？
41:21.500–41:25.800
zh那當然你一個模型跑了 RLHF，跑了 RLVR
41:25.800–41:28.266
zh然後再硬逼它去做這種選擇題
41:28.300–41:31.533
zh當然不會比一個做了 RLCD 的模型更好嘛
41:31.566–41:32.400
zh對不對？
41:32.433–41:36.100
zh這邊其實就回扣到我們剛剛在技術討論那邊說
41:36.100–41:41.333
zh這個 RLCD 的 recipe，以及他們訓練的資料
41:41.333–41:44.133
zh才是 TypeSafe AI 這間公司的護城河
41:44.166–41:47.600
zh才是他們最強的技術的秘密
41:47.633–41:51.766
zh好，那模型的架構本身其實真的還好
41:52.000–41:54.533
zh好，那我們現在再回去看一下它那個
41:54.533–41:57.066
zhMarketing 裡面講的最狂的一句話嘛
41:57.066–42:00.133
zh就是 Jev 這個模型是完全不會有幻覺的
42:00.166–42:02.566
zh不會 Hallucinate 的一個模型
42:02.566–42:06.933
zh好，那我覺得這句話呢，也是有點半炒作意味啦
42:06.966–42:10.133
zh就是其實它嚴格來說不到非常精準
42:10.166–42:13.200
zh應該說要看你怎麼定義 Hallucinate 這件事情
42:13.200–42:16.233
zh因為 Jev 沒錯，你如果問題就給它五個選項
42:16.233–42:20.300
zh那它只可能輸出這五個選項的其中一個
42:20.333–42:23.466
zh嚴格來說它就只會輸出這五個選項的一個機率分布
42:23.500–42:25.933
zh然後你後續再選出其中一個嘛，對不對？
42:25.933–42:29.500
zh那它無論如何，它不可能會選出第六個選項
42:29.533–42:31.266
zh因為你根本就沒有給它第六個選項
42:31.300–42:35.366
zh然後它也不可能會把你的選項的裡面的字給寫錯之類的
42:35.366–42:37.666
zh因為它根本就不用輸出那些字
42:37.700–42:39.366
zh它只要輸出機率分布
42:39.366–42:41.266
zh後續選項你怎麼定義
42:41.266–42:44.500
zh然後你最後選出哪個是你自己在選的
42:44.500–42:44.900
enOK
42:44.933–42:46.366
zh所以 Jev 不可能會
42:46.366–42:49.166
zh就是嚴格來說它不可能會有 type error
42:49.200–42:51.133
zh它不可能會有這種型態的錯誤
42:51.133–42:54.033
zh叫做 type error，它不可能會有 type error
42:54.033–42:58.200
zh那我相信這也是為什麼他們公司的名稱叫做 TypeSafe AI 嘛
42:58.233–42:58.966
zh對不對？
42:58.966–43:03.066
zh因為它不會有 type error，但是如果你對於 Hallucinate
43:03.100–43:05.166
zh對於幻覺定義比較廣一點的話
43:05.200–43:10.133
zh就是包含到很明顯給錯誤的答案，也叫做幻覺的話
43:10.133–43:14.066
zh那 Jev 也會出錯，它百分之百也會出錯
43:14.100–43:15.766
zh它可能也會針對一個問題
43:15.800–43:19.533
zh然後很有信心地給出一個很錯的答案
43:19.533–43:21.000
zh很糟糕的機率分布啊
43:21.233–43:22.733
zh那個算不算 hallucinate？
43:23.033–43:24.866
zh我覺得對於有些人來說那個也算
43:25.300–43:28.300
zh但是就看你怎麼定義 hallucinate
43:28.500–43:30.633
zh我們現在完全理解了 Jev 這個模型
43:30.666–43:32.033
zh它到底是什麼樣子的一個模型
43:32.066–43:33.200
zh它怎麼運作的
43:33.233–43:37.066
zh我們接下來要來講一下實際的應用場景有哪一些
43:37.066–43:38.766
zh以及我的一些實測心得
43:38.800–43:42.400
zh那這邊你要先了解的一個觀念呢
43:42.433–43:44.400
zh我相信你到這邊應該自己也知道了
43:44.400–43:47.933
zh但是就是，Jev 它不會全面取代 LLM
43:47.933–43:50.000
zh它只能把目前的 LLM
43:50.033–43:52.633
zh就是目前的這些 AI agent
43:52.633–43:57.433
zh工作中一些比較單純的判斷選擇問題快速地處理掉
43:57.466–44:01.000
zh這個就是 Jev 它的應用場景，這就是它的價值
44:01.166–44:02.633
zhOK，那像什麼東西呢？
44:02.766–44:04.800
zh像是模型路由嘛，對不對？
44:04.933–44:05.666
enmodel routing
44:06.000–44:08.166
zh好，就今天使用者問了這個問題
44:08.166–44:09.900
zh你應該用比較弱的模型
44:09.933–44:12.466
zh還是要比較強的模型才可以去解決
44:12.500–44:13.033
enOK
44:13.066–44:18.066
zh然後還有像是很大量的這種要初期的資料的篩選，OK
44:18.333–44:20.500
zh好，就是比如說我們剛剛講到
44:20.533–44:23.833
zh最一開始有講到一個履歷的例子嘛，對不對？
44:24.433–44:27.866
zh你今天假設大公司收到好幾千封履歷，好
44:27.866–44:31.033
zh那你要從這個履歷當中先挑出適合的人選
44:31.066–44:36.033
zh那當然你可以每一封都全部都叫 GPT-6 Astra 去看，好
44:36.033–44:39.400
zh那你可能 token 就會燒蠻多的這樣子
44:39.433–44:42.200
zh但是你如果是用 Jev，好
44:42.233–44:47.100
zh先把五千封的履歷先挑出其中的兩百封就好了
44:47.133–44:51.266
zh好，那快速地，Jev 可以很快速地做到這個挑選
44:51.266–44:52.766
zh然後挑出兩百封
44:52.800–44:55.833
zh那兩百封再交給 Astra 去一封一封看
44:55.833–44:58.866
zh這樣是不是你的 token 就會省非常多
44:58.900–45:00.700
zh然後整個過程也會快很多
45:00.700–45:01.200
zh對不對？
45:01.233–45:03.900
zh這個 GPT-6 Astra 在看履歷的時候呢
45:03.900–45:07.266
zh可能就是真的根據你給的這個標準呢
45:07.300–45:08.766
zh然後一條一條地看
45:08.800–45:11.433
zh這個人的經歷是否有符合
45:11.433–45:13.266
zh一條一條檢查之類的，然後
45:13.300–45:16.266
zh每次檢查都還可能還要再燒一些 token
45:16.266–45:18.000
zh去思考之類有的沒的。好
45:18.000–45:20.966
zh但 Jev 它今天就是，它看一封履歷的時間
45:21.000–45:23.933
zh就等同於 GPT-6 Astra 產出一個 token 的時間
45:23.933–45:24.900
zh一個 token
45:24.933–45:28.466
zh就它吃了你的徵才標準跟目前這個人的履歷之後
45:28.466–45:30.566
zh就直接吐出一個機率分布啦
45:30.600–45:31.700
zh就 1 到 5
45:31.700–45:33.300
zh你可能是給它選項 1 到 5
45:33.333–45:37.100
zh這個程度，5 是最符合，1 是最不符合
45:37.133–45:39.300
zh然後它就直接吐出一個機率分布
45:39.333–45:39.733
zh然後選
45:39.733–45:41.166
zh然後你立刻從這個機率分布
45:41.200–45:42.600
zh就直接算出這個人是 5
45:42.633–45:43.333
zh這個人是 4
45:43.333–45:44.066
zh這個人是 2
45:44.100–45:44.866
zh這個人是 3
45:44.900–45:45.866
zh這個人是 5
45:45.866–45:46.066
zh好
45:46.100–45:47.566
zh然後就很快，就超快
45:47.566–45:48.900
zh就篩出 200 封了，然後
45:48.933–45:50.000
zh當然這只是一個例子啊
45:50.033–45:52.600
zh我們前面講到的那像什麼客服啊
45:52.600–45:55.033
zh像什麼 email 的處理啊
45:55.033–45:56.566
zhJev 也全部都可以做
45:56.600–45:57.266
zh你能想到
45:57.300–46:01.400
zh你只要能夠把你的問題去 frame 成一個分類問題
46:01.433–46:04.800
zh然後有明確的選項可以讓 Jev 去選的話
46:04.800–46:06.266
zhJev 都可以解決
46:06.300–46:08.266
zh只不過 Jev 它模型
46:08.266–46:09.600
zh它本身有一個限制
46:09.633–46:12.433
zh就是它沒有視覺能力
46:12.466–46:13.766
zh它是一個純文字模型
46:13.766–46:17.933
zh所以說，今天假如你的問題是跟視覺有相關的話
46:17.966–46:20.433
zh你就是還要再接其他的工具
46:20.433–46:22.566
zh讓它可以理解這個圖片的內容
46:22.600–46:24.966
zh比如說接一個 OCR 的工具等等的
46:25.200–46:30.133
zhOK，好，那我看到網路上很多人都在 demo 的一個應用場景
46:30.133–46:34.866
zh就是讓 Jev 去做 computer use，去使用電腦
46:34.900–46:37.300
zhOK，好，那一開始你看一些這些 demo
46:37.333–46:38.566
zh你真的會覺得，哇
46:38.566–46:41.366
zh這好像真的是一個 Game Changer 喔
46:41.400–46:45.200
zh因為 computer use 的問題呢，就是現在的做法啦
46:45.200–46:49.100
zh就基本上你要叫 GPT-6 Astra 去操作一個網站
46:49.100–46:53.433
zh它基本上就是它會看到這個網站的截圖
46:53.433–46:53.633
enOK
46:53.666–46:57.933
zh那它就直接根據這個截圖去 reason 現在我這個步驟
46:57.933–46:59.100
zh我應該要點什麼東西
46:59.133–47:05.400
zh然後就直接產出它要點的座標跟它的動作
47:05.433–47:06.766
zh可能是 click 還是 double click
47:06.766–47:10.666
zhWhatever，然後再 call 一個操作的工具
47:10.666–47:12.933
zh然後就完成這次的點擊
47:12.933–47:17.566
zh每一個步驟它都要這樣做一個 reasoning 的過程
47:17.600–47:20.066
zh有時候它還會思考一下嘛
47:20.066–47:23.533
zh對不對？就看到這張圖片，還要思考個幾句
47:23.533–47:27.433
zh想一下說，我現在應該要點哪一個按鈕啊？
47:27.466–47:29.600
zh然後應該要怎麼點啊？
47:29.600–47:31.966
zh然後什麼，反正就會產生很多 token
47:31.966–47:33.633
zh然後會花很久的時間，OK
47:33.633–47:36.600
zh那 Jev 如果它真的電腦可以用得很好
47:36.633–47:37.300
zh很快的話
47:37.300–47:39.066
zh基本上因為每個步驟其實
47:39.100–47:42.200
zh你可以想像你都可以把它 frame 成一個分類問題嘛
47:42.233–47:42.866
zh對不對？
47:42.866–47:43.000
zh好
47:43.033–47:46.733
zh就你今天的目標是要點選這間
47:46.733–47:50.700
zh網路電商它的最新的鞋子的產品
47:50.733–47:51.766
zh然後把它放到購物車
47:51.766–47:52.933
zh那你有這個目標
47:52.966–47:57.800
zh然後你現在的網頁的狀態是這樣
47:57.833–47:59.400
zh你有這些按鈕
47:59.400–48:02.833
zh然後這些按鈕現在目前是呈現這些狀態
48:02.866–48:06.933
zh那你的選項就是有幾個層次
48:06.966–48:10.633
zh第一層次是你要選你的動作是什麼
48:10.666–48:12.600
zh就是按，你要按按鈕嗎？
48:12.633–48:14.733
zh還是你要滑動？
48:14.733–48:16.033
zh還是你要 blah blah whatever
48:16.066–48:18.400
zh然後你選完了
48:18.400–48:19.233
zh第一個動作之後
48:19.266–48:20.700
zh你接下來第二個問題
48:20.733–48:22.000
zh就你就它就問說
48:22.000–48:23.166
zh你要按按鈕的話
48:23.166–48:26.700
zh那網路上，你的網頁上有這些
48:26.733–48:28.933
zh所有的按鈕可能加起來
48:28.933–48:31.966
zh這個幾十個，不要超過 255 個就好了
48:32.000–48:33.433
zh可能 100 多個之類的
48:33.466–48:35.400
zhwhatever，應該不會這麼多啦
48:35.433–48:37.000
zh可能 50 個好了
48:37.000–48:37.966
zh50 個按鈕
48:37.966–48:39.600
zh請問你要選擇按哪一個？
48:39.600–48:41.733
zh這也是一個選擇題啊，你就選了
48:41.733–48:44.433
zh然後你就完成了這次的操作啊，不是嗎？
48:44.866–48:49.400
zh那很明顯這個會比現在的 LLM 快非常多
48:49.433–48:53.366
zh而且確實在進行 computer use 的過程當中
48:53.366–48:58.133
zh你當然可能 high-level 的策略，然後要做什麼
48:58.133–49:00.766
zh還是應該交給 LLM 去思考去制定
49:00.800–49:01.566
zh沒錯
49:01.566–49:04.233
zh但過程中會有超多這種小按鈕
49:04.266–49:07.133
zh點來點去這種簡單很直覺的操作
49:07.433–49:10.000
zh是不是理論上也都可以交給 Jev 處理？沒錯
49:10.400–49:12.000
zhJev 的能力是真的到的
49:12.033–49:14.066
zh它真的是可以做到這件事情的
49:14.166–49:19.700
zh然後確實網路上我們也看到蠻多的這些 demo 在使用 Jev 去操作電腦
49:19.733–49:22.266
zh然後結果也真的都超級好的
49:22.266–49:25.100
zh尤其有些有跟一般的 LLM 去進行比對的
49:25.133–49:27.233
zh像是我有看到有一個 GitHub Repo
49:27.266–49:30.933
zh他們是拿由 Jev 組成的 computer use 系統
49:30.933–49:35.200
zh跟這個 Claude Opus 的 computer use 去進行比較
49:35.233–49:37.833
zh然後結果真的是蠻扯的啦
49:37.833–49:41.800
zh就是 Jev 跟 Opus 都一樣有完成目標
49:41.800–49:46.233
zh但是 Jev 它的成本比 Opus 低了一百多倍
49:46.633–49:51.200
zh然後這個 Latency，就是整體的這個速度呢
49:51.200–49:53.466
zh也比 Opus 快蠻多的
49:53.500–49:55.433
zh但是並沒有快一百多倍喔
49:55.466–49:58.100
zh它只有快三倍左右，OK
49:58.433–50:00.633
zh那聽到這邊你可能就覺得很奇怪
50:00.633–50:03.600
zh就 Jev 它不是應該要比 Opus 快超級多倍嗎？
50:03.866–50:07.266
zh好，就它等於是每一個步驟只有產生一個 token 啊
50:07.300–50:09.266
zh好，甚至一兩個 token 之類的
50:09.300–50:10.666
zh那應該快很多才對啊
50:10.666–50:12.900
zh欸，但是沒有。為什麼？
50:12.900–50:16.366
zh好，因為 Jev 它不能獨立地就操作電腦
50:16.400–50:20.600
zh它要有其他的東西，其他的
50:20.600–50:24.466
zh首先，Jev 沒有視覺能力
50:24.466–50:28.733
zh所以它無法直接看網頁目前狀況的截圖
50:28.766–50:31.966
zh它必須要讀網站的 DOM Tree
50:32.000–50:35.166
zh看網站本身的原始 HTML
50:35.200–50:39.200
zh看網站的 accessibility tags
50:41.900–50:45.666
zh就是網頁中針對網頁各個按鈕
50:45.700–50:47.866
zh它會有一個這個按鈕
50:47.866–50:49.833
zh它是什麼東西的標示
50:49.866–50:53.933
zh它這個標示會存在呢，其實是為了一些特殊的狀況
50:54.066–50:56.333
zh就比如說你眼睛看不到
50:56.366–50:59.900
zh對於盲人來說呢，你要使用一個網頁
50:59.900–51:03.900
zh它可能會就是有一些朗讀的功能啊等等的
51:03.900–51:05.633
zh那瀏覽器的朗讀功能呢
51:05.666–51:07.900
zh其實就是在讀這些標示這樣子
51:08.333–51:10.233
zh那 Jev 就是要靠著這些東西
51:10.266–51:12.166
zh然後再加上一個 OCR 的模型
51:12.433–51:13.500
zh這個 OCR 的模型
51:13.500–51:15.966
zh就是 Optical Character Recognition 嘛
51:16.000–51:16.633
zh對不對？
51:17.200–51:19.200
zh這個就是我們常見的
51:19.233–51:22.233
zh一個圖像的文字識別模型這樣子
51:22.700–51:24.100
zhOK，就是它會從
51:24.133–51:27.700
zh一個圖像裡面擷取出這圖像目前有哪些文字
51:27.700–51:31.566
zh然後可能有些時候還會跟你講它在哪個地方
51:31.566–51:33.500
zh然後哪個方位這樣子
51:33.500–51:37.666
zh那反正 Jev 就只能靠著這些東西去操作電腦嘛
51:37.966–51:40.800
zh那你可以想像這邊其實也會帶來一些限制
51:41.066–51:44.200
zh就是包括很多網站的體驗呢
51:44.233–51:48.733
zh其實你單純靠這些是沒有辦法真的完全正常操作的
51:48.766–51:50.833
zh首先，很多的網站、很多頁面
51:50.833–51:53.766
zh它的 accessibility tags 就沒有做得很好
51:53.966–51:54.166
enOK
51:54.400–51:57.633
zh就是它本來就不是非常盲人 friendly 的
51:57.633–51:59.500
zh就是有一些缺陷這樣子
51:59.866–52:01.133
zh像是 Notion 啊
52:01.133–52:03.666
zh它可能就沒有完全 full coverage
52:03.700–52:06.500
zh那這個時候你可能就只能靠 OCR 了嘛
52:06.500–52:07.033
zh對不對？
52:07.066–52:09.600
zh因為你的 accessibility tags 沒有辦法
52:09.600–52:12.166
zh讓你直接點到你想要點的按鈕
52:12.200–52:14.600
zh但 OCR 也有它的缺陷
52:14.633–52:16.900
zh就是它只能判斷文字嘛，對不對？
52:16.900–52:20.166
zh就假設今天這個按鈕是一個圖示的話
52:20.200–52:23.266
zh你是不是就完全沒有辦法點到了？
52:23.966–52:26.166
zhJev 就點不到這個按鈕了
52:26.433–52:29.466
zh今天如果你的這個網站體驗又是
52:29.466–52:32.100
zh一個比較互動程度比較高的
52:32.133–52:37.100
zh比如說有很多 slider 啊，然後有些細膩的操作啊
52:37.100–52:42.533
zh然後有一些比如說需要視覺推理的部分啊
52:42.533–52:44.700
zh這種東西，這些所有的操作
52:44.733–52:46.966
zh其實 Jev 都沒有辦法去做到
52:47.133–52:49.566
zh然後你要知道，這不是一個模態的問題而已喔
52:49.700–52:51.900
zh就是我相信下一代的 Jev
52:52.033–52:53.766
zh絕對會有視覺能力，OK
52:53.966–52:57.433
zh這個本身不是一個太困難的一件事情嘛，對不對？
52:57.533–52:59.200
zh現在所有 LLM 都有視覺能力
52:59.233–53:00.600
zhJev 也可以有視覺能力
53:00.600–53:03.633
zh因為 Jev 本身就是一個 LLM 的基底嘛，對不對？
53:03.633–53:07.200
zh但是它有了視覺能力之後也不會解決這個問題
53:07.233–53:11.133
zh它也不可能跟 Opus 跟這個 Astra 一樣
53:11.166–53:15.166
zh這樣子去像人類一樣看著螢幕去使用電腦
53:15.166–53:16.166
zh為什麼？
53:16.166–53:19.733
zh因為網頁上能點的東西已經超過你的選項了嘛
53:19.766–53:20.600
zh對不對？
53:21.200–53:24.000
zh就是你的網頁上所有能點的東西
53:24.033–53:28.600
zh就是可能你幾千個 pixel 乘幾千個 pixel
53:28.600–53:30.000
zh幾百萬個耶
53:30.000–53:32.533
zh你有幾百萬個可能可以點的東西耶
53:32.533–53:33.900
zh那像是 LLM
53:33.933–53:37.900
zh它就可以每次都輸出一個座標，OK，精準的座標
53:37.933–53:39.266
zh任何網頁上
53:39.300–53:40.533
zh它只要看得到的地方
53:40.533–53:41.666
zh它都可以點得到
53:41.666–53:42.966
zh然後看得到的東西
53:43.000–53:43.966
zh它都可以點得到
53:43.966–53:47.300
zh它完全不用管這個網頁它本身背後怎麼寫的
53:47.333–53:51.966
zh但是 Jev，它因為只有 255 個選項可以選
53:51.966–53:55.700
zh而且就算你未來下一代 Jev 選項更多
53:55.733–53:57.433
zh變成這個兩倍啊
53:57.466–53:59.400
zh四倍啊，無論如何
53:59.400–54:03.566
zh不可能真的達到一個網頁所有能夠點的內容
54:03.600–54:06.333
zh那就只有這些選項可以選
54:06.966–54:08.033
zh就是只能想辦法
54:08.066–54:09.700
zh把目前這個網頁所有
54:09.700–54:12.833
zh可以點的東西想辦法呈現在這個選項當中
54:12.866–54:15.433
zh那這就會是一個先天上的限制
54:15.466–54:17.200
zh所以說先天上 Jev
54:17.200–54:21.366
zh它就不可能能夠完成所有 computer use 的工作
54:21.366–54:22.433
zh它只能解決
54:22.466–54:26.033
zh就是網頁寫得好的、很 straightforward 的
54:26.033–54:28.466
zh很單純的一些反覆的操作，OK
54:28.466–54:29.766
zh它可以執行得非常好。好
54:29.800–54:34.333
zh像是其實上禮拜我有測試用 Astra 去幫我訂餐廳
54:34.366–54:36.100
zh然後你知道多扯嗎？
54:36.100–54:37.300
zh原本 Astra
54:37.333–54:40.933
zh可以很精準地選到我需要的人數跟時間
54:40.933–54:42.933
zh那個我一點都不意外
54:43.166–54:46.866
zh我意外的是，Astra 直接幫我把 CAPTCHA 做完耶
54:48.066–54:50.333
zh那有夠扯的，就那個網站
54:50.333–54:52.600
zh訂餐網站它有個 CAPTCHA
54:52.633–54:56.600
zh是，CAPTCHA 就是那個網站拿來擋機器人的嘛
54:56.600–54:56.833
zh對不對？
54:56.866–54:59.133
zh就是你要驗證你不是一個機器人
54:59.133–55:02.000
zh它有時候會給你一些小測驗嘛，對不對？
55:02.466–55:05.233
zh有時候是最簡單的就是辨識花字啊
55:05.266–55:07.100
zh但花字那個現在已經越來越少了
55:07.133–55:09.733
zh因為現在對於現在的 AI 來說太簡單了
55:09.733–55:12.233
zh所以這個網站的 CAPTCHA 是什麼，你知道嗎？
55:12.566–55:14.033
zh它是三個角色
55:14.033–55:15.466
zh卡通角色在那邊跳
55:15.466–55:18.400
zh然後一直不斷地跳，動態地在那邊跳
55:18.433–55:20.366
zh然後你要選出跳最高的那一個
55:20.366–55:24.066
zh那這個對於一般的模型來說都超難的
55:24.100–55:26.033
zh但是 Astra 竟然解決了
55:26.033–55:27.466
zh你知道多扯嗎？
55:27.500–55:28.033
zh就是 Astra
55:28.066–55:30.766
zh它的解決方法就是它會截圖
55:30.766–55:33.133
zh目前看這三個角色誰跳最高
55:33.166–55:37.000
zh然後它就它一開始就直接截一張圖就直接選了
55:37.033–55:39.000
zh它就發現這樣選
55:39.033–55:40.233
zh它會選錯
55:40.233–55:42.766
zh然後它就自己想一想，就發現說不行
55:42.800–55:44.266
zh我應該要多截幾張圖
55:44.300–55:46.666
zh我才可以得到一個動態的狀況
55:46.700–55:49.766
zh因為剛好有可能這個角色原本會跳最高
55:49.800–55:51.100
zh但它，我截圖的時候
55:51.100–55:52.900
zh它剛好在最低點嘛，對不對？
55:52.933–55:54.900
zh所以它就開始截很多張圖
55:54.900–55:56.466
zh然後它的準確率就變超高
55:56.500–55:59.333
zh然後就一下就把那個 CAPTCHA 解決了這樣子
55:59.333–56:01.033
zh反正我覺得很酷啦
56:01.133–56:02.500
zh但像這種問題呢
56:02.533–56:05.600
zhJev 就完全沒有辦法去解決，對不對？
56:06.133–56:09.900
zh就你怎麼靠 OCR 去解決這樣子的 CAPTCHA？
56:09.933–56:11.033
zh就不可能嘛
56:11.100–56:13.700
zh所以我覺得 Jev 在 computer use
56:13.700–56:15.966
zh這件事情上面絕對會有價值的
56:16.200–56:19.600
zh但是它沒有辦法就直接取代掉現在的
56:19.600–56:23.000
zh這個 GPT-6 Astra 的 computer use
56:23.400–56:25.366
zh你今天一個使用者可能問
56:25.366–56:27.833
zhGPT-6 Astra 的問題有無限多種
56:27.933–56:30.200
zh它可能會操作的網站有無限多種
56:30.633–56:34.733
zh你不可能預先想到哪些狀況你可以使用 Jev
56:35.833–56:39.233
zh假設今天你就是很明確地有
56:39.266–56:43.200
zh一個工作流是要操作特定的網站
56:43.233–56:45.100
zh然後要做特定的操作的話
56:45.100–56:47.866
zh你確實如果有這個固定的工作流
56:47.866–56:51.000
zh你可以讓 Jev 去處理一部分的工作，OK
56:51.033–56:53.400
zh很標準化的流程，很標準化的網站
56:53.400–56:55.833
zh你就直接讓 Jev 去做，那就會很快
56:56.033–56:58.033
zh好，那我自己也有簡單實測一下
56:58.033–56:59.366
zhJev 它的能力這樣子
57:00.400–57:03.900
zh我其實有試很多不同 Category 的問題啦
57:03.900–57:06.100
zh但是滿多都是假想的問題
57:06.400–57:08.866
zh我覺得一個最直接最真實的問題
57:08.866–57:10.333
zh我有叫它去用的是
57:10.366–57:14.700
zh我叫 Jev 去幫我的真實信件歸類
57:14.700–57:18.266
zh這個是我真實的信件，是來自我的信箱
57:18.266–57:20.633
zh我真實收到的工作的信件
57:21.066–57:22.466
zh我叫它去幫我分類
57:22.466–57:24.333
zh然後這個其實也是我可能
57:24.333–57:26.333
zh可以融入工作流的一個部分
57:26.366–57:27.933
zh因為我工作流
57:27.966–57:32.233
zh我現在有一個龍蝦在幫我處理管理專案嘛
57:32.266–57:37.866
zh它會幫我讀信件，幫我理解我目前每個專案的進度
57:37.866–57:41.033
zh我有時候常常問這個龍蝦的問題
57:41.066–57:45.366
zh就是我現在有哪些信件是緊急要我回的？
57:45.400–57:49.566
zh我覺得龍蝦目前回答這個問題都回答得非常好
57:49.566–57:52.766
zh但它確實會需要花一點時間
57:52.800–57:56.000
zh然後每一封去讀，再去判斷
57:56.033–57:56.733
zh再去思考
57:56.733–57:59.966
zh所以我這邊就直接叫 Jev
57:59.966–58:03.733
zh去幫我針對我給它範例的信件
58:03.766–58:05.766
zh去給出一些回答這樣子
58:05.766–58:09.500
zh緊急程度是其中一個，但我也有問其他問題
58:09.533–58:12.400
zh比如說直接幫我為這封信分類
58:12.433–58:17.433
zh它是一個活動邀約，還是一個 scheduling 相關的
58:17.433–58:20.133
zh還是一個 finance 相關的
58:20.166–58:22.933
zh還是 follow-up，還是一個 FYI 等等
58:22.966–58:26.900
zh然後目前的狀態等等，反正我有問它很多問題啦
58:26.900–58:30.366
zh那我覺得直接跟大家講結論啦
58:30.366–58:32.833
zh就是絕大多數的問題
58:32.866–58:36.633
zh它回答都是完全正確的，然後機率分布
58:36.633–58:38.333
zh我覺得也是非常接近的
58:38.366–58:41.133
zh尤其是有一題我覺得非常令我驚豔的喔
58:41.166–58:43.033
zh就是那一題呢
58:43.033–58:46.900
zh那封信呢，是一個繳費，活動繳費的提醒，OK
58:46.933–58:49.466
zh但是 tricky 的地方就是在於
58:49.466–58:52.900
zh這個繳費期限已經過了，過了一天了，OK
58:52.933–58:55.266
zh所以現在已經沒有辦法繳費了
58:55.300–58:56.366
zh那針對這封信
58:56.366–58:58.033
zh它的緊急程度是多高？
58:58.066–59:00.900
zh那這邊確實是有一點討論空間沒錯嘛
59:00.900–59:01.133
zh對不對？
59:01.133–59:04.266
zh就有一些人可能會覺得
59:04.300–59:05.800
zh那它就不緊急了
59:05.833–59:09.033
zh應該說現在就完全不緊急了
59:09.166–59:11.766
zh因為你不用管它，因為已經錯過繳費期限啦
59:11.833–59:14.133
zhThere's nothing you can do，對不對？
59:14.533–59:17.200
zh有些人可能會這樣覺得，但是像我自己
59:17.233–59:21.700
zh我個人覺得這個答案應該是非常緊急
59:21.733–59:23.100
zh應該是最緊急的
59:23.100–59:25.900
zh因為繳費期限還沒過太久
59:25.933–59:30.133
zh還在 24 小時，只是超過 24 小時之內
59:31.266–59:34.300
zh有可能有些活動單位，假設是重要活動的話
59:34.300–59:35.966
zh他可能也是會通融一下
59:36.000–59:38.433
zh然後就是讓我繳費嘛，對不對？
59:38.433–59:41.966
zh所以說我自己個人還是會把它排成緊急啦
59:42.700–59:45.933
zh像是 GPT-6 針對這一題呢
59:45.933–59:49.800
zh它給出的答案就是「無法判斷」
59:50.066–59:55.233
zh那 Jev 它針對這題給出的判斷就是「非常緊急」
59:55.500–59:58.500
zh我覺得非常緊急就是比較好的一個答案
59:58.833–1:00:00.600
zhJev 甚至贏過了 GPT-6
1:00:00.600–1:00:02.700
zh我覺得這個答案是非常好的
1:00:03.200–1:00:09.433
zh雖然說它的整體的機率分布也沒有到非常有自信啦
1:00:09.466–1:00:14.033
zhJev 它選擇非常緊急的機率是 47%
1:00:14.066–1:00:17.466
zhOK，所以它也不是超級自信覺得這是非常緊急的
1:00:17.700–1:00:19.200
zh那這也是 good sign
1:00:19.233–1:00:22.133
zh因為這題它本來就不應該有超級高的信心
1:00:22.333–1:00:26.666
zh所以 overall 我覺得 Jev 給出的答案都是完全沒有問題的啦
1:00:27.000–1:00:30.366
zh那當然我也沒有特別去 challenge
1:00:30.400–1:00:32.700
zh它一些太刁鑽的問題啦
1:00:32.733–1:00:36.433
zh因為我就真的是拿我的真實的 use case 去測試
1:00:37.300–1:00:38.466
zh目前的結果是非常好的
1:00:38.666–1:00:41.833
zh當然啦，我覺得這個本來就是預料中的結果
1:00:41.866–1:00:43.433
zh這也沒什麼好意外的
1:00:43.433–1:00:48.033
zh因為現在的 LLM 本來就是有很好的判斷能力
1:00:48.033–1:00:52.266
zhJev 對於這些一般的問題的判斷完全正確
1:00:52.300–1:00:54.833
zh我覺得一點都不值得驚訝啦
1:00:54.833–1:00:56.933
zh我覺得還蠻正常的啦
1:00:56.966–1:01:01.000
zh主要還是說它的穩定性 overall 是真的很好的
1:01:01.033–1:01:04.166
zh然後確實延遲跟成本也明顯
1:01:04.166–1:01:08.366
zh明顯是有跟一般的 LLM 比起來很好的
1:01:08.400–1:01:10.400
zh所以我目前測試到現在
1:01:10.433–1:01:14.200
zh我是覺得 Jev 確實可以融入我的工作流當中
1:01:14.466–1:01:17.133
zh只是具體來說怎麼操作
1:01:17.133–1:01:21.500
zh我還要再花點時間去思考然後再去實驗
1:01:21.933–1:01:25.933
zh但我已經可以看到它的融入工作流的潛能了
1:01:26.066–1:01:27.600
zh最後我們來聊一下
1:01:27.633–1:01:31.066
zhJev 這個模型對於 AI 的意義究竟是什麼？
1:01:31.533–1:01:35.400
zh因為我覺得有一些人可能稍微把
1:01:35.400–1:01:38.866
zh這個 Jev 吹得有點太強大了
1:01:38.866–1:01:43.266
zh講得好像是 Jev 會改變一切的這種感覺
1:01:43.300–1:01:46.166
zh我自己在看 Jev 這個模型的時候
1:01:46.166–1:01:49.200
zh當我真的開始完全理解它之後
1:01:49.233–1:01:58.100
zh我覺得它不像是一個會大幅改變現在的 AI agent 典範的一個模型
1:01:58.133–1:02:04.366
zh它比較像是在加速一個原本就有在發生的變化
1:02:04.366–1:02:06.733
zh這個變化，這個趨勢呢
1:02:06.766–1:02:11.333
zh就是所謂的 model routing，模型路由的趨勢
1:02:11.766–1:02:14.533
zh它是在加速這個趨勢的進展而已
1:02:14.566–1:02:17.733
zh並不是說把我們帶到了一條新的路上
1:02:18.266–1:02:19.466
zh為什麼會這樣說呢？
1:02:19.866–1:02:20.033
zh首先
1:02:20.033–1:02:22.566
zh我們知道我們現在在使用 AI agent 的這個方式
1:02:22.566–1:02:25.833
zh並不是成本效率上面最優化的方式嘛
1:02:25.866–1:02:26.300
zh對不對？
1:02:26.300–1:02:27.300
zh很明顯嘛
1:02:27.666–1:02:31.500
zh就你今天訂閱那個 ChatGPT 200 美金的方案
1:02:31.500–1:02:34.200
zh然後你叫 Astra 去做一件事情
1:02:34.766–1:02:36.033
zh它從頭到尾
1:02:36.033–1:02:39.833
zh從這個問題最一開始的思考，這個計畫
1:02:39.866–1:02:43.233
zh然後到實際做這個 computer use 的每一個步驟
1:02:43.266–1:02:45.166
zh全部都是它自己完成的嘛
1:02:45.200–1:02:45.800
zh對不對？
1:02:45.800–1:02:48.933
zh它並不會做到一半覺得這個問題比較簡單
1:02:48.966–1:02:51.433
zh它就直接丟給那個 Luna 去解決
1:02:51.733–1:02:54.500
zh它可能會有 multi-agent system 沒錯
1:02:54.533–1:02:56.600
zh但是它就是 multiple Astra
1:02:56.600–1:02:58.366
zh全部都是 Astra 這樣子
1:02:58.633–1:03:00.933
zh但很明顯這邊有很多的成本跟
1:03:00.933–1:03:02.733
zh這個效率的優化空間嘛
1:03:02.766–1:03:03.566
zh對不對？
1:03:04.166–1:03:07.600
zh很多簡單的事情真的不需要去交給 Astra 做
1:03:08.300–1:03:14.300
zh未來呢，我覺得絕大多數人現在都有共識的一點
1:03:14.833–1:03:21.133
zh未來我們會漸漸地走向一個更多 model routing 的混合系統
1:03:21.133–1:03:23.666
zh有更多模型路由的系統
1:03:23.666–1:03:27.633
zh同樣一個系統當中會有弱跟強的模型
1:03:27.666–1:03:32.200
zh然後會動態地去決定目前這件事情要交給誰去處理
1:03:32.200–1:03:33.833
zh那為什麼 model routing
1:03:33.866–1:03:36.200
zh這樣的系統現在還沒有辦法普及呢？
1:03:36.333–1:03:38.766
zh不是很多人都覺得這個是未來嗎？
1:03:38.866–1:03:40.800
zh為什麼大家沒有一直往這邊走呢？
1:03:41.233–1:03:43.933
zh我覺得目前有個蠻核心的卡點
1:03:43.966–1:03:47.300
zh就是主要是因為模型的能力進步
1:03:47.300–1:03:50.466
zh模型的能力變化實在是太過快速了
1:03:50.466–1:03:53.933
zh導致整個工作流的變化也非常的快速
1:03:53.966–1:03:56.933
zh我們現在的一個 LLM 的工作流呢
1:03:56.933–1:03:58.633
zh可能年初是長這樣
1:03:58.666–1:04:00.166
zh這個年中就變了
1:04:00.166–1:04:04.533
zh你中間很多的步驟可能因為模型能力提升就改變了
1:04:04.566–1:04:07.333
zh好，那你工作流沒有辦法定下來
1:04:07.333–1:04:09.833
zh你就比較難有一個
1:04:09.833–1:04:14.300
zh就是穩定地知道你有哪些事情要做
1:04:14.300–1:04:18.166
zh那你就比較難就是穩定地去指派某一些不同的
1:04:18.200–1:04:20.300
zhAI 模型去做這些事情嘛
1:04:20.333–1:04:21.866
zh那當然對於有一些人
1:04:21.866–1:04:24.333
zh他的工作流可能現在已經蠻標準了
1:04:24.366–1:04:26.533
zh很確定了就是做這些事情
1:04:26.566–1:04:30.700
zh然後就是要大量重複進行一些簡單的操作的時候
1:04:30.700–1:04:34.433
zh他確實就是可以在他的 harness 當中
1:04:34.433–1:04:38.166
zh把這個 model routing 做得蠻不錯的
1:04:38.200–1:04:41.200
zh但是這樣子的人並不是大多數啦
1:04:41.233–1:04:41.566
enOK
1:04:41.566–1:04:45.966
zh然後 OpenAI 也沒有覺得他們的這個產品
1:04:45.966–1:04:48.666
zh可以成熟到直接把 model routing
1:04:48.700–1:04:51.333
zh就是加到他們的這個 Agent 當中
1:04:51.333–1:04:53.400
zh那他們其實之前有嘗試啦
1:04:53.600–1:04:57.400
zh就是我有點忘了是 GPT-5 那一代還是哪一代
1:04:57.800–1:04:59.466
zh但反正有一代模型呢
1:04:59.466–1:05:03.000
zh就是你有一陣子你是不知道你在用哪個模型的
1:05:03.400–1:05:04.133
zh大家還記得嗎？
1:05:04.166–1:05:06.133
zh就你有時候，它根據你的問題
1:05:06.133–1:05:08.933
zh它會給你一個比較爛的模型、比較笨的模型
1:05:09.233–1:05:10.566
zh有時候又是比較好的模型
1:05:11.300–1:05:15.533
zh那我記得那陣子就得到超多人的批評
1:05:15.533–1:05:18.433
zh所以後來 OpenAI 就不幹這件事情了
1:05:18.466–1:05:20.800
zh大家還是自己選模型這樣
1:05:20.800–1:05:24.566
zh但你要知道，我覺得很多人會想要自己選模型
1:05:24.600–1:05:27.133
zh並不是因為他們真的想要自己選模型
1:05:27.133–1:05:32.033
zh而是因為 OpenAI 當時的 model router 真的太爛了
1:05:32.066–1:05:36.633
zh然後，我覺得很多人可能他嘴上不願意承認啦
1:05:36.666–1:05:39.533
zh但是如果今天一個 model router
1:05:39.533–1:05:42.666
zh可以真的完美地幫他做模型選擇的話
1:05:42.700–1:05:45.066
zh沒有人會想要自己選模型啦
1:05:45.066–1:05:48.600
zh因為自己選模型就是額外一個思考的步驟
1:05:48.633–1:05:51.866
zh然後額外的手動步驟嘛，對不對？
1:05:51.866–1:05:53.766
zh那就還是麻煩啦
1:05:54.333–1:05:55.900
zhOpenAI 也知道這一點
1:05:55.900–1:05:58.433
zh他們其實未來所有東西都會合在一起
1:05:58.466–1:06:02.300
zh未來那個 Chat 跟 Work 的這兩個 Tab 也會合在一起
1:06:02.333–1:06:05.233
zh然後所有 Models 也全部合在一起
1:06:05.266–1:06:08.966
zh就是一個統一的介面，任何問題
1:06:08.966–1:06:12.400
zh任何的工作，你都直接丟給它
1:06:12.433–1:06:13.866
zh然後它自己會判斷
1:06:13.866–1:06:14.766
zh要不要用工具
1:06:15.066–1:06:15.933
zh要用哪個模型
1:06:16.066–1:06:16.866
zh要思考多久
1:06:17.266–1:06:18.433
zh反正我講了這麼多
1:06:18.466–1:06:20.433
zh我只想講說這個 model routing
1:06:20.466–1:06:23.266
zh模型路由真的就是未來的趨勢啦
1:06:23.300–1:06:26.533
zh只不過我們還在慢慢地一步一步朝那邊走這樣子
1:06:27.000–1:06:29.100
zh那我覺得 Jev 的出現呢
1:06:29.100–1:06:31.666
zh它就是會加速這個趨勢的普及
1:06:31.666–1:06:32.933
zhOK，為什麼？
1:06:33.100–1:06:38.133
zh因為首先 Jev 是一個很好的 off-the-shelf 的 model router，OK
1:06:38.133–1:06:40.300
zhoff-the-shelf 的意思就是
1:06:40.300–1:06:42.866
zh你就直接拿它的 API 來用就好了
1:06:42.900–1:06:44.733
zh你不用再額外去訓練它
1:06:44.733–1:06:48.733
zh它自己本身就有很好的 model routing 的判斷能力
1:06:48.733–1:06:50.733
zh這一點我自己也有測試過
1:06:50.733–1:06:52.900
zh雖然我是用一些假想的問題
1:06:52.900–1:06:54.566
zh但它都判斷得非常好
1:06:54.566–1:06:57.566
zh就是哪些問題簡單，要丟給那個小模型
1:06:57.566–1:06:59.333
zh哪些要丟給大模型等等的
1:06:59.366–1:07:01.200
zh那這件事情本身呢
1:07:01.200–1:07:06.866
zh就是可以降低大家自己實作 model routing 的門檻，對吧？
1:07:07.166–1:07:11.266
zh至少 Router 本身，這是你不用再煩惱了
1:07:11.266–1:07:14.500
zh你就丟給 Jev，去判斷就 OK 了
1:07:14.866–1:07:19.566
zh你只要自己再把它那個問題跟選項調一下
1:07:19.600–1:07:21.566
zh應該就沒問題了
1:07:21.733–1:07:24.533
zh然後降低實作門檻的同時呢
1:07:24.533–1:07:26.800
zh它又因為 Jev 爆紅了
1:07:26.800–1:07:31.966
zh然後確實也就是真的能夠帶來遠遠超過現在
1:07:32.000–1:07:36.133
zhLLM 的這個速度跟成本上面的優化
1:07:36.133–1:07:40.866
zh所以說我相信很多人會開始正視 model routing
1:07:40.866–1:07:42.566
zh正式想要在
1:07:42.566–1:07:47.966
zh自己的架構中混合一些其他的模型這樣子
1:07:48.000–1:07:50.800
zh當然，Jev 作為 model router 是一種可能性嘛
1:07:50.800–1:07:51.433
zh對不對？
1:07:51.666–1:07:56.433
zh但你直接使用 Jev 這也算是一個這個 model routing 嘛，對不對？
1:07:57.000–1:07:59.700
zh就有一些工作交給原本的 LLM 做
1:07:59.733–1:08:01.400
zh有一些是 Jev 直接處理
1:08:01.433–1:08:03.233
zh這個也算是 model routing 啊
1:08:03.266–1:08:05.300
zh這也是一個混合的模型架構嘛
1:08:05.300–1:08:05.933
zh對不對？
1:08:05.966–1:08:08.366
zh其實像我就是一個典型的例子嘛，對不對？
1:08:08.900–1:08:12.533
zh現在我的龍蝦基本上就是使用 GPT-5.6
1:08:12.533–1:08:16.800
zh其實我應該去換 Astra，但就是還沒找到時間
1:08:16.833–1:08:18.566
zh然後目前用起來
1:08:18.600–1:08:22.100
zh我的 use case 5.6 已經差不多了
1:08:22.133–1:08:25.100
zh也沒有到非常有動力想要換
1:08:25.133–1:08:29.966
zh反正我現在就是用 5.6，所有事情都是交給它處理
1:08:30.733–1:08:32.900
zhJev 的推出之後，我剛剛不是有跟大家講嗎？
1:08:32.966–1:08:35.466
zh測試完了那個 Email 的分類之後
1:08:35.500–1:08:38.966
zh我是真的覺得我可以把 Jev 融入我的工作流了
1:08:39.000–1:08:42.666
zh那沒有 Jev 出來之前，其實嚴格來說
1:08:42.666–1:08:46.233
zh我做不做得到這件事情？也是可以啊
1:08:46.366–1:08:48.000
zh我拿一個 Luna
1:08:48.033–1:08:52.200
zh或者是我拿一個甚至一個本地的開源模型
1:08:52.200–1:08:54.000
zh一個 Qwen 之類的
1:08:54.033–1:08:56.966
zh跑在我自己的 DGX Spark 上面
1:08:56.966–1:08:59.400
zh甚至 Mac mini 都有可能
1:08:59.400–1:09:00.566
zh就是超級小的
1:09:00.566–1:09:02.100
zh其實也是可以啊，對不對？
1:09:02.633–1:09:06.566
zh但有 Jev 出現呢，我就更想做這件事情啦
1:09:06.700–1:09:09.000
zh所以我覺得接下來會發生的事情呢
1:09:09.000–1:09:13.733
zh就是當然像我這些自己有在架一些工作流的人
1:09:13.733–1:09:19.300
zh就會開始越來越多把 Jev 融入自己的工作流當中
1:09:19.300–1:09:22.833
zh能夠節省一些成本跟時間是絕對的
1:09:22.866–1:09:25.700
zh但也要看你的工作性質
1:09:25.866–1:09:30.033
zh對於蠻多的工作來說，可能不會省到超級多
1:09:30.600–1:09:34.000
zh然後有些工作會省到超爆多
1:09:34.500–1:09:35.700
zh但就是不一樣
1:09:35.833–1:09:37.266
zh像對我來說啦
1:09:37.266–1:09:40.233
zh就是它幫我額外 Tag 一下這個
1:09:40.266–1:09:42.533
zhEmail 是哪一種類別啊
1:09:42.533–1:09:44.000
zh什麼緊急程度啊
1:09:44.033–1:09:47.033
zh其實真的對我來說 Impact 沒有到很大啦
1:09:47.166–1:09:50.733
zh它不會省我多少的成本，然後同時可能
1:09:50.733–1:09:51.900
zh就是在我問
1:09:51.933–1:09:55.700
zh那個問題的時候幫我省下幾秒鐘的時間吧
1:09:55.700–1:09:58.033
zh所以對我來說不是一個超級大的 game changer
1:09:58.033–1:10:00.466
zh但對於那些比如說要 screen
1:10:00.500–1:10:03.566
zh幾千封履歷的人來說絕對是有幫助的
1:10:03.566–1:10:06.233
zh然後我覺得再下一步呢
1:10:06.266–1:10:08.833
zh就是標準的 AI agent
1:10:08.866–1:10:12.666
zh就會開始把 Jev 當作一個工具了
1:10:12.833–1:10:14.766
zh可能在 model routing 之前
1:10:14.766–1:10:16.500
zh它就是先自己做 routing
1:10:16.500–1:10:18.233
zh然後把它當作一個工具吧
1:10:18.333–1:10:19.800
zh我覺得比較可能的是這樣子
1:10:20.966–1:10:25.000
zh換言之呢，比如說 Astra 在工作的過程中
1:10:25.000–1:10:29.600
zh假設你叫 Astra 去做一個大量的 screening
1:10:29.633–1:10:32.633
zh大量地去看大量的 email 之類的
1:10:32.633–1:10:35.133
zh它可能就會 call 一下 Jev
1:10:35.133–1:10:40.733
zh就等於說這個 Jev 融入了 AI agent 的 harness 當中的這種感覺
1:10:40.733–1:10:43.733
zh我覺得下一步蠻可能會發生這樣子的事情啦
1:10:45.233–1:10:48.300
zh反正無論如何，你可以想像的
1:10:48.333–1:10:51.733
zh就是 model routing 一定是未來
1:10:51.733–1:10:56.866
zh而且未來不只是你在 LLM 跟 Jev
1:10:56.866–1:11:01.333
zh跟中等的 LLM 之間進行選擇
1:11:01.366–1:11:05.433
zh還會有地端的 LLM 跟雲端的 LLM 的選擇
1:11:05.433–1:11:07.133
zh會全部混在一起
1:11:07.166–1:11:08.733
zh我覺得未來就是這樣
1:11:08.733–1:11:13.800
zh對於我們這些科技宅來說，你想要的話
1:11:13.833–1:11:18.400
zh你可以隨時把這些最新的 capability 融入到你的工作當中
1:11:18.400–1:11:20.500
zh但是對於一般人來說
1:11:20.500–1:11:24.500
zh我相信他們整個過程中他們都不會感覺到
1:11:24.533–1:11:26.533
zh他們，像是 Jev 問世
1:11:26.566–1:11:29.833
zh他們不會看到 Jev，也不會用到 Jev
1:11:29.833–1:11:34.500
zh但是 Jev 會實質上慢慢地改變他們的
1:11:34.500–1:11:37.566
zhAI agent 的速度跟成本
1:11:37.600–1:11:40.466
zh這些是他們會慢慢體感到的
1:11:40.466–1:11:43.300
zh他們不會知道過程中發生了什麼事情
1:11:43.333–1:11:48.700
zh只有我們這些真的科技宅們才真的是知道這些內幕啊
1:11:48.866–1:11:49.000
enOK
1:11:49.666–1:11:52.066
zh好，那麼這集科技浪就大概跟大家聊到這邊
1:11:52.466–1:11:55.800
zh如果你覺得本集節目對於你了解
1:11:55.833–1:11:58.266
zhJev 來說是有點幫助的
1:11:58.266–1:12:01.300
zh你覺得節目是有趣好聽的話呢
1:12:01.333–1:12:03.466
zh歡迎給我們一個五星評分、留言
1:12:03.466–1:12:06.933
zh然後把科技浪分享給你的親朋好友們
1:12:06.966–1:12:08.866
zh我們就下週再見囉，拜拜！
0:04.333–0:04.700
哈囉，大家好
0:04.700–0:05.800
歡迎收聽科技浪
0:05.833–0:06.933
我是主持人哈利
0:06.966–0:09.833
科技浪是一個白話跟你聊科技的 Podcast
0:09.866–0:11.233
希望可以用簡單易懂
0:11.233–0:16.466
但是又深入的方式，帶你了解時下最火的科技話題
0:16.500–0:19.366
本期節目由犀牛盾贊助播出
0:19.366–0:19.600
好
0:19.600–0:20.866
那過去這一週
0:20.900–0:23.733
就是算是蘋果發表會結束的第二週
0:23.766–0:27.000
就是有一些初步的評測都已經出來了嘛
0:27.000–0:27.200
對不對？
0:27.200–0:30.533
我不知道大家看到這個 iPhone 18 Pro
0:30.566–0:32.600
有沒有決定要購買呢？
0:32.633–0:33.633
當然
0:33.666–0:35.866
跟 17 Pro 比起來
0:35.900–0:39.600
確實沒有多少的更新，對不對？
0:39.600–0:41.866
但我自己還是會換
0:41.866–0:45.800
因為我現在其實原本我的 iPhone
0:45.833–0:51.000
我有很多支手機，那 iPhone 就是有一支 17 Pro
0:51.033–0:54.300
它也算是我主要的手機之一
0:54.333–0:58.166
那我還是會想換成 18 Pro，是為什麼呢？
0:58.166–1:01.500
其實，老實說啦，單純看這個
1:01.500–1:06.266
就目前看 CP 值，真的是沒有到那麼高，OK
1:06.566–1:08.333
就你換了之後，你得到什麼？
1:08.433–1:14.466
就更好的電池續航跟晶片效能以及相機
1:14.500–1:16.966
那相機那邊就是有個可變光圈嘛
1:17.000–1:17.700
對不對？
1:17.700–1:19.000
然後當然還有顏色啦
1:19.500–1:21.300
顏色對我來說還好啦
1:21.933–1:23.700
好，那你就得到這些嘛
1:23.700–1:26.600
那這個真的值得你多花那一兩萬塊嗎？
1:27.000–1:29.066
我覺得對於很多人來說
1:29.066–1:32.833
就現有的體驗來說是真的沒有到很值得，OK
1:33.066–1:37.333
然後我自己本人，就我目前的使用狀況呢
1:37.333–1:39.566
確實也真的沒有必要
1:39.600–1:41.966
就是多花這一筆錢這樣子
1:42.000–1:43.733
但我還是會換，是為什麼？
1:44.566–1:47.766
因為我的想法是比較接近，我買了先放著
1:47.900–1:51.033
這個能力我覺得我未來會用到，我買了先放著
1:51.200–1:52.133
我現在還用不到
1:52.533–1:56.566
我們今天這集業配時間比較長一點
1:56.600–2:00.266
剛好願意跟大家分享一些我自己的想法
2:00.300–2:02.633
我們現在都還沒講到業配產品
2:03.166–2:07.000
反正我的想法就是，因為這個 iPhone 18 Pro
2:07.000–2:11.100
他們用了這個新的晶片，叫做 A20 Pro 的晶片嘛
2:11.133–2:11.666
對不對？
2:11.666–2:14.433
它跟上一代 A19 Pro 比起來呢
2:14.466–2:17.900
當然就是在各方面的表現都有提升啊
2:17.933–2:18.966
那他們 demo
2:18.966–2:21.866
很多打遊戲的散熱效果比較好啊等等的
2:21.900–2:24.766
但那些評測員都沒有 demo 到的一點
2:24.766–2:26.633
是它的 AI 運算的表現
2:26.900–2:30.266
它的 AI 運算表現不是提升一點點而已喔
2:30.266–2:31.500
提升非常多喔
2:31.566–2:35.833
我看有一個網友發了他的測試在 X 上面
2:35.833–2:40.900
他是跑 On-Device 的 Apple Foundation Model
2:40.933–2:45.733
他發現一個長 prompt 的 time to first token
2:45.733–2:50.633
直接從 A19 Pro 的 2000 多毫秒變成 1000 毫秒
2:50.666–2:52.533
直接砍半
2:52.533–2:54.666
整個 time to first token 都快非常多
2:54.900–2:58.866
當然，我知道很多人就會說，蘋果根本就沒有 AI
2:58.900–3:00.633
那你現在買來放著有什麼用？
3:00.633–3:03.533
我覺得快了啦，真的快了啦
3:03.700–3:05.166
你聽我們之前在分析
3:05.166–3:07.266
Apple Intelligence 的那幾集
3:07.300–3:09.700
Apple Foundation Model 的那幾集
3:09.700–3:14.766
你就會知道蘋果在這邊已經有在做準備了
3:14.800–3:17.400
尤其像這個更強的 Siri，iOS 27
3:17.433–3:21.000
其實我不知道這個中文版到底什麼時候會推出
3:21.000–3:22.766
但我覺得
3:22.766–3:24.566
如果推出的時候
3:24.600–3:29.100
大家中文版用到的是接近英文版的這種滿血狀態的話
3:29.100–3:30.200
會很有感啦
3:30.233–3:30.433
真的
3:30.466–3:31.766
那如果你已經準備好
3:31.766–3:33.633
要下單 iPhone 18 Pro 了
3:33.666–3:35.300
手機殼也必須先準備好
3:35.300–3:38.566
那這次要跟大家介紹我最近最喜歡的
3:38.600–3:40.133
這個太空級防摔
3:40.133–3:42.800
犀牛盾 AirX 極致氣墊緩衝殼
3:42.800–3:45.666
那 AirX 的防護到底有多強呢？
3:45.700–3:49.400
你知道犀牛盾他們把 AirX 送到瑞典太空中心
3:49.400–3:52.733
進行超過三萬公尺近太空高度的摔落測試
3:52.766–3:53.800
你沒聽錯喔
3:53.833–3:55.000
三萬公尺
3:55.000–3:59.800
那它經歷了，這個手機包著殼，經歷了極致低溫
3:59.833–4:03.533
真空環境跟高空落下來的衝擊之後呢
4:03.533–4:06.166
手機竟然還可以正常使用
4:06.166–4:08.800
這個是創下了全新的世界紀錄的
4:08.833–4:11.300
那 AirX 可以做到這件事情呢
4:11.333–4:15.133
關鍵就在於 AirX 裡面有 360 度的包覆式氣囊
4:15.133–4:18.700
搭配了這個犀牛盾獨家的內傷防護複合系統
4:18.733–4:21.933
可以把摔落瞬間的衝擊力給分散吸收掉
4:21.933–4:22.966
那你可以想像
4:23.000–4:25.533
就是我們幫手機裝上了一圈安全氣囊
4:25.533–4:28.466
可以降低摔落的受損機會
4:28.466–4:29.733
如果你挑手機殼
4:29.766–4:31.600
也很在意顏色跟手感的話
4:31.633–4:36.100
可以看看犀牛盾的 SolidX 強化吸震緩衝殼
4:36.100–4:37.533
這個 SolidX
4:37.566–4:42.033
它的霧透系列可以透出 iPhone 本身的顏色
4:42.066–4:45.733
很百搭，再加上它很細緻的磨砂質感
4:45.733–4:47.233
摸起來很舒服
4:47.233–4:49.800
也抗污耐髒。內側四個角落
4:49.833–4:51.200
也是有緩衝槽的
4:51.233–4:54.866
所以它的外型跟防護都有顧到
4:54.866–4:58.100
也很好拆裝。另外也有其他的
4:58.133–5:00.666
像是主打終身抗黃保固
5:00.700–5:05.333
如果變黃了，可以免費換新的 Clear 透明殼系列
5:05.333–5:09.100
以及全新的裸機感 Bumper 邊框殼
5:09.133–5:12.966
連螢幕、鏡頭保護都可以一起備齊
5:13.000–5:14.933
現在購買任何一款手機殼
5:14.933–5:16.800
保護貼還有限時 7 折起
5:17.600–5:19.200
舊殼也不要急著丟
5:19.233–5:21.400
犀牛盾現在有 RHINOLOOP
5:21.400–5:23.566
手機殼回收計畫的大進化
5:23.566–5:26.466
加入官方會員，完成手機驗證
5:26.466–5:28.533
再啟動舊殼回收的話
5:28.566–5:31.100
新殼就可以折抵 500 塊
5:31.100–5:33.766
那或是你在官網結帳的時候呢
5:33.800–5:35.900
輸入我們哈利的折扣碼
5:35.900–5:40.333
這個科技浪的限時折扣碼 i18-harry，小寫的 i
5:40.333–5:44.133
然後 18，然後 dash harry，都是小寫的
5:44.166–5:47.666
這個我們在本集資訊欄也會提供折扣碼
5:47.666–5:51.766
你就可以訂單直接滿 700 塊，現折 100 塊，OK
5:52.166–5:55.466
所以這個連結跟折扣碼都放在節目的資訊欄
5:56.033–5:59.200
準備換新 iPhone 的朋友，可以記得去看看
5:59.233–6:01.433
來幫新手機先把防護給準備好
6:01.800–6:03.933
本集業配就到這邊結束，謝謝犀牛盾的贊助
6:04.333–6:08.400
各位，我們必須得來聊聊 Jev，J-E-V，Jev
6:08.433–6:10.666
過去這三天的社群媒體
6:10.666–6:12.666
不管是 X 還是 Threads
6:12.700–6:15.700
全部都是 Jev，怎麼滑都是看到 Jev
6:15.733–6:19.866
十篇裡面至少七八篇都是 Jev，如果你不知道的話
6:19.866–6:24.600
這個 Jev 是過去這一週 AI 圈最大的一個新聞
6:24.600–6:28.700
所有人都在討論的一個新的 AI 模型
6:28.733–6:32.533
那它是由一間叫做 TypeSafe AI 的公司在上禮拜推出的
6:33.000–6:35.100
那你如果沒有聽過 TypeSafe AI 這間公司
6:35.100–6:35.966
其實非常正常啦
6:35.966–6:39.066
因為他們基本上在上禮拜之前是
6:39.066–6:41.333
沒有人聽過的一間公司
6:41.366–6:42.966
他們 2024 年成立
6:42.966–6:46.366
但是兩年的時間他們都是在低調打造產品
6:46.366–6:48.666
就是 Stealth Mode 這樣子
6:49.300–6:55.400
那在上禮拜他們才終於就是推出他們的第一個模型
6:55.400–6:58.866
然後就也讓大家了解知道他們這樣子
6:58.900–7:03.400
那這模型一出來，馬上就是全網爆紅啊
7:03.433–7:06.466
整個 AI 圈子沒有任何其他 topic
7:06.500–7:09.833
大家都在講 Jev，那為什麼會這麼紅呢？
7:09.866–7:12.633
就是現在 AI 模型整天都在推出嘛
7:12.633–7:15.066
就是每個禮拜都有新模型推出來
7:15.100–7:18.433
為什麼這個模型會得到這麼多關注？
7:18.466–7:22.566
首先，最主要的原因是因為它不是一般的 AI 模型
7:22.866–7:25.566
它不是一個 chatbot，也不是一個 AI agent
7:25.566–7:27.400
它是一個 TypeSafe 把它稱作
7:27.433–7:28.933
System 1 model 的模型
7:29.366–7:30.766
好，那你聽這個名字
7:30.800–7:32.766
原本你第一次看到就覺得，哇
7:32.800–7:35.000
好像很炫砲耶，好像很神秘耶！
7:35.033–7:38.066
什麼叫做 System 1 model？感覺好像很厲害
7:38.066–7:41.300
然後你往下繼續看他們的這個宣傳文呢
7:41.300–7:42.900
你會覺得越看越扯
7:42.933–7:45.200
他們講了很多東西，像是說
7:45.233–7:48.033
Jev 這個模型呢，是不會有幻覺的
7:48.066–7:52.600
Zero Hallucinations，這個原本應該是 AI 模型
7:52.600–7:56.866
這個 LLM 模型的一個致命痛點的幻覺問題
7:56.900–7:58.433
他們竟然沒有
7:58.433–7:59.333
然後還寫
7:59.366–8:03.600
它的速度跟成本都是遠遠勝過現在的大型語言模型
8:04.033–8:05.066
速度快多少倍？
8:05.466–8:09.000
不是快一倍兩倍，是快兩百倍
8:09.533–8:11.166
然後成本呢？
8:11.200–8:12.600
便宜四百倍
8:13.100–8:15.100
哇，看到這邊你真的會覺得說
8:15.133–8:17.000
這個模型到底是何方神聖啊
8:17.300–8:19.166
你就忍不住想要去研究它嘛
8:19.633–8:21.166
那這是它爆紅的第一個原因
8:21.533–8:22.900
它還有另外一個原因
8:23.233–8:25.033
就是它的 Founder
8:25.033–8:28.666
TypeSafe AI 的 CEO，其實背景很硬喔
8:28.800–8:31.200
他的名字叫做 Diogo Almeida
8:31.233–8:32.966
是一個蠻騷包的 CEO
8:33.633–8:37.266
因為他去參加一些演講啊，Event
8:37.300–8:41.500
都會穿著一個粉色的那種羽絨大衣，OK
8:42.066–8:44.166
就很亮的很亮的那種粉色
8:44.600–8:47.533
就有點像是那個 One Piece 的那個 Doflamingo 那樣子
8:47.933–8:50.600
那反正，他的技術底子真的很硬喔
8:50.900–8:53.700
他是 ChatGPT 的共同發明者之一
8:54.266–8:55.800
差不多 2022 年
8:55.800–8:57.933
OpenAI 在研究怎麼把
8:57.933–9:02.033
GPT-3 這種只會做文字接龍的大型語言模型
9:02.033–9:04.033
變成是一個 chatbot
9:04.033–9:09.833
像是 ChatGPT 這種會跟你一來一往地聊天的模型
9:09.866–9:11.800
那這背後最核心的技術呢
9:12.566–9:15.733
就是後訓練，就是 RLHF 的這些技術
9:15.766–9:19.600
就是 Diogo Almeida 當時在 OpenAI 研究的
9:19.800–9:21.933
他們甚至後來出了一篇論文
9:21.966–9:23.933
然後這個 Diogo Almeida
9:23.966–9:26.100
是那篇論文的主要作者之一
9:26.266–9:28.900
所以這整件事就是一個完美頭條嘛，對不對？
9:29.400–9:29.633
哇
9:29.633–9:31.766
這個 ChatGPT 的共同發明者之一
9:31.800–9:33.733
竟然推出了一個 AI 模型
9:33.733–9:36.600
比現在的模型快兩百倍
9:36.600–9:38.333
然後還便宜四百倍
9:38.366–9:41.400
然後還永遠不會產生幻覺。哇！
9:41.400–9:43.700
天翻地覆，世界要改變啦！
9:43.733–9:45.766
那當然啦，就一如既往
9:45.766–9:50.200
其實很多這些 marketing 的講法都是比較偏炒作啦
9:50.233–9:54.266
其實事實的狀況就是，天下沒有白吃的午餐
9:54.266–9:54.566
好
9:54.600–9:57.033
你今天要做到我們剛剛講的那三件事情呢
9:57.066–10:00.933
你勢必要犧牲一點你們模型能夠做到的事
10:00.933–10:03.533
那聽完今天這集 podcast 呢
10:03.566–10:07.533
你就會完全理解 Jev 這個模型它到底是什麼
10:07.533–10:09.166
它的運作原理又是什麼
10:09.200–10:11.600
它的應用場景可以應用在哪些地方
10:11.600–10:13.266
能夠解決哪些問題
10:13.266–10:17.066
然後哪些場景是沒有辦法取代現在的 LLM 的
10:17.100–10:19.266
以及它的實測狀況如何
10:19.700–10:21.700
我自己也有簡單地去測試一下
10:22.166–10:24.366
然後最後我覺得也是非常重要的一點
10:24.400–10:25.433
就是 So what？
10:25.633–10:28.366
有了 Jev 之後，又會發生什麼事情？
10:28.633–10:31.866
這對於現在的 AI agent 的意義究竟是什麼？
10:32.300–10:36.666
我覺得 Jev 當然不像是很多的文章一樣
10:36.700–10:38.600
講得會改變世界
10:38.600–10:44.133
但是它確實，必須說，是一個重要的技術趨勢
10:44.166–10:46.000
它確實是會改變一些事情
10:46.533–10:47.733
好，那首先呢
10:47.733–10:50.766
我們就先從 Jev 到底是什麼開始聊起
10:51.300–10:53.633
好，那當然這個 TypeSafe AI 是把它稱作
10:53.633–10:55.666
一個 System 1 model 嘛，對不對？
10:56.100–10:57.566
好，但你直接這樣子講
10:57.566–10:59.300
沒有人會知道它是什麼的啦
10:59.600–11:02.600
好，其實一個最精準的講法
11:02.633–11:04.166
我會把它稱作一個
11:04.166–11:08.300
LLM-based general-purpose classification model
11:08.333–11:12.766
中文可以翻成基於大型語言模型的通用分類模型
11:12.766–11:15.166
OK，那當然我知道 TypeSafe AI
11:15.200–11:17.900
他們官方絕對不會認同這樣子的定義
11:17.933–11:21.566
因為他們就是很明顯地想要跟 LLM 切割嘛
11:21.566–11:22.866
然後做出差別
11:22.900–11:24.766
才會把它叫做 System 1 model
11:24.800–11:27.133
但是我覺得最精準的講法應該是這樣子
11:27.166–11:28.466
我自己認為
11:28.466–11:31.966
那當然這一句話聽起來很長很複雜
11:32.000–11:33.766
很多人可能一時之間沒有辦法
11:33.766–11:35.133
完全理解它是什麼意思
11:35.166–11:36.900
所以我們把它 break down
11:36.933–11:39.166
我們把它拆出幾個重要的觀念來看
11:39.166–11:40.300
先看最後一句喔
11:40.333–11:43.600
Jev 是一個 classification model 分類模型
11:43.633–11:46.166
意思就是說它只能做分類工作
11:46.166–11:48.966
它不能產生文字、圖片或是程式碼
11:49.000–11:51.233
這邊其實就是跟一般的這些
11:51.266–11:54.866
AI agent、AI chatbot 很不一樣的地方嘛
11:54.866–11:55.766
對不對？
11:55.800–11:57.466
所謂的分類工作呢
11:57.466–12:01.700
就真的是針對一個情況或是一個物件去幫它做分類
12:01.733–12:04.500
就比如說你拿到一個客服的訊息
12:04.500–12:06.533
一個客人的抱怨的訊息
12:06.566–12:08.400
那你要根據這個訊息
12:08.400–12:11.366
分辨它究竟是一個技術相關的問題
12:11.366–12:12.833
還是一個帳務相關的問題
12:12.866–12:14.166
還是一個物流相關的問題
12:14.200–12:14.866
等等
12:14.900–12:19.800
或者是根據目前你看到的這一則 email 的內容呢
12:19.833–12:22.900
去判斷它是不是釣魚信件
12:22.933–12:25.800
OK，就兩種可能而已，是或是不是
12:25.800–12:32.466
或者是根據履歷的內容以及你的徵才標準
12:32.466–12:37.233
去判斷這個應徵者跟我們職缺的適合程度有幾分
12:37.266–12:39.733
1 到 5 分，究竟有幾分這樣子
12:39.766–12:43.366
好，那像這類型的工作呢，就是 Jev 在做的
12:43.366–12:46.133
而且 Jev 也只能做這類型的工作
12:46.166–12:49.100
它不會產生文字，也不會產生圖片，好
12:49.100–12:52.900
你今天就是丟給它一個你要判斷的情況
12:52.933–12:56.333
以及這個情況之下你目前的選項有哪些
12:56.333–12:59.200
然後 Jev 就會直接吐給你一串機率分布
12:59.233–13:01.033
好，這個機率分布呢
13:01.066–13:03.966
就是你給它的選項當中的機率分布
13:03.966–13:04.333
OK
13:04.366–13:06.366
比如說 A 選項幾% 的機率
13:06.366–13:09.266
B 選項幾% 的機率，C 選項幾% 這樣子
13:09.300–13:12.133
像是你丟給它一個客服的訊息，內容就是說
13:12.166–13:15.333
「我想知道一下我的包裹目前的進度。」
13:15.333–13:19.800
那你下面就寫出，你現在要問的問題是
13:19.800–13:22.500
請問這個客服的訊息呢
13:22.533–13:24.766
它是哪一個類別的問題？
13:24.800–13:27.400
然後下面有 A 選項：帳務
13:27.400–13:30.300
B 選項：技術，C 選項：物流
13:30.333–13:34.300
D 選項……然後你把這整坨東西丟給 Jev
13:34.300–13:37.200
Jev 就會吐一個機率分布給你
13:37.233–13:40.566
比如說帳務機率 2%，技術機率 1%
13:40.600–13:42.466
然後物流機率 92%
13:42.466–13:45.700
然後其他選項機率幾%、幾%、幾%
13:45.733–13:49.066
你透過這個機率分布就可以看到說
13:49.066–13:53.766
Jev 認為這個問題有 92% 的機會是跟物流相關的
13:53.766–13:55.000
所以說，好
13:55.033–13:58.333
這個，八成這個問題就是物流的問題這樣
13:58.366–14:01.833
好，你覺得 Jev 可以幫你很快地去做出這個判斷
14:02.000–14:05.033
然後同時，Jev 也不只是一個單純的分類模型
14:05.033–14:07.400
它是一個通用的分類模型
14:07.433–14:09.733
一個 general-purpose classification model
14:09.733–14:11.066
那這句話在講的呢
14:11.100–14:13.366
就是同樣一個 Jev 模型
14:13.400–14:16.566
可以解決各式各樣不同的分類問題
14:16.566–14:16.666
OK
14:16.800–14:21.733
你不用再額外去訓練它去學習如何分類不同的問題
14:21.900–14:23.966
它自己本來就可以靠著它的
14:23.966–14:25.866
這個世界知識去進行判斷
14:26.266–14:28.000
好，你只要 context
14:28.000–14:30.766
就是你的問題的狀況，問題的敘述
14:30.800–14:33.766
還有這個該給的資訊有給足
14:33.800–14:37.066
它大部分的情況下都有能力可以自己判斷
14:37.100–14:39.833
那當然啦，我覺得有些人可能會覺得說
14:39.866–14:41.533
這不是理所當然的嗎？
14:42.166–14:45.933
現在哪一個模型不是通用的嘛，對不對？
14:46.433–14:47.600
但你必須要知道
14:47.633–14:49.500
我覺得通用這件事情
14:49.533–14:50.800
就是你還是得加在
14:50.833–14:53.166
classification model 這個詞之前
14:53.166–14:54.433
因為你要知道
14:54.466–14:57.200
在 ChatGPT 時代之前
14:57.233–15:00.100
我們那時候在講 AI，其實那時候
15:00.133–15:01.000
甚至不是在講 AI
15:01.000–15:03.366
在講 machine learning 那個時候
15:03.400–15:04.433
在講 machine learning
15:04.466–15:06.766
在講機器學習的時候呢
15:06.766–15:09.500
classification，也就是分類問題
15:09.500–15:11.533
一直以來都是一個大類別
15:11.566–15:16.166
很多的機器學習的演算法都是為了分類問題而設計的
15:16.566–15:20.066
那當然沒有任何一個演算法是可以像是現在 Jev
15:20.100–15:24.233
像是現在那個 ChatGPT 這麼通用的
15:24.233–15:28.766
全部都是針對一個你的特定問題
15:28.800–15:32.666
特定領域的特定問題去訓練一個模型出來
15:32.700–15:34.400
就比如說你們今天一個銀行
15:34.400–15:37.966
想要大量去判斷你們客戶的違約機率有多高
15:38.000–15:40.500
你就要準備大量的歷史資料
15:40.533–15:42.733
一筆一筆都清楚地標示了
15:42.766–15:45.166
這個客戶他的交易行為如何
15:45.166–15:49.433
他的個人資料、基本資料，然後他是否有違約
15:49.433–15:51.366
具體很多這種過去的資料
15:51.400–15:53.666
就拿這些資料去訓練一個模型
15:53.833–15:55.866
隨便看你要挑什麼樣子的演算法
15:56.233–15:58.800
有一些比較統計 based 的演算法
15:58.800–16:01.266
也有一些像是神經網路的演算法
16:01.633–16:04.500
反正你挑一個演算法，然後就訓練這個模型
16:05.100–16:07.366
那後續你就可以用
16:07.400–16:11.466
這個模型去為新的客戶去進行預測
16:11.733–16:15.533
預測看這個人有沒有違約的機率這樣子
16:15.900–16:19.566
但很明顯地，同一個模型就只會做這件事情
16:19.866–16:21.666
它不能同時也幫你去判斷一封
16:21.666–16:23.333
email 到底是不是釣魚信件
16:23.766–16:28.000
它只會做你訓練資料有丟給它的事情這樣子
16:28.533–16:30.866
所以 classification model 已經是
16:30.866–16:32.100
machine learning
16:32.133–16:34.333
這個圈子當中已經很老的一個詞了
16:34.533–16:37.833
然後也是大家鑽研很久的一個技術
16:38.166–16:41.133
但是 Jev 我覺得可以說就是站在
16:41.166–16:44.166
classification model 的頂端啦
16:44.300–16:46.933
它是一個通用的模型
16:47.200–16:50.466
任何問題，你不用訓練，不用找訓練資料
16:50.500–16:52.733
丟給它，它就會做了這樣子
16:52.966–16:55.066
那當然啦，有一些如果太偏的
16:55.100–16:57.700
會需要大量領域知識的問題
16:57.700–17:01.366
Jev 也不一定能夠直接就給出一個很好的答案
17:01.400–17:04.100
就比如說，像我們剛剛舉的例子就蠻不錯的嘛
17:04.800–17:07.933
銀行內部要去判斷一個客人他的違約機率
17:08.366–17:10.700
那像這樣子的問題呢，因為網路上
17:10.700–17:13.166
它在這個 Jev，我們待會會講到 Jev
17:13.200–17:14.766
它是一個 LLM-based
17:14.800–17:17.033
它有一個大型語言模型的基底
17:17.033–17:20.066
它一樣是透過網路上的資料訓練出來的模型
17:20.533–17:23.200
網路上的資料你全部都看過
17:23.233–17:25.333
你也不一定可以建立起一個很好的直覺
17:25.366–17:30.366
就是什麼樣子的客人容易違約嘛，對不對？
17:30.366–17:34.866
通常還是要從銀行自己內部的資料去學習
17:34.866–17:37.933
你才可以建立起這邊的直覺
17:38.366–17:41.300
那這邊的問題可能 Jev 就沒有辦法解得很好
17:41.333–17:43.700
但是其實絕大多數的問題啦
17:43.733–17:47.566
然後很多也都是已經非常有商業價值的問題
17:47.566–17:49.800
Jev 其實就直接可以解決了
17:49.833–17:52.933
待會我們也可以在講應用場景的時候再多講一些
17:53.100–17:55.033
好，那我們剛剛也有大概提到了嘛
17:55.066–17:56.466
就是這個 Jev 的模型呢
17:56.466–18:00.200
它之所以是一個通用的分類模型，它有通用能力呢
18:00.200–18:02.400
也是因為它是用一個 LLM
18:02.433–18:05.000
一個大型語言模型作為基底嘛
18:05.000–18:05.433
對不對？
18:05.433–18:06.900
那嚴格來說呢
18:06.933–18:10.600
它是用一個預訓練完的 LLM 作為基底
18:10.600–18:12.800
但是在後訓練的部分呢
18:12.800–18:15.400
它的做法跟現在典型的 LLM
18:15.433–18:18.133
跟 Agent 就開始有不一樣了
18:18.133–18:21.133
它是在後訓練的這個階段開始分歧的，OK
18:21.533–18:23.833
我們知道現在這些 LLM 的訓練主要
18:23.833–18:26.333
就是分成兩個階段嘛，預訓練跟後訓練
18:26.633–18:27.966
那預訓練階段
18:28.000–18:32.033
就是讓這個模型大量地去看網路上的訓練資料
18:32.066–18:35.833
然後去建立起基本的世界知識跟語言能力
18:35.833–18:40.366
那後訓練的部分就是建立在這個基本的能力之上
18:40.400–18:44.533
再去把這個模型形塑成人類想要的樣子
18:44.566–18:46.966
或者是會使用工具的樣子
18:47.400–18:49.800
所以 Jev 跟一般 LLM 的差別
18:49.800–18:53.033
就是差在後訓練這一段的訓練方式不同嘛
18:53.066–18:53.700
對不對？
18:53.700–18:56.333
我們一樣經過一樣的預訓練
18:56.333–18:59.566
就是做出了一個有世界知識的模型
19:00.000–19:01.800
那假設你今天想要讓
19:01.800–19:04.566
這個模型後續變成 ChatGPT 的話
19:04.600–19:08.133
你就會先讓它理解怎麼樣子跟人類溝通
19:08.133–19:10.633
怎麼樣子一搭一唱變成一個 chatbot
19:10.666–19:13.733
然後再教它怎麼樣子去使用工具
19:13.766–19:15.800
怎麼樣去解數學題目
19:15.833–19:20.800
怎麼樣子去解決一個很長時間的 coding 題目等等的
19:20.800–19:22.333
好，慢慢訓練這些事情
19:22.366–19:24.500
然後它就變成了那個 GPT-6。好
19:24.500–19:28.866
那如果你是想要把它變成 Jev 這樣子的模型的話呢
19:28.900–19:32.566
你在後訓練的過程中就不要教它怎麼吐文字了
19:32.566–19:34.800
不要教它給出完整的回答了
19:34.833–19:37.666
就直接教它怎麼吐一個機率分布就好了
19:37.666–19:40.766
就基於你的問題，你就是只能吐一個機率分布，OK
19:41.066–19:44.566
就是把它硬是變成一個單純的選擇機器
19:44.733–19:46.466
大概念基本上就是這樣子啦
19:46.600–19:49.700
好，但如果你想要再更深一步了解的話呢
19:49.733–19:52.866
我們接下來就來聊一些技術細節
19:52.866–19:54.900
那如果你不想聽的話也沒關係
19:54.933–19:57.700
就是本集資訊欄都有時間軸
19:57.700–20:00.833
這個 part 會比較細一點，比較技術一點
20:00.866–20:03.100
你就直接跳到下一個 part 就 OK 了
20:03.100–20:06.066
反正我們知道這個後訓練的部分呢
20:06.100–20:09.433
也是有分很多不同階段的嘛，對不對？
20:09.666–20:12.366
有這個 supervised fine-tuning 啊
20:12.400–20:13.833
有 RLHF 啊等等的
20:14.033–20:16.666
每個階段都有它的目的
20:17.100–20:18.100
像是 RLHF
20:18.100–20:22.166
Reinforcement Learning from Human Feedback
20:22.200–20:24.233
它在做的就是想辦法讓
20:24.233–20:26.800
這個模型的回答更跟人類對齊
20:26.833–20:31.800
就是說更自然，社會接受度更高，然後更安全
20:31.800–20:36.900
給出大家真的會比較喜歡的一個回答
20:36.933–20:39.633
另外一個 part 也是很有名的
20:39.633–20:42.600
是最近這兩年興起的，叫做 RLVR
20:42.633–20:47.266
Reinforcement Learning with Verifiable Rewards
20:47.733–20:52.166
這邊在做的就是透過讓模型去解決像數學題
20:52.166–20:54.166
像 coding 的問題
20:54.166–20:59.533
像是一些 puzzle，像是一些 tool use 的 task
20:59.566–21:02.266
這種有明確定義的解答
21:02.266–21:05.666
明確可被驗證的結果的問題
21:05.700–21:13.066
去訓練它的思考的能力，去嘗試解決方法的能力
21:13.100–21:17.366
使用工具的能力，驗證答案的能力等等
21:17.366–21:20.900
這個其實就是很多人在過去這兩年講到
21:20.933–21:23.400
RL 的時候特別在指的東西
21:23.400–21:26.033
就是在講 RLVR
21:26.066–21:31.266
TypeSafe 他們基本上不做 RLVR，也不做 RLHF
21:31.300–21:33.633
他們在做的是一種新的後訓練
21:33.666–21:37.433
他們有發明一個新的詞，叫做 RLCD
21:37.433–21:43.033
Reinforcement Learning for Calibrated Decisions
21:43.033–21:47.000
的中文是叫做「校準決策」
21:47.000–21:49.600
它的意思就是代表說
21:49.600–21:52.333
它這個模型必須要能夠給出
21:52.366–21:55.433
真的很符合現實的機率分布
21:55.433–21:56.666
白話來說
21:56.700–22:02.266
它並不是只是要求這個模型最後有選到對的分類
22:02.300–22:04.066
選到對的選項而已
22:04.100–22:09.266
它還會要求這個模型給出的機率分布是符合事實的
22:09.400–22:11.000
應該說盡量接近事實
22:11.466–22:15.066
因為真實世界中的很多問題也不是非黑即白的
22:15.300–22:18.433
同樣的一件事情，同樣的一個回覆
22:18.466–22:22.466
其實在各種不同的狀況之下也會有不一樣的解讀
22:22.466–22:26.133
然後有時候也真的就是有一些機率成分在裡面嘛
22:26.166–22:27.000
對不對？
22:27.333–22:28.366
就比如說
22:28.366–22:31.800
你今天的任務是判斷餐廳 Google
22:31.833–22:36.033
評論下面的留言到底是正面的還是負面的
22:36.033–22:42.100
假設有一句留言是寫說：「這間餐廳真的很扯」有寫到這句話
22:42.500–22:44.500
那可能 80% 的情況之下
22:44.533–22:47.700
這個人是覺得這間餐廳很爛，對不對？
22:48.100–22:50.200
但其實同樣一句話也是可以
22:50.233–22:52.000
就是比較少人這樣用啦
22:52.000–22:54.366
但是可能 20% 的狀況之下
22:54.400–22:57.633
有些人也是會把這句話拿來當稱讚嘛
22:57.666–22:58.100
對不對？
22:58.100–23:00.733
他可能說：「真的很扯 竟然做出這麼好吃的 burger！」嘛
23:00.766–23:01.233
對不對？
23:01.633–23:05.266
所以 TypeSafe AI 透過 RLCD 的訓練目標
23:05.300–23:10.400
就是希望讓 Jev 遇到「這個餐廳真的很扯」這句話的時候呢
23:10.400–23:14.866
它會吐出 80% 負面這樣子的一個答案
23:14.900–23:18.033
那具體來說，這個 RLCD 究竟是怎麼做的？
23:18.066–23:19.633
TypeSafe AI 沒有講
23:19.900–23:21.900
這個算是他們的 Secret Sauce
23:21.900–23:24.266
他們的商業機密的部分啦，對不對？
23:25.466–23:29.900
Jev 的整個模型，他們有講的東西確實沒有很多
23:29.933–23:31.733
它是一個閉源模型
23:32.400–23:35.333
Jev，他們今天 TypeSafe 也就只有釋出
23:35.333–23:37.533
Jev 的這個 API 的 endpoint
23:37.566–23:41.200
所以說你能做的就是看到 Jev 這個 API
23:41.233–23:43.900
你的 input、output 是什麼
23:43.900–23:45.066
就這樣子而已
23:45.066–23:47.866
你實在不知道這個模型它的架構是什麼
23:47.900–23:49.733
然後它經過什麼樣子的訓練
23:49.733–23:52.866
以及甚至它的 pure output 是什麼
23:52.866–23:54.566
你其實也不太知道
23:54.600–23:57.466
但在所有的商業機密當中呢
23:57.466–24:01.100
最重要的，我覺得是 Data 跟 RLCD
24:01.400–24:03.833
其實 Diogo 他本人也有大概講到這一點
24:04.633–24:08.233
這個模型本身的架構其實沒有到非常重要啦
24:08.333–24:11.800
雖然說他們確實說 Jev 的架構有一些更新
24:12.233–24:14.866
它並不是真的就是跟現在的
24:14.866–24:17.100
LLM 完全長得一模一樣
24:17.100–24:19.033
只是訓練方式不一樣而已
24:19.033–24:19.500
並沒有
24:19.766–24:21.900
它架構上也是有一些創新
24:21.933–24:24.700
但那個不是 Jev 它最厲害的地方
24:25.166–24:29.166
Jev 它最厲害的地方是它的 RLCD 的 recipe
24:29.200–24:32.333
它整個食譜跟它的訓練資料這樣子
24:32.866–24:34.000
不知道他們怎麼搞的
24:34.266–24:37.533
好，那這邊畢竟全部都是一個謎
24:37.566–24:39.333
所以我們就也不講太多了
24:39.366–24:41.000
就也沒有意義嘛，對不對？
24:41.033–24:45.700
好，但針對這個模型的運作原理的技術細節
24:45.733–24:48.300
我這邊可以給出一些我自己的猜測啦
24:48.300–24:50.200
那當然我的猜測不一定對
24:50.200–24:53.066
雖然說我去網路上，後來我去網路上看
24:53.066–24:55.733
我發現也蠻多人跟我的想法一樣的
24:55.766–24:57.266
但是它不一定對啦
24:57.300–25:00.900
但是它，我覺得是對於大家建立起這個
25:00.933–25:03.133
這樣子的模型怎麼運作
25:03.133–25:05.566
我們的直覺是有點幫助的啦
25:05.566–25:08.666
因為大方向應該就是這樣子
25:09.033–25:10.966
我們知道一些大方向的東西
25:11.233–25:18.366
首先我們知道的是它這個 API 的 input output 的 shape，跟它的這些字數的限制等等
25:18.766–25:21.066
像是它的這個 input
25:21.066–25:24.500
基本上你就是放你的問題的敘述
25:24.533–25:27.400
應該說它是叫做 state 啦
25:28.166–25:31.000
你現在的情況，你的前後文是什麼
25:31.333–25:34.066
你現在在解決的是什麼問題
25:34.800–25:37.733
還有 question 的部分
25:38.166–25:41.633
question 就是你要 Jev 去回答的問題
25:41.833–25:42.466
OK
25:42.466–25:47.200
那這邊每個問題就是除了有問題本身的敘述以外呢
25:47.233–25:51.400
也會有那個問題有哪些選項可以選，OK
25:51.433–25:52.400
那選項
25:52.433–25:55.600
每一題的選項最多是 255 個
25:55.633–25:58.800
然後問題的數量本身沒有限制
25:58.833–26:00.466
但是它有總 token 的限制
26:00.466–26:02.100
總 token 的限制有兩個喔
26:02.133–26:04.666
第一個是你整個 API request
26:04.700–26:07.633
就是你的 state 加你的所有問題
26:07.666–26:09.966
加你的所有選項不可以超過
26:09.966–26:11.766
64K 的 token
26:11.800–26:12.700
然後
26:12.733–26:15.400
你的 state 加任意一個問題
26:15.400–26:17.566
加那個問題的所有選項
26:17.600–26:20.000
不可以超過 32K 的 token
26:20.033–26:22.566
這些數字一看就知道
26:22.600–26:27.200
不是 PM 隨便亂定的，它都是有意義的
26:27.200–26:32.800
32K 你一看到就知道應該是跟 context length 有點關係
26:32.833–26:37.366
然後 255、256 − 1，2 的八次方 − 1
26:37.400–26:41.533
很明顯也是一個技術上限制的數字
26:41.566–26:44.233
這邊就是我們的第一個線索
26:44.466–26:48.333
還有另外一個線索，TypeSafe 的 CEO Diogo
26:48.333–26:50.200
他會在 Hacker News
26:50.233–26:53.066
就是一個技術論壇
26:53.066–26:57.700
他會在這個技術論壇上回一些留言，他還蠻活躍的
26:57.733–26:59.833
好，那他在回覆當中
26:59.833–27:00.900
他有一次就有提到
27:00.933–27:02.600
就是說確認了一件事情
27:02.633–27:05.400
說這個 Jev 的運作原理
27:05.433–27:07.566
就是把 LLM 產生的這個
27:07.600–27:10.600
token probability distribution
27:10.600–27:13.200
換成是針對目前問題的選項的
27:13.233–27:16.033
probability distribution。好
27:16.033–27:19.400
其實它的核心概念是這樣子。好
27:19.433–27:23.366
這個是 CEO 認可的講法。那這什麼意思呢？
27:23.366–27:25.600
首先我們知道現在這些 LLM
27:25.600–27:27.700
我們看到它們的產出都是一個
27:27.733–27:29.766
token 一個 token 吐出來嘛
27:29.766–27:30.333
對不對？
27:30.366–27:32.633
但它其實並不是算完之後就
27:32.633–27:34.800
直接跳出一個 token 這樣
27:35.366–27:39.433
它其實實際它吐出的產出是一個機率分布，OK
27:39.700–27:42.933
每一個 token 背後它都是先吐出一個機率分布
27:42.966–27:45.933
再從這個機率分布當中選出一個 token
27:45.933–27:50.166
這個機率分布就是橫跨它的整個 vocabulary
27:50.200–27:53.166
就是它能夠吐出的所有 token 當中
27:53.200–27:58.366
每一個 token 作為下一個 token 的機率有多高
27:58.400–28:01.933
那它不一定每次都選機率最高，有時候選機率第二
28:01.933–28:05.133
有時候選機率第三的，看你的 temperature 調整
28:05.166–28:07.833
但反正我們今天就是一直在從 LLM
28:07.833–28:10.900
吐出的機率分布當中選一個 token 這樣
28:11.133–28:14.033
那這樣 Jev 的概念其實也沒有差很多嘛
28:14.033–28:14.800
對不對？
28:14.900–28:16.733
它也是吐機率分布啊，對不對？
28:17.100–28:20.333
只不過它的機率分布不是它所有能產生的
28:20.366–28:22.233
token 之間的機率分布
28:22.233–28:23.633
它根本不會產生 token
28:23.666–28:28.366
它是針對目前這個問題的選項的機率分布，OK
28:28.833–28:30.866
那但這邊就有個問題啦，就每次
28:30.900–28:33.066
因為它是個通用模型嘛，對不對？
28:33.333–28:36.833
它每次的選項數量可能不同啊，針對不同問題
28:36.866–28:38.833
它可能有時候是非題就兩個選項
28:38.866–28:42.500
有時候多選題，不是多選啦，就是選擇題
28:42.500–28:44.466
可能十個選項之類的都有可能嘛
28:44.466–28:45.033
對不對？
28:45.066–28:48.100
那這邊就是，它怎麼做的呢？
28:48.400–28:51.400
這部分就開始進入我猜測的部分了
28:51.666–28:55.933
我猜測它的做法，我後來發現也蠻多人這樣講的
28:55.966–28:59.666
就是它每次的 output 就是固定是一個
28:59.666–29:03.266
255 個 element 的 classifier head
29:03.266–29:04.366
簡單來說
29:04.366–29:09.433
它每次就是吐出 255 個 element 的一個機率分布
29:09.466–29:13.200
每一個 element，每一個元素，它的機率是幾%
29:13.233–29:15.366
每次一定都會有 255 個
29:15.466–29:19.100
那假設今天的問題只有五個選項的話
29:19.133–29:22.666
那這五個選項就分別對應到那
29:22.700–29:26.000
255 個 output 中的前五個
29:26.000–29:29.133
好，那第六個開始後面的就全部都不要看
29:29.166–29:30.800
要嘛就是全部都零啊
29:30.833–29:32.333
要嘛就全部 mask 住啊
29:32.333–29:34.633
就反正那邊都不重要，就不用看它們
29:34.666–29:38.700
好，那就它一樣會吐出這 255 個的機率分布
29:38.933–29:41.966
好，其實嚴格來說啦，好，這邊又更技術一點
29:42.000–29:43.800
但就是它在吐的是 logits
29:43.833–29:50.066
那這些 logits 後續才會透過一個叫做 softmax 的 function 把它換成機率分布這樣子
29:50.066–29:53.033
但反正它今天能做到的事情就是
29:53.066–29:55.633
吐出 255 個全部的 logits
29:55.666–29:57.100
但只用前 5 個
29:57.100–30:00.266
然後只拿前 5 個去算一個機率分布
30:00.266–30:02.766
就是只拿前 5 個去丟那個 softmax
30:02.800–30:05.400
然後算出每個的機率是多少
30:05.433–30:06.566
然後加起來會是 100%
30:06.566–30:10.600
所以你有點可以把它想像成是說一般的 LLM
30:10.633–30:14.300
它在吐的這個機率分布是所有 token 的選項嘛
30:14.333–30:17.633
那它可能，當然每個 LLM 的這個 vocabulary
30:17.666–30:19.700
就是總字彙數量也不太一樣
30:19.733–30:23.366
但可能假設你今天這個 LLM 的總字彙數是 10 萬個
30:23.400–30:27.466
你總共可以吐出 10 萬個可能的 token。好
30:27.466–30:33.833
那你就是每次，你都是產出一個 10 萬個 token 之間的機率分布這樣子。好
30:33.833–30:36.466
但是這個 Jev 它的 token 總數呢
30:36.500–30:40.300
它的詞彙總數你可以把它想像成是就只有 255 個
30:40.300–30:44.366
OK，每次這些詞彙都會代表不一樣的東西
30:44.400–30:47.366
但就是針對你目前問題的選項是什麼
30:47.366–30:48.400
它就代表什麼
30:48.433–30:50.666
然後我們要做的也不是只挑選
30:50.666–30:52.500
一個 token 出來就好了
30:52.900–30:57.533
我們要做的是把所有的選項算出一個機率分布
30:57.866–31:02.366
那在這個機率分布當中呢，你可以再算出說誰最高
31:02.400–31:05.100
然後誰就是成為你目前的 choice
31:05.100–31:09.600
同時你也可以算整個機率分布的信心程度
31:10.000–31:12.333
如果這個機率分布超偏某個問題的話
31:12.333–31:13.966
就代表你的信心程度很高
31:14.600–31:16.400
如果是比較平均一點點
31:16.433–31:18.900
就代表你的信心程度稍微低一點
31:19.733–31:21.900
所以他們 API 也會回傳
31:22.800–31:24.400
這些信心程度等等
31:24.566–31:27.966
但這些都是透過原本的機率分布算出來的
31:28.033–31:30.800
它最終的 output 就是一個機率分布
31:30.866–31:34.266
然後你一個 API request 裡面包了很多不同的問題
31:34.300–31:36.000
一次傳過去嘛，對不對？
31:36.500–31:38.766
我猜他們在做的事情呢
31:38.766–31:41.633
他們是一個個問題會獨立評估
31:41.866–31:44.366
這個其實不是我猜啦，這個是官方他們直接有說
31:44.533–31:47.200
他們說每個問題他們是獨立評估的
31:47.200–31:48.866
但是平行進行評估的
31:49.100–31:51.400
所以說你增加你的問題數量
31:51.433–31:53.533
不會增加延遲的時間太多
31:53.966–31:56.166
OK，好，那他只有講到這邊啦
31:56.166–31:57.733
但是具體怎麼做呢？
31:57.800–32:00.333
我覺得他應該暗示得蠻清楚的
32:00.333–32:02.966
就是配合我們剛剛發現的另外一個線索
32:03.000–32:06.500
就是你的 state 加任意一個問題加選項
32:06.500–32:08.366
不能超過 32K token
32:08.400–32:10.766
所以說這個 32K token 應該
32:10.766–32:13.400
就是它的 context length，32K
32:13.800–32:18.133
然後你問的所有問題會一個一個被分開拆出來
32:18.166–32:22.166
然後再包成一個 batch 進行一次的推論
32:22.200–32:25.233
一次的 forward pass 這樣子
32:25.233–32:30.400
OK，就有點像是說，就一樣你今天用傳統的 LLM
32:30.433–32:36.466
然後你可能你的 API 你 send 一個 request 給這個 NVIDIA 的機櫃
32:36.466–32:39.333
然後還有另外一個使用者的 request
32:39.366–32:42.166
然後這個 NVIDIA 機櫃會把你們兩個的 request
32:42.166–32:44.700
跟很多其他人的 request 包在一起
32:44.733–32:46.166
一次進行推論
32:46.200–32:49.433
然後一直產出很多個 token，是一樣的道理
32:49.433–32:51.133
只是他們這邊在做的
32:51.133–32:54.366
就是你的每個問題會被分開拆出來這樣子
32:54.366–32:56.900
所以我講了這麼多，我只是想幫你建立一個直覺
32:56.900–32:59.900
就是你今天看到 Jev 回答一個問題
32:59.933–33:03.933
其實它在做的運算其實是很接近
33:03.933–33:07.800
就是一個 LLM 產生一個 token
33:07.800–33:10.800
OK，就這樣而已，就它吐一個 token 出來
33:10.800–33:12.500
就完成了它所有的任務
33:12.633–33:15.500
從這邊你就可以了解到
33:15.500–33:17.066
為什麼 Jev
33:17.066–33:22.533
它可以有這麼大量的速度的提升跟成本的節省
33:22.566–33:25.533
快 200 倍，省 400 倍的成本
33:25.800–33:26.233
為什麼呢？
33:26.466–33:27.800
因為它只吐一個 token 啊
33:29.166–33:31.600
它只跑一次啊，就結束啦
33:32.033–33:35.333
那一般的 LLM，如果給出一個 2000 字的回答
33:35.333–33:37.033
它就是要跑 2000 次啊
33:37.233–33:38.300
它就要跑 2000 個 token
33:38.333–33:39.900
2000 個 forward pass 嘛，對不對？
33:40.333–33:42.966
整個權重要算過 2000 遍
33:43.133–33:46.033
那這個大方向的直覺，我覺得是不太可能會錯的啦
33:46.200–33:49.133
OK，就很多也是他們官方已經間接承認的東西
33:49.533–33:52.633
我覺得我這邊比較猜測我自己的想法的部分
33:53.000–33:58.800
只是在於它 255 個 classifier head 的 implementation
33:58.833–34:00.766
那些細節的部分啦
34:00.866–34:02.900
但這個直覺是不會錯的
34:03.000–34:04.733
你就是可以這樣子去思考 Jev
34:04.933–34:08.633
那你現在完整理解了 Jev 的運作原理之後呢
34:08.666–34:12.833
你再回來看一個 Jev 模型跟 LLM 模型的差別
34:12.833–34:16.466
好，你就可以非常直覺地去理解到說為什麼
34:16.466–34:19.100
這個 TypeSafe AI 會把它稱作
34:19.100–34:21.300
會這樣子去 market 這個模型
34:21.333–34:23.366
會把它稱作 System 1 模型
34:23.400–34:25.666
然後會講出那些什麼完全不會
34:25.666–34:28.433
hallucinate 之類的一些行銷用語嘛
34:28.433–34:29.066
對不對？
34:29.100–34:32.466
首先，它會叫做 System 1 模型呢
34:32.466–34:34.766
當然就是一樣是來自於
34:34.800–34:38.466
《Thinking, Fast and Slow》這本書
34:38.500–34:44.766
他們講說人類的大腦有 System 1 跟 System 2 的這兩種思考系統
34:44.766–34:46.466
System 1 是直覺腦
34:46.466–34:49.333
就是你直接想也不想針對這個問題
34:49.366–34:51.333
反射性地直接給出答案
34:51.766–34:54.633
那 System 2 就是思考計畫腦
34:54.666–34:55.666
就是針對
34:55.700–35:00.433
這個問題你會花很多時間去認真地一步一步地思考
35:00.433–35:03.433
去做計畫，去安排，然後再去回答
35:03.466–35:05.966
一般的 LLM 是 System 2
35:05.966–35:10.033
應該說現在絕大多數的 LLM 都是會思考的
35:10.033–35:11.700
在回答問題之前
35:12.000–35:14.933
好，那 Jev 它就是完全不會思考
35:14.966–35:17.033
它反射性地針對這個問題
35:17.033–35:20.666
直接給出一個答案的模型，所以說是 System 1
35:20.700–35:23.266
那我知道有些人會說，欸不對啊
35:23.266–35:25.833
這其實不久之前，大概兩年之前
35:25.833–35:29.466
我們才在講說當時的 LLM 都是 System 1
35:29.500–35:33.900
然後後來才慢慢因為 o1 的出現，模型開始會思考
35:33.933–35:35.966
才開始變成 System 2 嘛，對不對？
35:35.966–35:38.766
那不是原本的模型也是 System 1 嘛，對不對？
35:39.166–35:40.300
是不是原本的模型
35:40.300–35:42.500
其實也很接近 Jev 可以做到的事情？
35:42.900–35:44.433
其實嚴格來說
35:44.433–35:47.266
現在所有的大型語言模型都
35:47.300–35:50.033
可以被迫做出 Jev 的行為
35:50.200–35:54.433
就是你可以硬逼它變成是跟 Jev 類似的模型，OK
35:54.633–35:58.000
然後也真的可以得到跟 Jev 一樣的 Speed Up，OK
35:58.233–36:01.100
只是它的表現可能不一定像是原生的 Jev 這麼好
36:01.366–36:02.666
那怎麼說呢？
36:02.866–36:05.166
其實網路上在過去這幾天
36:05.166–36:10.666
已經有大量的這些開源社群的人去想辦法做出
36:10.700–36:13.966
一個開源版本的 Jev 模型
36:13.966–36:18.566
使用的就是一些像是 Qwen 這種的
36:18.600–36:21.200
這個要怎麼做呢？
36:21.200–36:23.500
其實不用經過額外的訓練喔
36:23.766–36:26.266
你只是要它有 Jev 的行為的話
36:26.266–36:28.000
你不用額外再訓練它
36:28.400–36:29.466
那這邊要怎麼做呢？
36:29.566–36:31.700
其實比你想像中的更簡單喔
36:31.800–36:35.466
假設你今天要用一個像是社群有人用的
36:35.466–36:37.900
這個 Qwen3.5-4B 的模型
36:38.366–36:40.200
你要把它變成 Jev，你要怎麼做？
36:40.400–36:43.366
就是你一樣丟給它你的 state 跟你的 question
36:43.766–36:50.066
就比如說你的 state 是這個客人說：「哇！你們餐廳的牛排實在是太好吃了！」
36:50.433–36:51.966
那你的 question
36:51.966–36:55.933
就是：「請問這則回覆是正面的還是負面的？」
36:57.200–37:01.300
下面就有兩個選項，選項 A：正面，選項 B：負面
37:01.600–37:06.666
你這邊就要把選項的代號要明確地標出來
37:06.700–37:08.433
要標 A 跟 B
37:09.300–37:13.133
之後你在 prompt 裡面就可以直接明確地跟它說
37:13.166–37:15.866
針對目前的問題以及選項
37:15.866–37:18.900
好，直接給我你會選哪一個選項
37:18.933–37:19.033
OK
37:19.466–37:21.766
所以說，你的整個 prompt 就是這樣
37:21.900–37:23.400
我剛剛講的全部都是 prompt 的部分
37:23.766–37:25.866
那接下來，Qwen 收到這個 prompt 之後
37:25.900–37:28.466
它的第一步就是要開始產生 token 嘛，對不對？
37:28.500–37:29.966
要產生出第一個 token
37:30.466–37:32.166
好，那我們剛剛也有講到
37:32.200–37:35.066
就是一般的 LLM 在產生一個 token 的時候
37:35.066–37:37.400
它其實是在產生一個機率分布
37:37.433–37:41.833
好，那更嚴格來說呢，它是產生所有可能的 token
37:41.866–37:45.033
都會幫它打一個分數，叫做 logits
37:45.033–37:49.533
logits 這個分數後續才會被轉換成機率分布
37:49.533–37:52.700
透過一個叫做 softmax 的功能
37:52.733–37:57.866
但反正它會為所有可能的 token 都打一個分數
37:58.133–38:00.566
那理論上在所有 token 當中
38:00.566–38:04.100
字母 A 的分數應該是最高的嘛，對不對？
38:04.500–38:09.866
因為我們就是叫它直接給出你的選項啊
38:09.900–38:14.033
所以說它理論上應該最有可能直接吐出 A 這樣子
38:14.466–38:16.633
但它也有可能吐出其他的嘛，對不對？
38:17.033–38:19.400
就你同樣的一個 prompt 丟給一個 LLM
38:19.433–38:20.233
叫它去回答
38:20.666–38:22.400
它有時候會直接就給你回答「A」
38:22.433–38:23.766
沒錯，這是符合你的需求
38:23.933–38:26.166
但有時候它會回答「答案是 A」
38:26.166–38:27.866
那它第一個 token 呢
38:27.900–38:30.333
就是它其實是「答」這個 token
38:30.366–38:32.900
「答」這個字的機率是最高的，對不對？
38:32.933–38:34.833
但是所以說就是它不一定 A
38:34.833–38:36.800
這個 token 的分數是最高的
38:36.800–38:40.233
但是你其他的 token 的分數你就完全不要看啊
38:40.266–38:46.100
你就直接拿 token A 的這個分數跟 token B 的這個分數
38:46.100–38:47.133
只看這兩個分數
38:47.166–38:49.200
然後把它放到 softmax function
38:49.200–38:50.366
當中去算一個機率
38:50.400–38:53.766
就是硬是只算這兩個 token 的機率
38:53.766–38:56.100
然後兩個要加起來 100%
38:56.533–38:58.466
那它這邊 softmax 算完之後
38:58.500–39:00.733
可能就是 token A 的機率是 95%
39:00.766–39:02.933
然後 token B 的機率是 5%。好
39:02.933–39:06.066
那這個時候你就是得到跟 Jev 一樣的輸出了嘛
39:06.100–39:06.933
對不對？
39:06.966–39:10.000
就是一個針對你目前問題的所有選項的
39:10.000–39:11.166
一個機率分布
39:11.200–39:12.233
所以簡單來說
39:12.233–39:14.666
因為 LLM 本身就是在產生機率分布
39:14.666–39:16.433
所以說你也不用特別訓練它
39:16.466–39:18.700
你也不用改目前的 LLM 的架構
39:18.733–39:22.833
你只要單純不去解讀它產生的 token
39:22.833–39:26.100
而是直接讀你想要的 token 的機率分布
39:26.133–39:29.266
你就可以讓它變成一個 Jev 的模型了，OK
39:29.266–39:30.000
就是這麼簡單
39:30.466–39:33.833
那網路上確實也是有人把 Qwen3.5-4B 的模型
39:33.833–39:35.433
變成一個 Jev 的模型
39:35.433–39:40.933
然後它表現跟實際 TypeSafe AI 的 Jev 模型究竟有多接近呢？
39:40.966–39:45.766
其實真的在簡單跟中等的問題上面都非常的接近喔
39:46.133–39:48.866
簡單的問題基本上是接近 100%
39:48.900–39:50.800
完全表現是非常好的
39:51.366–39:53.466
那唯一是在一些比較困難一點
39:53.466–39:55.866
複雜一點的問題上，它會輸給 Jev
39:56.066–39:59.600
然後在整個機率的校準上，機率的校準上
39:59.633–40:03.066
calibration 上，它也會輸給 Jev 一點
40:03.400–40:05.533
OK，就算是中等的問題
40:05.533–40:08.433
它答對了沒錯，但它的機率分布
40:08.466–40:10.300
沒有到像 Jev 一樣這麼準
40:10.333–40:13.633
但速度跟成本，其實都可以贏過 Jev
40:13.800–40:15.800
這速度可以比 Jev 快一點點
40:15.966–40:18.933
嚴格來說，這樣直接比也沒有到非常公平
40:18.933–40:20.100
因為這個 Qwen
40:20.133–40:23.066
我們是本地直接跑，那 Jev 是 API
40:23.100–40:25.066
還要算網路的來回速度
40:25.066–40:26.566
但你就算扣了
40:26.600–40:31.500
就是給 Qwen 的這個速度一些網路的 punishment
40:31.533–40:35.133
還是就是跟 Jev 差不多快，甚至比 Jev 快一點點
40:35.133–40:39.033
我在想這個 Jev 的模型應該是比 4B 再大一點這樣子
40:39.066–40:42.466
然後同時成本當然也贏過 Jev 嘛，對不對？
40:42.500–40:45.300
因為這個 Qwen 的模型你隨便一台筆電就可以跑了
40:45.333–40:47.266
所以你成本基本上是零
40:47.266–40:49.166
所以天下所有的 LLM 你都
40:49.166–40:51.200
可以直接把它當作 Jev 在用
40:51.233–40:55.200
然後它立刻就可以得到幾百倍的速度跟幾百倍的
40:55.200–40:57.000
這個成本優化這樣子
40:57.000–41:02.133
但是它能不能真的在這些問題選項上面給出
41:02.166–41:05.466
真的很有校準過的機率分布
41:05.500–41:07.833
真的準確率高的答案呢？
41:07.833–41:10.500
這個就是 Jev 它特別強的地方了
41:10.566–41:11.733
這個就是因為 Jev
41:11.733–41:15.200
它整個模型原生就是為了這樣子的
41:15.200–41:17.900
use case 去訓練出來的嘛
41:17.933–41:21.066
就是我們剛剛講的這個 RLCD 的部分嘛，對不對？
41:21.500–41:25.800
那當然你一個模型跑了 RLHF，跑了 RLVR
41:25.800–41:28.266
然後再硬逼它去做這種選擇題
41:28.300–41:31.533
當然不會比一個做了 RLCD 的模型更好嘛
41:31.566–41:32.400
對不對？
41:32.433–41:36.100
這邊其實就回扣到我們剛剛在技術討論那邊說
41:36.100–41:41.333
這個 RLCD 的 recipe，以及他們訓練的資料
41:41.333–41:44.133
才是 TypeSafe AI 這間公司的護城河
41:44.166–41:47.600
才是他們最強的技術的秘密
41:47.633–41:51.766
好，那模型的架構本身其實真的還好
41:52.000–41:54.533
好，那我們現在再回去看一下它那個
41:54.533–41:57.066
Marketing 裡面講的最狂的一句話嘛
41:57.066–42:00.133
就是 Jev 這個模型是完全不會有幻覺的
42:00.166–42:02.566
不會 Hallucinate 的一個模型
42:02.566–42:06.933
好，那我覺得這句話呢，也是有點半炒作意味啦
42:06.966–42:10.133
就是其實它嚴格來說不到非常精準
42:10.166–42:13.200
應該說要看你怎麼定義 Hallucinate 這件事情
42:13.200–42:16.233
因為 Jev 沒錯，你如果問題就給它五個選項
42:16.233–42:20.300
那它只可能輸出這五個選項的其中一個
42:20.333–42:23.466
嚴格來說它就只會輸出這五個選項的一個機率分布
42:23.500–42:25.933
然後你後續再選出其中一個嘛，對不對？
42:25.933–42:29.500
那它無論如何，它不可能會選出第六個選項
42:29.533–42:31.266
因為你根本就沒有給它第六個選項
42:31.300–42:35.366
然後它也不可能會把你的選項的裡面的字給寫錯之類的
42:35.366–42:37.666
因為它根本就不用輸出那些字
42:37.700–42:39.366
它只要輸出機率分布
42:39.366–42:41.266
後續選項你怎麼定義
42:41.266–42:44.500
然後你最後選出哪個是你自己在選的
42:44.500–42:44.900
OK
42:44.933–42:46.366
所以 Jev 不可能會
42:46.366–42:49.166
就是嚴格來說它不可能會有 type error
42:49.200–42:51.133
它不可能會有這種型態的錯誤
42:51.133–42:54.033
叫做 type error，它不可能會有 type error
42:54.033–42:58.200
那我相信這也是為什麼他們公司的名稱叫做 TypeSafe AI 嘛
42:58.233–42:58.966
對不對？
42:58.966–43:03.066
因為它不會有 type error，但是如果你對於 Hallucinate
43:03.100–43:05.166
對於幻覺定義比較廣一點的話
43:05.200–43:10.133
就是包含到很明顯給錯誤的答案，也叫做幻覺的話
43:10.133–43:14.066
那 Jev 也會出錯，它百分之百也會出錯
43:14.100–43:15.766
它可能也會針對一個問題
43:15.800–43:19.533
然後很有信心地給出一個很錯的答案
43:19.533–43:21.000
很糟糕的機率分布啊
43:21.233–43:22.733
那個算不算 hallucinate？
43:23.033–43:24.866
我覺得對於有些人來說那個也算
43:25.300–43:28.300
但是就看你怎麼定義 hallucinate
43:28.500–43:30.633
我們現在完全理解了 Jev 這個模型
43:30.666–43:32.033
它到底是什麼樣子的一個模型
43:32.066–43:33.200
它怎麼運作的
43:33.233–43:37.066
我們接下來要來講一下實際的應用場景有哪一些
43:37.066–43:38.766
以及我的一些實測心得
43:38.800–43:42.400
那這邊你要先了解的一個觀念呢
43:42.433–43:44.400
我相信你到這邊應該自己也知道了
43:44.400–43:47.933
但是就是，Jev 它不會全面取代 LLM
43:47.933–43:50.000
它只能把目前的 LLM
43:50.033–43:52.633
就是目前的這些 AI agent
43:52.633–43:57.433
工作中一些比較單純的判斷選擇問題快速地處理掉
43:57.466–44:01.000
這個就是 Jev 它的應用場景，這就是它的價值
44:01.166–44:02.633
OK，那像什麼東西呢？
44:02.766–44:04.800
像是模型路由嘛，對不對？
44:04.933–44:05.666
model routing
44:06.000–44:08.166
好，就今天使用者問了這個問題
44:08.166–44:09.900
你應該用比較弱的模型
44:09.933–44:12.466
還是要比較強的模型才可以去解決
44:12.500–44:13.033
OK
44:13.066–44:18.066
然後還有像是很大量的這種要初期的資料的篩選，OK
44:18.333–44:20.500
好，就是比如說我們剛剛講到
44:20.533–44:23.833
最一開始有講到一個履歷的例子嘛，對不對？
44:24.433–44:27.866
你今天假設大公司收到好幾千封履歷，好
44:27.866–44:31.033
那你要從這個履歷當中先挑出適合的人選
44:31.066–44:36.033
那當然你可以每一封都全部都叫 GPT-6 Astra 去看，好
44:36.033–44:39.400
那你可能 token 就會燒蠻多的這樣子
44:39.433–44:42.200
但是你如果是用 Jev，好
44:42.233–44:47.100
先把五千封的履歷先挑出其中的兩百封就好了
44:47.133–44:51.266
好，那快速地，Jev 可以很快速地做到這個挑選
44:51.266–44:52.766
然後挑出兩百封
44:52.800–44:55.833
那兩百封再交給 Astra 去一封一封看
44:55.833–44:58.866
這樣是不是你的 token 就會省非常多
44:58.900–45:00.700
然後整個過程也會快很多
45:00.700–45:01.200
對不對？
45:01.233–45:03.900
這個 GPT-6 Astra 在看履歷的時候呢
45:03.900–45:07.266
可能就是真的根據你給的這個標準呢
45:07.300–45:08.766
然後一條一條地看
45:08.800–45:11.433
這個人的經歷是否有符合
45:11.433–45:13.266
一條一條檢查之類的，然後
45:13.300–45:16.266
每次檢查都還可能還要再燒一些 token
45:16.266–45:18.000
去思考之類有的沒的。好
45:18.000–45:20.966
但 Jev 它今天就是，它看一封履歷的時間
45:21.000–45:23.933
就等同於 GPT-6 Astra 產出一個 token 的時間
45:23.933–45:24.900
一個 token
45:24.933–45:28.466
就它吃了你的徵才標準跟目前這個人的履歷之後
45:28.466–45:30.566
就直接吐出一個機率分布啦
45:30.600–45:31.700
就 1 到 5
45:31.700–45:33.300
你可能是給它選項 1 到 5
45:33.333–45:37.100
這個程度，5 是最符合，1 是最不符合
45:37.133–45:39.300
然後它就直接吐出一個機率分布
45:39.333–45:39.733
然後選
45:39.733–45:41.166
然後你立刻從這個機率分布
45:41.200–45:42.600
就直接算出這個人是 5
45:42.633–45:43.333
這個人是 4
45:43.333–45:44.066
這個人是 2
45:44.100–45:44.866
這個人是 3
45:44.900–45:45.866
這個人是 5
45:45.866–45:46.066
好
45:46.100–45:47.566
然後就很快，就超快
45:47.566–45:48.900
就篩出 200 封了，然後
45:48.933–45:50.000
當然這只是一個例子啊
45:50.033–45:52.600
我們前面講到的那像什麼客服啊
45:52.600–45:55.033
像什麼 email 的處理啊
45:55.033–45:56.566
Jev 也全部都可以做
45:56.600–45:57.266
你能想到
45:57.300–46:01.400
你只要能夠把你的問題去 frame 成一個分類問題
46:01.433–46:04.800
然後有明確的選項可以讓 Jev 去選的話
46:04.800–46:06.266
Jev 都可以解決
46:06.300–46:08.266
只不過 Jev 它模型
46:08.266–46:09.600
它本身有一個限制
46:09.633–46:12.433
就是它沒有視覺能力
46:12.466–46:13.766
它是一個純文字模型
46:13.766–46:17.933
所以說，今天假如你的問題是跟視覺有相關的話
46:17.966–46:20.433
你就是還要再接其他的工具
46:20.433–46:22.566
讓它可以理解這個圖片的內容
46:22.600–46:24.966
比如說接一個 OCR 的工具等等的
46:25.200–46:30.133
OK，好，那我看到網路上很多人都在 demo 的一個應用場景
46:30.133–46:34.866
就是讓 Jev 去做 computer use，去使用電腦
46:34.900–46:37.300
OK，好，那一開始你看一些這些 demo
46:37.333–46:38.566
你真的會覺得，哇
46:38.566–46:41.366
這好像真的是一個 Game Changer 喔
46:41.400–46:45.200
因為 computer use 的問題呢，就是現在的做法啦
46:45.200–46:49.100
就基本上你要叫 GPT-6 Astra 去操作一個網站
46:49.100–46:53.433
它基本上就是它會看到這個網站的截圖
46:53.433–46:53.633
OK
46:53.666–46:57.933
那它就直接根據這個截圖去 reason 現在我這個步驟
46:57.933–46:59.100
我應該要點什麼東西
46:59.133–47:05.400
然後就直接產出它要點的座標跟它的動作
47:05.433–47:06.766
可能是 click 還是 double click
47:06.766–47:10.666
Whatever，然後再 call 一個操作的工具
47:10.666–47:12.933
然後就完成這次的點擊
47:12.933–47:17.566
每一個步驟它都要這樣做一個 reasoning 的過程
47:17.600–47:20.066
有時候它還會思考一下嘛
47:20.066–47:23.533
對不對？就看到這張圖片，還要思考個幾句
47:23.533–47:27.433
想一下說，我現在應該要點哪一個按鈕啊？
47:27.466–47:29.600
然後應該要怎麼點啊？
47:29.600–47:31.966
然後什麼，反正就會產生很多 token
47:31.966–47:33.633
然後會花很久的時間，OK
47:33.633–47:36.600
那 Jev 如果它真的電腦可以用得很好
47:36.633–47:37.300
很快的話
47:37.300–47:39.066
基本上因為每個步驟其實
47:39.100–47:42.200
你可以想像你都可以把它 frame 成一個分類問題嘛
47:42.233–47:42.866
對不對？
47:42.866–47:43.000
好
47:43.033–47:46.733
就你今天的目標是要點選這間
47:46.733–47:50.700
網路電商它的最新的鞋子的產品
47:50.733–47:51.766
然後把它放到購物車
47:51.766–47:52.933
那你有這個目標
47:52.966–47:57.800
然後你現在的網頁的狀態是這樣
47:57.833–47:59.400
你有這些按鈕
47:59.400–48:02.833
然後這些按鈕現在目前是呈現這些狀態
48:02.866–48:06.933
那你的選項就是有幾個層次
48:06.966–48:10.633
第一層次是你要選你的動作是什麼
48:10.666–48:12.600
就是按，你要按按鈕嗎？
48:12.633–48:14.733
還是你要滑動？
48:14.733–48:16.033
還是你要 blah blah whatever
48:16.066–48:18.400
然後你選完了
48:18.400–48:19.233
第一個動作之後
48:19.266–48:20.700
你接下來第二個問題
48:20.733–48:22.000
就你就它就問說
48:22.000–48:23.166
你要按按鈕的話
48:23.166–48:26.700
那網路上，你的網頁上有這些
48:26.733–48:28.933
所有的按鈕可能加起來
48:28.933–48:31.966
這個幾十個，不要超過 255 個就好了
48:32.000–48:33.433
可能 100 多個之類的
48:33.466–48:35.400
whatever，應該不會這麼多啦
48:35.433–48:37.000
可能 50 個好了
48:37.000–48:37.966
50 個按鈕
48:37.966–48:39.600
請問你要選擇按哪一個？
48:39.600–48:41.733
這也是一個選擇題啊，你就選了
48:41.733–48:44.433
然後你就完成了這次的操作啊，不是嗎？
48:44.866–48:49.400
那很明顯這個會比現在的 LLM 快非常多
48:49.433–48:53.366
而且確實在進行 computer use 的過程當中
48:53.366–48:58.133
你當然可能 high-level 的策略，然後要做什麼
48:58.133–49:00.766
還是應該交給 LLM 去思考去制定
49:00.800–49:01.566
沒錯
49:01.566–49:04.233
但過程中會有超多這種小按鈕
49:04.266–49:07.133
點來點去這種簡單很直覺的操作
49:07.433–49:10.000
是不是理論上也都可以交給 Jev 處理？沒錯
49:10.400–49:12.000
Jev 的能力是真的到的
49:12.033–49:14.066
它真的是可以做到這件事情的
49:14.166–49:19.700
然後確實網路上我們也看到蠻多的這些 demo 在使用 Jev 去操作電腦
49:19.733–49:22.266
然後結果也真的都超級好的
49:22.266–49:25.100
尤其有些有跟一般的 LLM 去進行比對的
49:25.133–49:27.233
像是我有看到有一個 GitHub Repo
49:27.266–49:30.933
他們是拿由 Jev 組成的 computer use 系統
49:30.933–49:35.200
跟這個 Claude Opus 的 computer use 去進行比較
49:35.233–49:37.833
然後結果真的是蠻扯的啦
49:37.833–49:41.800
就是 Jev 跟 Opus 都一樣有完成目標
49:41.800–49:46.233
但是 Jev 它的成本比 Opus 低了一百多倍
49:46.633–49:51.200
然後這個 Latency，就是整體的這個速度呢
49:51.200–49:53.466
也比 Opus 快蠻多的
49:53.500–49:55.433
但是並沒有快一百多倍喔
49:55.466–49:58.100
它只有快三倍左右，OK
49:58.433–50:00.633
那聽到這邊你可能就覺得很奇怪
50:00.633–50:03.600
就 Jev 它不是應該要比 Opus 快超級多倍嗎？
50:03.866–50:07.266
好，就它等於是每一個步驟只有產生一個 token 啊
50:07.300–50:09.266
好，甚至一兩個 token 之類的
50:09.300–50:10.666
那應該快很多才對啊
50:10.666–50:12.900
欸，但是沒有。為什麼？
50:12.900–50:16.366
好，因為 Jev 它不能獨立地就操作電腦
50:16.400–50:20.600
它要有其他的東西，其他的
50:20.600–50:24.466
首先，Jev 沒有視覺能力
50:24.466–50:28.733
所以它無法直接看網頁目前狀況的截圖
50:28.766–50:31.966
它必須要讀網站的 DOM Tree
50:32.000–50:35.166
看網站本身的原始 HTML
50:35.200–50:39.200
看網站的 accessibility tags
50:41.900–50:45.666
就是網頁中針對網頁各個按鈕
50:45.700–50:47.866
它會有一個這個按鈕
50:47.866–50:49.833
它是什麼東西的標示
50:49.866–50:53.933
它這個標示會存在呢，其實是為了一些特殊的狀況
50:54.066–50:56.333
就比如說你眼睛看不到
50:56.366–50:59.900
對於盲人來說呢，你要使用一個網頁
50:59.900–51:03.900
它可能會就是有一些朗讀的功能啊等等的
51:03.900–51:05.633
那瀏覽器的朗讀功能呢
51:05.666–51:07.900
其實就是在讀這些標示這樣子
51:08.333–51:10.233
那 Jev 就是要靠著這些東西
51:10.266–51:12.166
然後再加上一個 OCR 的模型
51:12.433–51:13.500
這個 OCR 的模型
51:13.500–51:15.966
就是 Optical Character Recognition 嘛
51:16.000–51:16.633
對不對？
51:17.200–51:19.200
這個就是我們常見的
51:19.233–51:22.233
一個圖像的文字識別模型這樣子
51:22.700–51:24.100
OK，就是它會從
51:24.133–51:27.700
一個圖像裡面擷取出這圖像目前有哪些文字
51:27.700–51:31.566
然後可能有些時候還會跟你講它在哪個地方
51:31.566–51:33.500
然後哪個方位這樣子
51:33.500–51:37.666
那反正 Jev 就只能靠著這些東西去操作電腦嘛
51:37.966–51:40.800
那你可以想像這邊其實也會帶來一些限制
51:41.066–51:44.200
就是包括很多網站的體驗呢
51:44.233–51:48.733
其實你單純靠這些是沒有辦法真的完全正常操作的
51:48.766–51:50.833
首先，很多的網站、很多頁面
51:50.833–51:53.766
它的 accessibility tags 就沒有做得很好
51:53.966–51:54.166
OK
51:54.400–51:57.633
就是它本來就不是非常盲人 friendly 的
51:57.633–51:59.500
就是有一些缺陷這樣子
51:59.866–52:01.133
像是 Notion 啊
52:01.133–52:03.666
它可能就沒有完全 full coverage
52:03.700–52:06.500
那這個時候你可能就只能靠 OCR 了嘛
52:06.500–52:07.033
對不對？
52:07.066–52:09.600
因為你的 accessibility tags 沒有辦法
52:09.600–52:12.166
讓你直接點到你想要點的按鈕
52:12.200–52:14.600
但 OCR 也有它的缺陷
52:14.633–52:16.900
就是它只能判斷文字嘛，對不對？
52:16.900–52:20.166
就假設今天這個按鈕是一個圖示的話
52:20.200–52:23.266
你是不是就完全沒有辦法點到了？
52:23.966–52:26.166
Jev 就點不到這個按鈕了
52:26.433–52:29.466
今天如果你的這個網站體驗又是
52:29.466–52:32.100
一個比較互動程度比較高的
52:32.133–52:37.100
比如說有很多 slider 啊，然後有些細膩的操作啊
52:37.100–52:42.533
然後有一些比如說需要視覺推理的部分啊
52:42.533–52:44.700
這種東西，這些所有的操作
52:44.733–52:46.966
其實 Jev 都沒有辦法去做到
52:47.133–52:49.566
然後你要知道，這不是一個模態的問題而已喔
52:49.700–52:51.900
就是我相信下一代的 Jev
52:52.033–52:53.766
絕對會有視覺能力，OK
52:53.966–52:57.433
這個本身不是一個太困難的一件事情嘛，對不對？
52:57.533–52:59.200
現在所有 LLM 都有視覺能力
52:59.233–53:00.600
Jev 也可以有視覺能力
53:00.600–53:03.633
因為 Jev 本身就是一個 LLM 的基底嘛，對不對？
53:03.633–53:07.200
但是它有了視覺能力之後也不會解決這個問題
53:07.233–53:11.133
它也不可能跟 Opus 跟這個 Astra 一樣
53:11.166–53:15.166
這樣子去像人類一樣看著螢幕去使用電腦
53:15.166–53:16.166
為什麼？
53:16.166–53:19.733
因為網頁上能點的東西已經超過你的選項了嘛
53:19.766–53:20.600
對不對？
53:21.200–53:24.000
就是你的網頁上所有能點的東西
53:24.033–53:28.600
就是可能你幾千個 pixel 乘幾千個 pixel
53:28.600–53:30.000
幾百萬個耶
53:30.000–53:32.533
你有幾百萬個可能可以點的東西耶
53:32.533–53:33.900
那像是 LLM
53:33.933–53:37.900
它就可以每次都輸出一個座標，OK，精準的座標
53:37.933–53:39.266
任何網頁上
53:39.300–53:40.533
它只要看得到的地方
53:40.533–53:41.666
它都可以點得到
53:41.666–53:42.966
然後看得到的東西
53:43.000–53:43.966
它都可以點得到
53:43.966–53:47.300
它完全不用管這個網頁它本身背後怎麼寫的
53:47.333–53:51.966
但是 Jev，它因為只有 255 個選項可以選
53:51.966–53:55.700
而且就算你未來下一代 Jev 選項更多
53:55.733–53:57.433
變成這個兩倍啊
53:57.466–53:59.400
四倍啊，無論如何
53:59.400–54:03.566
不可能真的達到一個網頁所有能夠點的內容
54:03.600–54:06.333
那就只有這些選項可以選
54:06.966–54:08.033
就是只能想辦法
54:08.066–54:09.700
把目前這個網頁所有
54:09.700–54:12.833
可以點的東西想辦法呈現在這個選項當中
54:12.866–54:15.433
那這就會是一個先天上的限制
54:15.466–54:17.200
所以說先天上 Jev
54:17.200–54:21.366
它就不可能能夠完成所有 computer use 的工作
54:21.366–54:22.433
它只能解決
54:22.466–54:26.033
就是網頁寫得好的、很 straightforward 的
54:26.033–54:28.466
很單純的一些反覆的操作，OK
54:28.466–54:29.766
它可以執行得非常好。好
54:29.800–54:34.333
像是其實上禮拜我有測試用 Astra 去幫我訂餐廳
54:34.366–54:36.100
然後你知道多扯嗎？
54:36.100–54:37.300
原本 Astra
54:37.333–54:40.933
可以很精準地選到我需要的人數跟時間
54:40.933–54:42.933
那個我一點都不意外
54:43.166–54:46.866
我意外的是，Astra 直接幫我把 CAPTCHA 做完耶
54:48.066–54:50.333
那有夠扯的，就那個網站
54:50.333–54:52.600
訂餐網站它有個 CAPTCHA
54:52.633–54:56.600
是，CAPTCHA 就是那個網站拿來擋機器人的嘛
54:56.600–54:56.833
對不對？
54:56.866–54:59.133
就是你要驗證你不是一個機器人
54:59.133–55:02.000
它有時候會給你一些小測驗嘛，對不對？
55:02.466–55:05.233
有時候是最簡單的就是辨識花字啊
55:05.266–55:07.100
但花字那個現在已經越來越少了
55:07.133–55:09.733
因為現在對於現在的 AI 來說太簡單了
55:09.733–55:12.233
所以這個網站的 CAPTCHA 是什麼，你知道嗎？
55:12.566–55:14.033
它是三個角色
55:14.033–55:15.466
卡通角色在那邊跳
55:15.466–55:18.400
然後一直不斷地跳，動態地在那邊跳
55:18.433–55:20.366
然後你要選出跳最高的那一個
55:20.366–55:24.066
那這個對於一般的模型來說都超難的
55:24.100–55:26.033
但是 Astra 竟然解決了
55:26.033–55:27.466
你知道多扯嗎？
55:27.500–55:28.033
就是 Astra
55:28.066–55:30.766
它的解決方法就是它會截圖
55:30.766–55:33.133
目前看這三個角色誰跳最高
55:33.166–55:37.000
然後它就它一開始就直接截一張圖就直接選了
55:37.033–55:39.000
它就發現這樣選
55:39.033–55:40.233
它會選錯
55:40.233–55:42.766
然後它就自己想一想，就發現說不行
55:42.800–55:44.266
我應該要多截幾張圖
55:44.300–55:46.666
我才可以得到一個動態的狀況
55:46.700–55:49.766
因為剛好有可能這個角色原本會跳最高
55:49.800–55:51.100
但它，我截圖的時候
55:51.100–55:52.900
它剛好在最低點嘛，對不對？
55:52.933–55:54.900
所以它就開始截很多張圖
55:54.900–55:56.466
然後它的準確率就變超高
55:56.500–55:59.333
然後就一下就把那個 CAPTCHA 解決了這樣子
55:59.333–56:01.033
反正我覺得很酷啦
56:01.133–56:02.500
但像這種問題呢
56:02.533–56:05.600
Jev 就完全沒有辦法去解決，對不對？
56:06.133–56:09.900
就你怎麼靠 OCR 去解決這樣子的 CAPTCHA？
56:09.933–56:11.033
就不可能嘛
56:11.100–56:13.700
所以我覺得 Jev 在 computer use
56:13.700–56:15.966
這件事情上面絕對會有價值的
56:16.200–56:19.600
但是它沒有辦法就直接取代掉現在的
56:19.600–56:23.000
這個 GPT-6 Astra 的 computer use
56:23.400–56:25.366
你今天一個使用者可能問
56:25.366–56:27.833
GPT-6 Astra 的問題有無限多種
56:27.933–56:30.200
它可能會操作的網站有無限多種
56:30.633–56:34.733
你不可能預先想到哪些狀況你可以使用 Jev
56:35.833–56:39.233
假設今天你就是很明確地有
56:39.266–56:43.200
一個工作流是要操作特定的網站
56:43.233–56:45.100
然後要做特定的操作的話
56:45.100–56:47.866
你確實如果有這個固定的工作流
56:47.866–56:51.000
你可以讓 Jev 去處理一部分的工作，OK
56:51.033–56:53.400
很標準化的流程，很標準化的網站
56:53.400–56:55.833
你就直接讓 Jev 去做，那就會很快
56:56.033–56:58.033
好，那我自己也有簡單實測一下
56:58.033–56:59.366
Jev 它的能力這樣子
57:00.400–57:03.900
我其實有試很多不同 Category 的問題啦
57:03.900–57:06.100
但是滿多都是假想的問題
57:06.400–57:08.866
我覺得一個最直接最真實的問題
57:08.866–57:10.333
我有叫它去用的是
57:10.366–57:14.700
我叫 Jev 去幫我的真實信件歸類
57:14.700–57:18.266
這個是我真實的信件，是來自我的信箱
57:18.266–57:20.633
我真實收到的工作的信件
57:21.066–57:22.466
我叫它去幫我分類
57:22.466–57:24.333
然後這個其實也是我可能
57:24.333–57:26.333
可以融入工作流的一個部分
57:26.366–57:27.933
因為我工作流
57:27.966–57:32.233
我現在有一個龍蝦在幫我處理管理專案嘛
57:32.266–57:37.866
它會幫我讀信件，幫我理解我目前每個專案的進度
57:37.866–57:41.033
我有時候常常問這個龍蝦的問題
57:41.066–57:45.366
就是我現在有哪些信件是緊急要我回的？
57:45.400–57:49.566
我覺得龍蝦目前回答這個問題都回答得非常好
57:49.566–57:52.766
但它確實會需要花一點時間
57:52.800–57:56.000
然後每一封去讀，再去判斷
57:56.033–57:56.733
再去思考
57:56.733–57:59.966
所以我這邊就直接叫 Jev
57:59.966–58:03.733
去幫我針對我給它範例的信件
58:03.766–58:05.766
去給出一些回答這樣子
58:05.766–58:09.500
緊急程度是其中一個，但我也有問其他問題
58:09.533–58:12.400
比如說直接幫我為這封信分類
58:12.433–58:17.433
它是一個活動邀約，還是一個 scheduling 相關的
58:17.433–58:20.133
還是一個 finance 相關的
58:20.166–58:22.933
還是 follow-up，還是一個 FYI 等等
58:22.966–58:26.900
然後目前的狀態等等，反正我有問它很多問題啦
58:26.900–58:30.366
那我覺得直接跟大家講結論啦
58:30.366–58:32.833
就是絕大多數的問題
58:32.866–58:36.633
它回答都是完全正確的，然後機率分布
58:36.633–58:38.333
我覺得也是非常接近的
58:38.366–58:41.133
尤其是有一題我覺得非常令我驚豔的喔
58:41.166–58:43.033
就是那一題呢
58:43.033–58:46.900
那封信呢，是一個繳費，活動繳費的提醒，OK
58:46.933–58:49.466
但是 tricky 的地方就是在於
58:49.466–58:52.900
這個繳費期限已經過了，過了一天了，OK
58:52.933–58:55.266
所以現在已經沒有辦法繳費了
58:55.300–58:56.366
那針對這封信
58:56.366–58:58.033
它的緊急程度是多高？
58:58.066–59:00.900
那這邊確實是有一點討論空間沒錯嘛
59:00.900–59:01.133
對不對？
59:01.133–59:04.266
就有一些人可能會覺得
59:04.300–59:05.800
那它就不緊急了
59:05.833–59:09.033
應該說現在就完全不緊急了
59:09.166–59:11.766
因為你不用管它，因為已經錯過繳費期限啦
59:11.833–59:14.133
There's nothing you can do，對不對？
59:14.533–59:17.200
有些人可能會這樣覺得，但是像我自己
59:17.233–59:21.700
我個人覺得這個答案應該是非常緊急
59:21.733–59:23.100
應該是最緊急的
59:23.100–59:25.900
因為繳費期限還沒過太久
59:25.933–59:30.133
還在 24 小時，只是超過 24 小時之內
59:31.266–59:34.300
有可能有些活動單位，假設是重要活動的話
59:34.300–59:35.966
他可能也是會通融一下
59:36.000–59:38.433
然後就是讓我繳費嘛，對不對？
59:38.433–59:41.966
所以說我自己個人還是會把它排成緊急啦
59:42.700–59:45.933
像是 GPT-6 針對這一題呢
59:45.933–59:49.800
它給出的答案就是「無法判斷」
59:50.066–59:55.233
那 Jev 它針對這題給出的判斷就是「非常緊急」
59:55.500–59:58.500
我覺得非常緊急就是比較好的一個答案
59:58.833–1:00:00.600
Jev 甚至贏過了 GPT-6
1:00:00.600–1:00:02.700
我覺得這個答案是非常好的
1:00:03.200–1:00:09.433
雖然說它的整體的機率分布也沒有到非常有自信啦
1:00:09.466–1:00:14.033
Jev 它選擇非常緊急的機率是 47%
1:00:14.066–1:00:17.466
OK，所以它也不是超級自信覺得這是非常緊急的
1:00:17.700–1:00:19.200
那這也是 good sign
1:00:19.233–1:00:22.133
因為這題它本來就不應該有超級高的信心
1:00:22.333–1:00:26.666
所以 overall 我覺得 Jev 給出的答案都是完全沒有問題的啦
1:00:27.000–1:00:30.366
那當然我也沒有特別去 challenge
1:00:30.400–1:00:32.700
它一些太刁鑽的問題啦
1:00:32.733–1:00:36.433
因為我就真的是拿我的真實的 use case 去測試
1:00:37.300–1:00:38.466
目前的結果是非常好的
1:00:38.666–1:00:41.833
當然啦，我覺得這個本來就是預料中的結果
1:00:41.866–1:00:43.433
這也沒什麼好意外的
1:00:43.433–1:00:48.033
因為現在的 LLM 本來就是有很好的判斷能力
1:00:48.033–1:00:52.266
Jev 對於這些一般的問題的判斷完全正確
1:00:52.300–1:00:54.833
我覺得一點都不值得驚訝啦
1:00:54.833–1:00:56.933
我覺得還蠻正常的啦
1:00:56.966–1:01:01.000
主要還是說它的穩定性 overall 是真的很好的
1:01:01.033–1:01:04.166
然後確實延遲跟成本也明顯
1:01:04.166–1:01:08.366
明顯是有跟一般的 LLM 比起來很好的
1:01:08.400–1:01:10.400
所以我目前測試到現在
1:01:10.433–1:01:14.200
我是覺得 Jev 確實可以融入我的工作流當中
1:01:14.466–1:01:17.133
只是具體來說怎麼操作
1:01:17.133–1:01:21.500
我還要再花點時間去思考然後再去實驗
1:01:21.933–1:01:25.933
但我已經可以看到它的融入工作流的潛能了
1:01:26.066–1:01:27.600
最後我們來聊一下
1:01:27.633–1:01:31.066
Jev 這個模型對於 AI 的意義究竟是什麼？
1:01:31.533–1:01:35.400
因為我覺得有一些人可能稍微把
1:01:35.400–1:01:38.866
這個 Jev 吹得有點太強大了
1:01:38.866–1:01:43.266
講得好像是 Jev 會改變一切的這種感覺
1:01:43.300–1:01:46.166
我自己在看 Jev 這個模型的時候
1:01:46.166–1:01:49.200
當我真的開始完全理解它之後
1:01:49.233–1:01:58.100
我覺得它不像是一個會大幅改變現在的 AI agent 典範的一個模型
1:01:58.133–1:02:04.366
它比較像是在加速一個原本就有在發生的變化
1:02:04.366–1:02:06.733
這個變化，這個趨勢呢
1:02:06.766–1:02:11.333
就是所謂的 model routing，模型路由的趨勢
1:02:11.766–1:02:14.533
它是在加速這個趨勢的進展而已
1:02:14.566–1:02:17.733
並不是說把我們帶到了一條新的路上
1:02:18.266–1:02:19.466
為什麼會這樣說呢？
1:02:19.866–1:02:20.033
首先
1:02:20.033–1:02:22.566
我們知道我們現在在使用 AI agent 的這個方式
1:02:22.566–1:02:25.833
並不是成本效率上面最優化的方式嘛
1:02:25.866–1:02:26.300
對不對？
1:02:26.300–1:02:27.300
很明顯嘛
1:02:27.666–1:02:31.500
就你今天訂閱那個 ChatGPT 200 美金的方案
1:02:31.500–1:02:34.200
然後你叫 Astra 去做一件事情
1:02:34.766–1:02:36.033
它從頭到尾
1:02:36.033–1:02:39.833
從這個問題最一開始的思考，這個計畫
1:02:39.866–1:02:43.233
然後到實際做這個 computer use 的每一個步驟
1:02:43.266–1:02:45.166
全部都是它自己完成的嘛
1:02:45.200–1:02:45.800
對不對？
1:02:45.800–1:02:48.933
它並不會做到一半覺得這個問題比較簡單
1:02:48.966–1:02:51.433
它就直接丟給那個 Luna 去解決
1:02:51.733–1:02:54.500
它可能會有 multi-agent system 沒錯
1:02:54.533–1:02:56.600
但是它就是 multiple Astra
1:02:56.600–1:02:58.366
全部都是 Astra 這樣子
1:02:58.633–1:03:00.933
但很明顯這邊有很多的成本跟
1:03:00.933–1:03:02.733
這個效率的優化空間嘛
1:03:02.766–1:03:03.566
對不對？
1:03:04.166–1:03:07.600
很多簡單的事情真的不需要去交給 Astra 做
1:03:08.300–1:03:14.300
未來呢，我覺得絕大多數人現在都有共識的一點
1:03:14.833–1:03:21.133
未來我們會漸漸地走向一個更多 model routing 的混合系統
1:03:21.133–1:03:23.666
有更多模型路由的系統
1:03:23.666–1:03:27.633
同樣一個系統當中會有弱跟強的模型
1:03:27.666–1:03:32.200
然後會動態地去決定目前這件事情要交給誰去處理
1:03:32.200–1:03:33.833
那為什麼 model routing
1:03:33.866–1:03:36.200
這樣的系統現在還沒有辦法普及呢？
1:03:36.333–1:03:38.766
不是很多人都覺得這個是未來嗎？
1:03:38.866–1:03:40.800
為什麼大家沒有一直往這邊走呢？
1:03:41.233–1:03:43.933
我覺得目前有個蠻核心的卡點
1:03:43.966–1:03:47.300
就是主要是因為模型的能力進步
1:03:47.300–1:03:50.466
模型的能力變化實在是太過快速了
1:03:50.466–1:03:53.933
導致整個工作流的變化也非常的快速
1:03:53.966–1:03:56.933
我們現在的一個 LLM 的工作流呢
1:03:56.933–1:03:58.633
可能年初是長這樣
1:03:58.666–1:04:00.166
這個年中就變了
1:04:00.166–1:04:04.533
你中間很多的步驟可能因為模型能力提升就改變了
1:04:04.566–1:04:07.333
好，那你工作流沒有辦法定下來
1:04:07.333–1:04:09.833
你就比較難有一個
1:04:09.833–1:04:14.300
就是穩定地知道你有哪些事情要做
1:04:14.300–1:04:18.166
那你就比較難就是穩定地去指派某一些不同的
1:04:18.200–1:04:20.300
AI 模型去做這些事情嘛
1:04:20.333–1:04:21.866
那當然對於有一些人
1:04:21.866–1:04:24.333
他的工作流可能現在已經蠻標準了
1:04:24.366–1:04:26.533
很確定了就是做這些事情
1:04:26.566–1:04:30.700
然後就是要大量重複進行一些簡單的操作的時候
1:04:30.700–1:04:34.433
他確實就是可以在他的 harness 當中
1:04:34.433–1:04:38.166
把這個 model routing 做得蠻不錯的
1:04:38.200–1:04:41.200
但是這樣子的人並不是大多數啦
1:04:41.233–1:04:41.566
OK
1:04:41.566–1:04:45.966
然後 OpenAI 也沒有覺得他們的這個產品
1:04:45.966–1:04:48.666
可以成熟到直接把 model routing
1:04:48.700–1:04:51.333
就是加到他們的這個 Agent 當中
1:04:51.333–1:04:53.400
那他們其實之前有嘗試啦
1:04:53.600–1:04:57.400
就是我有點忘了是 GPT-5 那一代還是哪一代
1:04:57.800–1:04:59.466
但反正有一代模型呢
1:04:59.466–1:05:03.000
就是你有一陣子你是不知道你在用哪個模型的
1:05:03.400–1:05:04.133
大家還記得嗎？
1:05:04.166–1:05:06.133
就你有時候，它根據你的問題
1:05:06.133–1:05:08.933
它會給你一個比較爛的模型、比較笨的模型
1:05:09.233–1:05:10.566
有時候又是比較好的模型
1:05:11.300–1:05:15.533
那我記得那陣子就得到超多人的批評
1:05:15.533–1:05:18.433
所以後來 OpenAI 就不幹這件事情了
1:05:18.466–1:05:20.800
大家還是自己選模型這樣
1:05:20.800–1:05:24.566
但你要知道，我覺得很多人會想要自己選模型
1:05:24.600–1:05:27.133
並不是因為他們真的想要自己選模型
1:05:27.133–1:05:32.033
而是因為 OpenAI 當時的 model router 真的太爛了
1:05:32.066–1:05:36.633
然後，我覺得很多人可能他嘴上不願意承認啦
1:05:36.666–1:05:39.533
但是如果今天一個 model router
1:05:39.533–1:05:42.666
可以真的完美地幫他做模型選擇的話
1:05:42.700–1:05:45.066
沒有人會想要自己選模型啦
1:05:45.066–1:05:48.600
因為自己選模型就是額外一個思考的步驟
1:05:48.633–1:05:51.866
然後額外的手動步驟嘛，對不對？
1:05:51.866–1:05:53.766
那就還是麻煩啦
1:05:54.333–1:05:55.900
OpenAI 也知道這一點
1:05:55.900–1:05:58.433
他們其實未來所有東西都會合在一起
1:05:58.466–1:06:02.300
未來那個 Chat 跟 Work 的這兩個 Tab 也會合在一起
1:06:02.333–1:06:05.233
然後所有 Models 也全部合在一起
1:06:05.266–1:06:08.966
就是一個統一的介面，任何問題
1:06:08.966–1:06:12.400
任何的工作，你都直接丟給它
1:06:12.433–1:06:13.866
然後它自己會判斷
1:06:13.866–1:06:14.766
要不要用工具
1:06:15.066–1:06:15.933
要用哪個模型
1:06:16.066–1:06:16.866
要思考多久
1:06:17.266–1:06:18.433
反正我講了這麼多
1:06:18.466–1:06:20.433
我只想講說這個 model routing
1:06:20.466–1:06:23.266
模型路由真的就是未來的趨勢啦
1:06:23.300–1:06:26.533
只不過我們還在慢慢地一步一步朝那邊走這樣子
1:06:27.000–1:06:29.100
那我覺得 Jev 的出現呢
1:06:29.100–1:06:31.666
它就是會加速這個趨勢的普及
1:06:31.666–1:06:32.933
OK，為什麼？
1:06:33.100–1:06:38.133
因為首先 Jev 是一個很好的 off-the-shelf 的 model router，OK
1:06:38.133–1:06:40.300
off-the-shelf 的意思就是
1:06:40.300–1:06:42.866
你就直接拿它的 API 來用就好了
1:06:42.900–1:06:44.733
你不用再額外去訓練它
1:06:44.733–1:06:48.733
它自己本身就有很好的 model routing 的判斷能力
1:06:48.733–1:06:50.733
這一點我自己也有測試過
1:06:50.733–1:06:52.900
雖然我是用一些假想的問題
1:06:52.900–1:06:54.566
但它都判斷得非常好
1:06:54.566–1:06:57.566
就是哪些問題簡單，要丟給那個小模型
1:06:57.566–1:06:59.333
哪些要丟給大模型等等的
1:06:59.366–1:07:01.200
那這件事情本身呢
1:07:01.200–1:07:06.866
就是可以降低大家自己實作 model routing 的門檻，對吧？
1:07:07.166–1:07:11.266
至少 Router 本身，這是你不用再煩惱了
1:07:11.266–1:07:14.500
你就丟給 Jev，去判斷就 OK 了
1:07:14.866–1:07:19.566
你只要自己再把它那個問題跟選項調一下
1:07:19.600–1:07:21.566
應該就沒問題了
1:07:21.733–1:07:24.533
然後降低實作門檻的同時呢
1:07:24.533–1:07:26.800
它又因為 Jev 爆紅了
1:07:26.800–1:07:31.966
然後確實也就是真的能夠帶來遠遠超過現在
1:07:32.000–1:07:36.133
LLM 的這個速度跟成本上面的優化
1:07:36.133–1:07:40.866
所以說我相信很多人會開始正視 model routing
1:07:40.866–1:07:42.566
正式想要在
1:07:42.566–1:07:47.966
自己的架構中混合一些其他的模型這樣子
1:07:48.000–1:07:50.800
當然，Jev 作為 model router 是一種可能性嘛
1:07:50.800–1:07:51.433
對不對？
1:07:51.666–1:07:56.433
但你直接使用 Jev 這也算是一個這個 model routing 嘛，對不對？
1:07:57.000–1:07:59.700
就有一些工作交給原本的 LLM 做
1:07:59.733–1:08:01.400
有一些是 Jev 直接處理
1:08:01.433–1:08:03.233
這個也算是 model routing 啊
1:08:03.266–1:08:05.300
這也是一個混合的模型架構嘛
1:08:05.300–1:08:05.933
對不對？
1:08:05.966–1:08:08.366
其實像我就是一個典型的例子嘛，對不對？
1:08:08.900–1:08:12.533
現在我的龍蝦基本上就是使用 GPT-5.6
1:08:12.533–1:08:16.800
其實我應該去換 Astra，但就是還沒找到時間
1:08:16.833–1:08:18.566
然後目前用起來
1:08:18.600–1:08:22.100
我的 use case 5.6 已經差不多了
1:08:22.133–1:08:25.100
也沒有到非常有動力想要換
1:08:25.133–1:08:29.966
反正我現在就是用 5.6，所有事情都是交給它處理
1:08:30.733–1:08:32.900
Jev 的推出之後，我剛剛不是有跟大家講嗎？
1:08:32.966–1:08:35.466
測試完了那個 Email 的分類之後
1:08:35.500–1:08:38.966
我是真的覺得我可以把 Jev 融入我的工作流了
1:08:39.000–1:08:42.666
那沒有 Jev 出來之前，其實嚴格來說
1:08:42.666–1:08:46.233
我做不做得到這件事情？也是可以啊
1:08:46.366–1:08:48.000
我拿一個 Luna
1:08:48.033–1:08:52.200
或者是我拿一個甚至一個本地的開源模型
1:08:52.200–1:08:54.000
一個 Qwen 之類的
1:08:54.033–1:08:56.966
跑在我自己的 DGX Spark 上面
1:08:56.966–1:08:59.400
甚至 Mac mini 都有可能
1:08:59.400–1:09:00.566
就是超級小的
1:09:00.566–1:09:02.100
其實也是可以啊，對不對？
1:09:02.633–1:09:06.566
但有 Jev 出現呢，我就更想做這件事情啦
1:09:06.700–1:09:09.000
所以我覺得接下來會發生的事情呢
1:09:09.000–1:09:13.733
就是當然像我這些自己有在架一些工作流的人
1:09:13.733–1:09:19.300
就會開始越來越多把 Jev 融入自己的工作流當中
1:09:19.300–1:09:22.833
能夠節省一些成本跟時間是絕對的
1:09:22.866–1:09:25.700
但也要看你的工作性質
1:09:25.866–1:09:30.033
對於蠻多的工作來說，可能不會省到超級多
1:09:30.600–1:09:34.000
然後有些工作會省到超爆多
1:09:34.500–1:09:35.700
但就是不一樣
1:09:35.833–1:09:37.266
像對我來說啦
1:09:37.266–1:09:40.233
就是它幫我額外 Tag 一下這個
1:09:40.266–1:09:42.533
Email 是哪一種類別啊
1:09:42.533–1:09:44.000
什麼緊急程度啊
1:09:44.033–1:09:47.033
其實真的對我來說 Impact 沒有到很大啦
1:09:47.166–1:09:50.733
它不會省我多少的成本，然後同時可能
1:09:50.733–1:09:51.900
就是在我問
1:09:51.933–1:09:55.700
那個問題的時候幫我省下幾秒鐘的時間吧
1:09:55.700–1:09:58.033
所以對我來說不是一個超級大的 game changer
1:09:58.033–1:10:00.466
但對於那些比如說要 screen
1:10:00.500–1:10:03.566
幾千封履歷的人來說絕對是有幫助的
1:10:03.566–1:10:06.233
然後我覺得再下一步呢
1:10:06.266–1:10:08.833
就是標準的 AI agent
1:10:08.866–1:10:12.666
就會開始把 Jev 當作一個工具了
1:10:12.833–1:10:14.766
可能在 model routing 之前
1:10:14.766–1:10:16.500
它就是先自己做 routing
1:10:16.500–1:10:18.233
然後把它當作一個工具吧
1:10:18.333–1:10:19.800
我覺得比較可能的是這樣子
1:10:20.966–1:10:25.000
換言之呢，比如說 Astra 在工作的過程中
1:10:25.000–1:10:29.600
假設你叫 Astra 去做一個大量的 screening
1:10:29.633–1:10:32.633
大量地去看大量的 email 之類的
1:10:32.633–1:10:35.133
它可能就會 call 一下 Jev
1:10:35.133–1:10:40.733
就等於說這個 Jev 融入了 AI agent 的 harness 當中的這種感覺
1:10:40.733–1:10:43.733
我覺得下一步蠻可能會發生這樣子的事情啦
1:10:45.233–1:10:48.300
反正無論如何，你可以想像的
1:10:48.333–1:10:51.733
就是 model routing 一定是未來
1:10:51.733–1:10:56.866
而且未來不只是你在 LLM 跟 Jev
1:10:56.866–1:11:01.333
跟中等的 LLM 之間進行選擇
1:11:01.366–1:11:05.433
還會有地端的 LLM 跟雲端的 LLM 的選擇
1:11:05.433–1:11:07.133
會全部混在一起
1:11:07.166–1:11:08.733
我覺得未來就是這樣
1:11:08.733–1:11:13.800
對於我們這些科技宅來說，你想要的話
1:11:13.833–1:11:18.400
你可以隨時把這些最新的 capability 融入到你的工作當中
1:11:18.400–1:11:20.500
但是對於一般人來說
1:11:20.500–1:11:24.500
我相信他們整個過程中他們都不會感覺到
1:11:24.533–1:11:26.533
他們，像是 Jev 問世
1:11:26.566–1:11:29.833
他們不會看到 Jev，也不會用到 Jev
1:11:29.833–1:11:34.500
但是 Jev 會實質上慢慢地改變他們的
1:11:34.500–1:11:37.566
AI agent 的速度跟成本
1:11:37.600–1:11:40.466
這些是他們會慢慢體感到的
1:11:40.466–1:11:43.300
他們不會知道過程中發生了什麼事情
1:11:43.333–1:11:48.700
只有我們這些真的科技宅們才真的是知道這些內幕啊
1:11:48.866–1:11:49.000
OK
1:11:49.666–1:11:52.066
好，那麼這集科技浪就大概跟大家聊到這邊
1:11:52.466–1:11:55.800
如果你覺得本集節目對於你了解
1:11:55.833–1:11:58.266
Jev 來說是有點幫助的
1:11:58.266–1:12:01.300
你覺得節目是有趣好聽的話呢
1:12:01.333–1:12:03.466
歡迎給我們一個五星評分、留言
1:12:03.466–1:12:06.933
然後把科技浪分享給你的親朋好友們
1:12:06.966–1:12:08.866
我們就下週再見囉，拜拜！
0:04.333–0:04.700
zh哈囉，大家好
哈囉，大家好
0:04.700–0:05.800
zh歡迎收聽科技浪
歡迎收聽科技浪
0:05.833–0:06.933
zh我是主持人哈利
我是主持人哈利
0:06.966–0:09.833
zh科技浪是一個白話跟你聊科技的 Podcast
科技浪是一個白話跟你聊科技的 Podcast
0:09.866–0:11.233
zh希望可以用簡單易懂
希望可以用簡單易懂
0:11.233–0:16.466
zh但是又深入的方式，帶你了解時下最火的科技話題
但是又深入的方式，帶你了解時下最火的科技話題
0:16.500–0:19.366
zh本期節目由犀牛盾贊助播出
本期節目由犀牛盾贊助播出
0:19.366–0:19.600
zh好
好
0:19.600–0:20.866
zh那過去這一週
那過去這一週
0:20.900–0:23.733
zh就是算是蘋果發表會結束的第二週
就是算是蘋果發表會結束的第二週
0:23.766–0:27.000
zh就是有一些初步的評測都已經出來了嘛
就是有一些初步的評測都已經出來了嘛
0:27.000–0:27.200
zh對不對？
對不對？
0:27.200–0:30.533
zh我不知道大家看到這個 iPhone 18 Pro
我不知道大家看到這個 iPhone 18 Pro
0:30.566–0:32.600
zh有沒有決定要購買呢？
有沒有決定要購買呢？
0:32.633–0:33.633
zh當然
當然
0:33.666–0:35.866
zh跟 17 Pro 比起來
跟 17 Pro 比起來
0:35.900–0:39.600
zh確實沒有多少的更新，對不對？
確實沒有多少的更新，對不對？
0:39.600–0:41.866
zh但我自己還是會換
但我自己還是會換
0:41.866–0:45.800
zh因為我現在其實原本我的 iPhone
因為我現在其實原本我的 iPhone
0:45.833–0:51.000
zh我有很多支手機，那 iPhone 就是有一支 17 Pro
我有很多支手機，那 iPhone 就是有一支 17 Pro
0:51.033–0:54.300
zh它也算是我主要的手機之一
它也算是我主要的手機之一
0:54.333–0:58.166
zh那我還是會想換成 18 Pro，是為什麼呢？
那我還是會想換成 18 Pro，是為什麼呢？
0:58.166–1:01.500
zh其實，老實說啦，單純看這個
其實，老實說啦，單純看這個
1:01.500–1:06.266
zh就目前看 CP 值，真的是沒有到那麼高，OK
就目前看 CP 值，真的是沒有到那麼高，OK
1:06.566–1:08.333
zh就你換了之後，你得到什麼？
就你換了之後，你得到什麼？
1:08.433–1:14.466
zh就更好的電池續航跟晶片效能以及相機
就更好的電池續航跟晶片效能以及相機
1:14.500–1:16.966
zh那相機那邊就是有個可變光圈嘛
那相機那邊就是有個可變光圈嘛
1:17.000–1:17.700
zh對不對？
對不對？
1:17.700–1:19.000
zh然後當然還有顏色啦
然後當然還有顏色啦
1:19.500–1:21.300
zh顏色對我來說還好啦
顏色對我來說還好啦
1:21.933–1:23.700
zh好，那你就得到這些嘛
好，那你就得到這些嘛
1:23.700–1:26.600
zh那這個真的值得你多花那一兩萬塊嗎？
那這個真的值得你多花那一兩萬塊嗎？
1:27.000–1:29.066
zh我覺得對於很多人來說
我覺得對於很多人來說
1:29.066–1:32.833
zh就現有的體驗來說是真的沒有到很值得，OK
就現有的體驗來說是真的沒有到很值得，OK
1:33.066–1:37.333
zh然後我自己本人，就我目前的使用狀況呢
然後我自己本人，就我目前的使用狀況呢
1:37.333–1:39.566
zh確實也真的沒有必要
確實也真的沒有必要
1:39.600–1:41.966
zh就是多花這一筆錢這樣子
就是多花這一筆錢這樣子
1:42.000–1:43.733
zh但我還是會換，是為什麼？
但我還是會換，是為什麼？
1:44.566–1:47.766
zh因為我的想法是比較接近，我買了先放著
因為我的想法是比較接近，我買了先放著
1:47.900–1:51.033
zh這個能力我覺得我未來會用到，我買了先放著
這個能力我覺得我未來會用到，我買了先放著
1:51.200–1:52.133
zh我現在還用不到
我現在還用不到
1:52.533–1:56.566
zh我們今天這集業配時間比較長一點
我們今天這集業配時間比較長一點
1:56.600–2:00.266
zh剛好願意跟大家分享一些我自己的想法
剛好願意跟大家分享一些我自己的想法
2:00.300–2:02.633
zh我們現在都還沒講到業配產品
我們現在都還沒講到業配產品
2:03.166–2:07.000
zh反正我的想法就是，因為這個 iPhone 18 Pro
反正我的想法就是，因為這個 iPhone 18 Pro
2:07.000–2:11.100
zh他們用了這個新的晶片，叫做 A20 Pro 的晶片嘛
他們用了這個新的晶片，叫做 A20 Pro 的晶片嘛
2:11.133–2:11.666
zh對不對？
對不對？
2:11.666–2:14.433
zh它跟上一代 A19 Pro 比起來呢
它跟上一代 A19 Pro 比起來呢
2:14.466–2:17.900
zh當然就是在各方面的表現都有提升啊
當然就是在各方面的表現都有提升啊
2:17.933–2:18.966
zh那他們 demo
那他們 demo
2:18.966–2:21.866
zh很多打遊戲的散熱效果比較好啊等等的
很多打遊戲的散熱效果比較好啊等等的
2:21.900–2:24.766
zh但那些評測員都沒有 demo 到的一點
但那些評測員都沒有 demo 到的一點
2:24.766–2:26.633
zh是它的 AI 運算的表現
是它的 AI 運算的表現
2:26.900–2:30.266
zh它的 AI 運算表現不是提升一點點而已喔
它的 AI 運算表現不是提升一點點而已喔
2:30.266–2:31.500
zh提升非常多喔
提升非常多喔
2:31.566–2:35.833
zh我看有一個網友發了他的測試在 X 上面
我看有一個網友發了他的測試在 X 上面
2:35.833–2:40.900
zh他是跑 On-Device 的 Apple Foundation Model
他是跑 On-Device 的 Apple Foundation Model
2:40.933–2:45.733
zh他發現一個長 prompt 的 time to first token
他發現一個長 prompt 的 time to first token
2:45.733–2:50.633
zh直接從 A19 Pro 的 2000 多毫秒變成 1000 毫秒
直接從 A19 Pro 的 2000 多毫秒變成 1000 毫秒
2:50.666–2:52.533
zh直接砍半
直接砍半
2:52.533–2:54.666
zh整個 time to first token 都快非常多
整個 time to first token 都快非常多
2:54.900–2:58.866
zh當然，我知道很多人就會說，蘋果根本就沒有 AI
當然，我知道很多人就會說，蘋果根本就沒有 AI
2:58.900–3:00.633
zh那你現在買來放著有什麼用？
那你現在買來放著有什麼用？
3:00.633–3:03.533
zh我覺得快了啦，真的快了啦
我覺得快了啦，真的快了啦
3:03.700–3:05.166
zh你聽我們之前在分析
你聽我們之前在分析
3:05.166–3:07.266
zhApple Intelligence 的那幾集
Apple Intelligence 的那幾集
3:07.300–3:09.700
zhApple Foundation Model 的那幾集
Apple Foundation Model 的那幾集
3:09.700–3:14.766
zh你就會知道蘋果在這邊已經有在做準備了
你就會知道蘋果在這邊已經有在做準備了
3:14.800–3:17.400
zh尤其像這個更強的 Siri，iOS 27
尤其像這個更強的 Siri，iOS 27
3:17.433–3:21.000
zh其實我不知道這個中文版到底什麼時候會推出
其實我不知道這個中文版到底什麼時候會推出
3:21.000–3:22.766
zh但我覺得
但我覺得
3:22.766–3:24.566
zh如果推出的時候
如果推出的時候
3:24.600–3:29.100
zh大家中文版用到的是接近英文版的這種滿血狀態的話
大家中文版用到的是接近英文版的這種滿血狀態的話
3:29.100–3:30.200
zh會很有感啦
會很有感啦
3:30.233–3:30.433
zh真的
真的
3:30.466–3:31.766
zh那如果你已經準備好
那如果你已經準備好
3:31.766–3:33.633
zh要下單 iPhone 18 Pro 了
要下單 iPhone 18 Pro 了
3:33.666–3:35.300
zh手機殼也必須先準備好
手機殼也必須先準備好
3:35.300–3:38.566
zh那這次要跟大家介紹我最近最喜歡的
那這次要跟大家介紹我最近最喜歡的
3:38.600–3:40.133
zh這個太空級防摔
這個太空級防摔
3:40.133–3:42.800
zh犀牛盾 AirX 極致氣墊緩衝殼
犀牛盾 AirX 極致氣墊緩衝殼
3:42.800–3:45.666
zh那 AirX 的防護到底有多強呢？
那 AirX 的防護到底有多強呢？
3:45.700–3:49.400
zh你知道犀牛盾他們把 AirX 送到瑞典太空中心
你知道犀牛盾他們把 AirX 送到瑞典太空中心
3:49.400–3:52.733
zh進行超過三萬公尺近太空高度的摔落測試
進行超過三萬公尺近太空高度的摔落測試
3:52.766–3:53.800
zh你沒聽錯喔
你沒聽錯喔
3:53.833–3:55.000
zh三萬公尺
三萬公尺
3:55.000–3:59.800
zh那它經歷了，這個手機包著殼，經歷了極致低溫
那它經歷了，這個手機包著殼，經歷了極致低溫
3:59.833–4:03.533
zh真空環境跟高空落下來的衝擊之後呢
真空環境跟高空落下來的衝擊之後呢
4:03.533–4:06.166
zh手機竟然還可以正常使用
手機竟然還可以正常使用
4:06.166–4:08.800
zh這個是創下了全新的世界紀錄的
這個是創下了全新的世界紀錄的
4:08.833–4:11.300
zh那 AirX 可以做到這件事情呢
那 AirX 可以做到這件事情呢
4:11.333–4:15.133
zh關鍵就在於 AirX 裡面有 360 度的包覆式氣囊
關鍵就在於 AirX 裡面有 360 度的包覆式氣囊
4:15.133–4:18.700
zh搭配了這個犀牛盾獨家的內傷防護複合系統
搭配了這個犀牛盾獨家的內傷防護複合系統
4:18.733–4:21.933
zh可以把摔落瞬間的衝擊力給分散吸收掉
可以把摔落瞬間的衝擊力給分散吸收掉
4:21.933–4:22.966
zh那你可以想像
那你可以想像
4:23.000–4:25.533
zh就是我們幫手機裝上了一圈安全氣囊
就是我們幫手機裝上了一圈安全氣囊
4:25.533–4:28.466
zh可以降低摔落的受損機會
可以降低摔落的受損機會
4:28.466–4:29.733
zh如果你挑手機殼
如果你挑手機殼
4:29.766–4:31.600
zh也很在意顏色跟手感的話
也很在意顏色跟手感的話
4:31.633–4:36.100
zh可以看看犀牛盾的 SolidX 強化吸震緩衝殼
可以看看犀牛盾的 SolidX 強化吸震緩衝殼
4:36.100–4:37.533
zh這個 SolidX
這個 SolidX
4:37.566–4:42.033
zh它的霧透系列可以透出 iPhone 本身的顏色
它的霧透系列可以透出 iPhone 本身的顏色
4:42.066–4:45.733
zh很百搭，再加上它很細緻的磨砂質感
很百搭，再加上它很細緻的磨砂質感
4:45.733–4:47.233
zh摸起來很舒服
摸起來很舒服
4:47.233–4:49.800
zh也抗污耐髒。內側四個角落
也抗污耐髒。內側四個角落
4:49.833–4:51.200
zh也是有緩衝槽的
也是有緩衝槽的
4:51.233–4:54.866
zh所以它的外型跟防護都有顧到
所以它的外型跟防護都有顧到
4:54.866–4:58.100
zh也很好拆裝。另外也有其他的
也很好拆裝。另外也有其他的
4:58.133–5:00.666
zh像是主打終身抗黃保固
像是主打終身抗黃保固
5:00.700–5:05.333
zh如果變黃了，可以免費換新的 Clear 透明殼系列
如果變黃了，可以免費換新的 Clear 透明殼系列
5:05.333–5:09.100
zh以及全新的裸機感 Bumper 邊框殼
以及全新的裸機感 Bumper 邊框殼
5:09.133–5:12.966
zh連螢幕、鏡頭保護都可以一起備齊
連螢幕、鏡頭保護都可以一起備齊
5:13.000–5:14.933
zh現在購買任何一款手機殼
現在購買任何一款手機殼
5:14.933–5:16.800
zh保護貼還有限時 7 折起
保護貼還有限時 7 折起
5:17.600–5:19.200
zh舊殼也不要急著丟
舊殼也不要急著丟
5:19.233–5:21.400
zh犀牛盾現在有 RHINOLOOP
犀牛盾現在有 RHINOLOOP
5:21.400–5:23.566
zh手機殼回收計畫的大進化
手機殼回收計畫的大進化
5:23.566–5:26.466
zh加入官方會員，完成手機驗證
加入官方會員，完成手機驗證
5:26.466–5:28.533
zh再啟動舊殼回收的話
再啟動舊殼回收的話
5:28.566–5:31.100
zh新殼就可以折抵 500 塊
新殼就可以折抵 500 塊
5:31.100–5:33.766
zh那或是你在官網結帳的時候呢
那或是你在官網結帳的時候呢
5:33.800–5:35.900
zh輸入我們哈利的折扣碼
輸入我們哈利的折扣碼
5:35.900–5:40.333
zh這個科技浪的限時折扣碼 i18-harry，小寫的 i
這個科技浪的限時折扣碼 i18-harry，小寫的 i
5:40.333–5:44.133
zh然後 18，然後 dash harry，都是小寫的
然後 18，然後 dash harry，都是小寫的
5:44.166–5:47.666
zh這個我們在本集資訊欄也會提供折扣碼
這個我們在本集資訊欄也會提供折扣碼
5:47.666–5:51.766
zh你就可以訂單直接滿 700 塊，現折 100 塊，OK
你就可以訂單直接滿 700 塊，現折 100 塊，OK
5:52.166–5:55.466
zh所以這個連結跟折扣碼都放在節目的資訊欄
所以這個連結跟折扣碼都放在節目的資訊欄
5:56.033–5:59.200
zh準備換新 iPhone 的朋友，可以記得去看看
準備換新 iPhone 的朋友，可以記得去看看
5:59.233–6:01.433
zh來幫新手機先把防護給準備好
來幫新手機先把防護給準備好
6:01.800–6:03.933
zh本集業配就到這邊結束，謝謝犀牛盾的贊助
本集業配就到這邊結束，謝謝犀牛盾的贊助
6:04.333–6:08.400
zh各位，我們必須得來聊聊 Jev，J-E-V，Jev
各位，我們必須得來聊聊 Jev，J-E-V，Jev
6:08.433–6:10.666
zh過去這三天的社群媒體
過去這三天的社群媒體
6:10.666–6:12.666
zh不管是 X 還是 Threads
不管是 X 還是 Threads
6:12.700–6:15.700
zh全部都是 Jev，怎麼滑都是看到 Jev
全部都是 Jev，怎麼滑都是看到 Jev
6:15.733–6:19.866
zh十篇裡面至少七八篇都是 Jev，如果你不知道的話
十篇裡面至少七八篇都是 Jev，如果你不知道的話
6:19.866–6:24.600
zh這個 Jev 是過去這一週 AI 圈最大的一個新聞
這個 Jev 是過去這一週 AI 圈最大的一個新聞
6:24.600–6:28.700
zh所有人都在討論的一個新的 AI 模型
所有人都在討論的一個新的 AI 模型
6:28.733–6:32.533
zh那它是由一間叫做 TypeSafe AI 的公司在上禮拜推出的
那它是由一間叫做 TypeSafe AI 的公司在上禮拜推出的
6:33.000–6:35.100
zh那你如果沒有聽過 TypeSafe AI 這間公司
那你如果沒有聽過 TypeSafe AI 這間公司
6:35.100–6:35.966
zh其實非常正常啦
其實非常正常啦
6:35.966–6:39.066
zh因為他們基本上在上禮拜之前是
因為他們基本上在上禮拜之前是
6:39.066–6:41.333
zh沒有人聽過的一間公司
沒有人聽過的一間公司
6:41.366–6:42.966
zh他們 2024 年成立
他們 2024 年成立
6:42.966–6:46.366
zh但是兩年的時間他們都是在低調打造產品
但是兩年的時間他們都是在低調打造產品
6:46.366–6:48.666
zh就是 Stealth Mode 這樣子
就是 Stealth Mode 這樣子
6:49.300–6:55.400
zh那在上禮拜他們才終於就是推出他們的第一個模型
那在上禮拜他們才終於就是推出他們的第一個模型
6:55.400–6:58.866
zh然後就也讓大家了解知道他們這樣子
然後就也讓大家了解知道他們這樣子
6:58.900–7:03.400
zh那這模型一出來，馬上就是全網爆紅啊
那這模型一出來，馬上就是全網爆紅啊
7:03.433–7:06.466
zh整個 AI 圈子沒有任何其他 topic
整個 AI 圈子沒有任何其他 topic
7:06.500–7:09.833
zh大家都在講 Jev，那為什麼會這麼紅呢？
大家都在講 Jev，那為什麼會這麼紅呢？
7:09.866–7:12.633
zh就是現在 AI 模型整天都在推出嘛
就是現在 AI 模型整天都在推出嘛
7:12.633–7:15.066
zh就是每個禮拜都有新模型推出來
就是每個禮拜都有新模型推出來
7:15.100–7:18.433
zh為什麼這個模型會得到這麼多關注？
為什麼這個模型會得到這麼多關注？
7:18.466–7:22.566
zh首先，最主要的原因是因為它不是一般的 AI 模型
首先，最主要的原因是因為它不是一般的 AI 模型
7:22.866–7:25.566
zh它不是一個 chatbot，也不是一個 AI agent
它不是一個 chatbot，也不是一個 AI agent
7:25.566–7:27.400
zh它是一個 TypeSafe 把它稱作
它是一個 TypeSafe 把它稱作
7:27.433–7:28.933
zhSystem 1 model 的模型
System 1 model 的模型
7:29.366–7:30.766
zh好，那你聽這個名字
好，那你聽這個名字
7:30.800–7:32.766
zh原本你第一次看到就覺得，哇
原本你第一次看到就覺得，哇
7:32.800–7:35.000
zh好像很炫砲耶，好像很神秘耶！
好像很炫砲耶，好像很神秘耶！
7:35.033–7:38.066
zh什麼叫做 System 1 model？感覺好像很厲害
什麼叫做 System 1 model？感覺好像很厲害
7:38.066–7:41.300
zh然後你往下繼續看他們的這個宣傳文呢
然後你往下繼續看他們的這個宣傳文呢
7:41.300–7:42.900
zh你會覺得越看越扯
你會覺得越看越扯
7:42.933–7:45.200
zh他們講了很多東西，像是說
他們講了很多東西，像是說
7:45.233–7:48.033
zhJev 這個模型呢，是不會有幻覺的
Jev 這個模型呢，是不會有幻覺的
7:48.066–7:52.600
zhZero Hallucinations，這個原本應該是 AI 模型
Zero Hallucinations，這個原本應該是 AI 模型
7:52.600–7:56.866
zh這個 LLM 模型的一個致命痛點的幻覺問題
這個 LLM 模型的一個致命痛點的幻覺問題
7:56.900–7:58.433
zh他們竟然沒有
他們竟然沒有
7:58.433–7:59.333
zh然後還寫
然後還寫
7:59.366–8:03.600
zh它的速度跟成本都是遠遠勝過現在的大型語言模型
它的速度跟成本都是遠遠勝過現在的大型語言模型
8:04.033–8:05.066
zh速度快多少倍？
速度快多少倍？
8:05.466–8:09.000
zh不是快一倍兩倍，是快兩百倍
不是快一倍兩倍，是快兩百倍
8:09.533–8:11.166
zh然後成本呢？
然後成本呢？
8:11.200–8:12.600
zh便宜四百倍
便宜四百倍
8:13.100–8:15.100
zh哇，看到這邊你真的會覺得說
哇，看到這邊你真的會覺得說
8:15.133–8:17.000
zh這個模型到底是何方神聖啊
這個模型到底是何方神聖啊
8:17.300–8:19.166
zh你就忍不住想要去研究它嘛
你就忍不住想要去研究它嘛
8:19.633–8:21.166
zh那這是它爆紅的第一個原因
那這是它爆紅的第一個原因
8:21.533–8:22.900
zh它還有另外一個原因
它還有另外一個原因
8:23.233–8:25.033
zh就是它的 Founder
就是它的 Founder
8:25.033–8:28.666
zhTypeSafe AI 的 CEO，其實背景很硬喔
TypeSafe AI 的 CEO，其實背景很硬喔
8:28.800–8:31.200
zh他的名字叫做 Diogo Almeida
他的名字叫做 Diogo Almeida
8:31.233–8:32.966
zh是一個蠻騷包的 CEO
是一個蠻騷包的 CEO
8:33.633–8:37.266
zh因為他去參加一些演講啊，Event
因為他去參加一些演講啊，Event
8:37.300–8:41.500
zh都會穿著一個粉色的那種羽絨大衣，OK
都會穿著一個粉色的那種羽絨大衣，OK
8:42.066–8:44.166
zh就很亮的很亮的那種粉色
就很亮的很亮的那種粉色
8:44.600–8:47.533
zh就有點像是那個 One Piece 的那個 Doflamingo 那樣子
就有點像是那個 One Piece 的那個 Doflamingo 那樣子
8:47.933–8:50.600
zh那反正，他的技術底子真的很硬喔
那反正，他的技術底子真的很硬喔
8:50.900–8:53.700
zh他是 ChatGPT 的共同發明者之一
他是 ChatGPT 的共同發明者之一
8:54.266–8:55.800
zh差不多 2022 年
差不多 2022 年
8:55.800–8:57.933
zhOpenAI 在研究怎麼把
OpenAI 在研究怎麼把
8:57.933–9:02.033
zhGPT-3 這種只會做文字接龍的大型語言模型
GPT-3 這種只會做文字接龍的大型語言模型
9:02.033–9:04.033
zh變成是一個 chatbot
變成是一個 chatbot
9:04.033–9:09.833
zh像是 ChatGPT 這種會跟你一來一往地聊天的模型
像是 ChatGPT 這種會跟你一來一往地聊天的模型
9:09.866–9:11.800
zh那這背後最核心的技術呢
那這背後最核心的技術呢
9:12.566–9:15.733
zh就是後訓練，就是 RLHF 的這些技術
就是後訓練，就是 RLHF 的這些技術
9:15.766–9:19.600
zh就是 Diogo Almeida 當時在 OpenAI 研究的
就是 Diogo Almeida 當時在 OpenAI 研究的
9:19.800–9:21.933
zh他們甚至後來出了一篇論文
他們甚至後來出了一篇論文
9:21.966–9:23.933
zh然後這個 Diogo Almeida
然後這個 Diogo Almeida
9:23.966–9:26.100
zh是那篇論文的主要作者之一
是那篇論文的主要作者之一
9:26.266–9:28.900
zh所以這整件事就是一個完美頭條嘛，對不對？
所以這整件事就是一個完美頭條嘛，對不對？
9:29.400–9:29.633
zh哇
哇
9:29.633–9:31.766
zh這個 ChatGPT 的共同發明者之一
這個 ChatGPT 的共同發明者之一
9:31.800–9:33.733
zh竟然推出了一個 AI 模型
竟然推出了一個 AI 模型
9:33.733–9:36.600
zh比現在的模型快兩百倍
比現在的模型快兩百倍
9:36.600–9:38.333
zh然後還便宜四百倍
然後還便宜四百倍
9:38.366–9:41.400
zh然後還永遠不會產生幻覺。哇！
然後還永遠不會產生幻覺。哇！
9:41.400–9:43.700
zh天翻地覆，世界要改變啦！
天翻地覆，世界要改變啦！
9:43.733–9:45.766
zh那當然啦，就一如既往
那當然啦，就一如既往
9:45.766–9:50.200
zh其實很多這些 marketing 的講法都是比較偏炒作啦
其實很多這些 marketing 的講法都是比較偏炒作啦
9:50.233–9:54.266
zh其實事實的狀況就是，天下沒有白吃的午餐
其實事實的狀況就是，天下沒有白吃的午餐
9:54.266–9:54.566
zh好
好
9:54.600–9:57.033
zh你今天要做到我們剛剛講的那三件事情呢
你今天要做到我們剛剛講的那三件事情呢
9:57.066–10:00.933
zh你勢必要犧牲一點你們模型能夠做到的事
你勢必要犧牲一點你們模型能夠做到的事
10:00.933–10:03.533
zh那聽完今天這集 podcast 呢
那聽完今天這集 podcast 呢
10:03.566–10:07.533
zh你就會完全理解 Jev 這個模型它到底是什麼
你就會完全理解 Jev 這個模型它到底是什麼
10:07.533–10:09.166
zh它的運作原理又是什麼
它的運作原理又是什麼
10:09.200–10:11.600
zh它的應用場景可以應用在哪些地方
它的應用場景可以應用在哪些地方
10:11.600–10:13.266
zh能夠解決哪些問題
能夠解決哪些問題
10:13.266–10:17.066
zh然後哪些場景是沒有辦法取代現在的 LLM 的
然後哪些場景是沒有辦法取代現在的 LLM 的
10:17.100–10:19.266
zh以及它的實測狀況如何
以及它的實測狀況如何
10:19.700–10:21.700
zh我自己也有簡單地去測試一下
我自己也有簡單地去測試一下
10:22.166–10:24.366
zh然後最後我覺得也是非常重要的一點
然後最後我覺得也是非常重要的一點
10:24.400–10:25.433
zh就是 So what？
就是 So what？
10:25.633–10:28.366
zh有了 Jev 之後，又會發生什麼事情？
有了 Jev 之後，又會發生什麼事情？
10:28.633–10:31.866
zh這對於現在的 AI agent 的意義究竟是什麼？
這對於現在的 AI agent 的意義究竟是什麼？
10:32.300–10:36.666
zh我覺得 Jev 當然不像是很多的文章一樣
我覺得 Jev 當然不像是很多的文章一樣
10:36.700–10:38.600
zh講得會改變世界
講得會改變世界
10:38.600–10:44.133
zh但是它確實，必須說，是一個重要的技術趨勢
但是它確實，必須說，是一個重要的技術趨勢
10:44.166–10:46.000
zh它確實是會改變一些事情
它確實是會改變一些事情
10:46.533–10:47.733
zh好，那首先呢
好，那首先呢
10:47.733–10:50.766
zh我們就先從 Jev 到底是什麼開始聊起
我們就先從 Jev 到底是什麼開始聊起
10:51.300–10:53.633
zh好，那當然這個 TypeSafe AI 是把它稱作
好，那當然這個 TypeSafe AI 是把它稱作
10:53.633–10:55.666
zh一個 System 1 model 嘛，對不對？
一個 System 1 model 嘛，對不對？
10:56.100–10:57.566
zh好，但你直接這樣子講
好，但你直接這樣子講
10:57.566–10:59.300
zh沒有人會知道它是什麼的啦
沒有人會知道它是什麼的啦
10:59.600–11:02.600
zh好，其實一個最精準的講法
好，其實一個最精準的講法
11:02.633–11:04.166
zh我會把它稱作一個
我會把它稱作一個
11:04.166–11:08.300
enLLM-based general-purpose classification model
LLM-based general-purpose classification model
11:08.333–11:12.766
zh中文可以翻成基於大型語言模型的通用分類模型
中文可以翻成基於大型語言模型的通用分類模型
11:12.766–11:15.166
zhOK，那當然我知道 TypeSafe AI
OK，那當然我知道 TypeSafe AI
11:15.200–11:17.900
zh他們官方絕對不會認同這樣子的定義
他們官方絕對不會認同這樣子的定義
11:17.933–11:21.566
zh因為他們就是很明顯地想要跟 LLM 切割嘛
因為他們就是很明顯地想要跟 LLM 切割嘛
11:21.566–11:22.866
zh然後做出差別
然後做出差別
11:22.900–11:24.766
zh才會把它叫做 System 1 model
才會把它叫做 System 1 model
11:24.800–11:27.133
zh但是我覺得最精準的講法應該是這樣子
但是我覺得最精準的講法應該是這樣子
11:27.166–11:28.466
zh我自己認為
我自己認為
11:28.466–11:31.966
zh那當然這一句話聽起來很長很複雜
那當然這一句話聽起來很長很複雜
11:32.000–11:33.766
zh很多人可能一時之間沒有辦法
很多人可能一時之間沒有辦法
11:33.766–11:35.133
zh完全理解它是什麼意思
完全理解它是什麼意思
11:35.166–11:36.900
zh所以我們把它 break down
所以我們把它 break down
11:36.933–11:39.166
zh我們把它拆出幾個重要的觀念來看
我們把它拆出幾個重要的觀念來看
11:39.166–11:40.300
zh先看最後一句喔
先看最後一句喔
11:40.333–11:43.600
zhJev 是一個 classification model 分類模型
Jev 是一個 classification model 分類模型
11:43.633–11:46.166
zh意思就是說它只能做分類工作
意思就是說它只能做分類工作
11:46.166–11:48.966
zh它不能產生文字、圖片或是程式碼
它不能產生文字、圖片或是程式碼
11:49.000–11:51.233
zh這邊其實就是跟一般的這些
這邊其實就是跟一般的這些
11:51.266–11:54.866
zhAI agent、AI chatbot 很不一樣的地方嘛
AI agent、AI chatbot 很不一樣的地方嘛
11:54.866–11:55.766
zh對不對？
對不對？
11:55.800–11:57.466
zh所謂的分類工作呢
所謂的分類工作呢
11:57.466–12:01.700
zh就真的是針對一個情況或是一個物件去幫它做分類
就真的是針對一個情況或是一個物件去幫它做分類
12:01.733–12:04.500
zh就比如說你拿到一個客服的訊息
就比如說你拿到一個客服的訊息
12:04.500–12:06.533
zh一個客人的抱怨的訊息
一個客人的抱怨的訊息
12:06.566–12:08.400
zh那你要根據這個訊息
那你要根據這個訊息
12:08.400–12:11.366
zh分辨它究竟是一個技術相關的問題
分辨它究竟是一個技術相關的問題
12:11.366–12:12.833
zh還是一個帳務相關的問題
還是一個帳務相關的問題
12:12.866–12:14.166
zh還是一個物流相關的問題
還是一個物流相關的問題
12:14.200–12:14.866
zh等等
等等
12:14.900–12:19.800
zh或者是根據目前你看到的這一則 email 的內容呢
或者是根據目前你看到的這一則 email 的內容呢
12:19.833–12:22.900
zh去判斷它是不是釣魚信件
去判斷它是不是釣魚信件
12:22.933–12:25.800
zhOK，就兩種可能而已，是或是不是
OK，就兩種可能而已，是或是不是
12:25.800–12:32.466
zh或者是根據履歷的內容以及你的徵才標準
或者是根據履歷的內容以及你的徵才標準
12:32.466–12:37.233
zh去判斷這個應徵者跟我們職缺的適合程度有幾分
去判斷這個應徵者跟我們職缺的適合程度有幾分
12:37.266–12:39.733
zh1 到 5 分，究竟有幾分這樣子
1 到 5 分，究竟有幾分這樣子
12:39.766–12:43.366
zh好，那像這類型的工作呢，就是 Jev 在做的
好，那像這類型的工作呢，就是 Jev 在做的
12:43.366–12:46.133
zh而且 Jev 也只能做這類型的工作
而且 Jev 也只能做這類型的工作
12:46.166–12:49.100
zh它不會產生文字，也不會產生圖片，好
它不會產生文字，也不會產生圖片，好
12:49.100–12:52.900
zh你今天就是丟給它一個你要判斷的情況
你今天就是丟給它一個你要判斷的情況
12:52.933–12:56.333
zh以及這個情況之下你目前的選項有哪些
以及這個情況之下你目前的選項有哪些
12:56.333–12:59.200
zh然後 Jev 就會直接吐給你一串機率分布
然後 Jev 就會直接吐給你一串機率分布
12:59.233–13:01.033
zh好，這個機率分布呢
好，這個機率分布呢
13:01.066–13:03.966
zh就是你給它的選項當中的機率分布
就是你給它的選項當中的機率分布
13:03.966–13:04.333
enOK
OK
13:04.366–13:06.366
zh比如說 A 選項幾% 的機率
比如說 A 選項幾% 的機率
13:06.366–13:09.266
zhB 選項幾% 的機率，C 選項幾% 這樣子
B 選項幾% 的機率，C 選項幾% 這樣子
13:09.300–13:12.133
zh像是你丟給它一個客服的訊息，內容就是說
像是你丟給它一個客服的訊息，內容就是說
13:12.166–13:15.333
zh「我想知道一下我的包裹目前的進度。」
「我想知道一下我的包裹目前的進度。」
13:15.333–13:19.800
zh那你下面就寫出，你現在要問的問題是
那你下面就寫出，你現在要問的問題是
13:19.800–13:22.500
zh請問這個客服的訊息呢
請問這個客服的訊息呢
13:22.533–13:24.766
zh它是哪一個類別的問題？
它是哪一個類別的問題？
13:24.800–13:27.400
zh然後下面有 A 選項：帳務
然後下面有 A 選項：帳務
13:27.400–13:30.300
zhB 選項：技術，C 選項：物流
B 選項：技術，C 選項：物流
13:30.333–13:34.300
zhD 選項……然後你把這整坨東西丟給 Jev
D 選項……然後你把這整坨東西丟給 Jev
13:34.300–13:37.200
zhJev 就會吐一個機率分布給你
Jev 就會吐一個機率分布給你
13:37.233–13:40.566
zh比如說帳務機率 2%，技術機率 1%
比如說帳務機率 2%，技術機率 1%
13:40.600–13:42.466
zh然後物流機率 92%
然後物流機率 92%
13:42.466–13:45.700
zh然後其他選項機率幾%、幾%、幾%
然後其他選項機率幾%、幾%、幾%
13:45.733–13:49.066
zh你透過這個機率分布就可以看到說
你透過這個機率分布就可以看到說
13:49.066–13:53.766
zhJev 認為這個問題有 92% 的機會是跟物流相關的
Jev 認為這個問題有 92% 的機會是跟物流相關的
13:53.766–13:55.000
zh所以說，好
所以說，好
13:55.033–13:58.333
zh這個，八成這個問題就是物流的問題這樣
這個，八成這個問題就是物流的問題這樣
13:58.366–14:01.833
zh好，你覺得 Jev 可以幫你很快地去做出這個判斷
好，你覺得 Jev 可以幫你很快地去做出這個判斷
14:02.000–14:05.033
zh然後同時，Jev 也不只是一個單純的分類模型
然後同時，Jev 也不只是一個單純的分類模型
14:05.033–14:07.400
zh它是一個通用的分類模型
它是一個通用的分類模型
14:07.433–14:09.733
zh一個 general-purpose classification model
一個 general-purpose classification model
14:09.733–14:11.066
zh那這句話在講的呢
那這句話在講的呢
14:11.100–14:13.366
zh就是同樣一個 Jev 模型
就是同樣一個 Jev 模型
14:13.400–14:16.566
zh可以解決各式各樣不同的分類問題
可以解決各式各樣不同的分類問題
14:16.566–14:16.666
enOK
OK
14:16.800–14:21.733
zh你不用再額外去訓練它去學習如何分類不同的問題
你不用再額外去訓練它去學習如何分類不同的問題
14:21.900–14:23.966
zh它自己本來就可以靠著它的
它自己本來就可以靠著它的
14:23.966–14:25.866
zh這個世界知識去進行判斷
這個世界知識去進行判斷
14:26.266–14:28.000
zh好，你只要 context
好，你只要 context
14:28.000–14:30.766
zh就是你的問題的狀況，問題的敘述
就是你的問題的狀況，問題的敘述
14:30.800–14:33.766
zh還有這個該給的資訊有給足
還有這個該給的資訊有給足
14:33.800–14:37.066
zh它大部分的情況下都有能力可以自己判斷
它大部分的情況下都有能力可以自己判斷
14:37.100–14:39.833
zh那當然啦，我覺得有些人可能會覺得說
那當然啦，我覺得有些人可能會覺得說
14:39.866–14:41.533
zh這不是理所當然的嗎？
這不是理所當然的嗎？
14:42.166–14:45.933
zh現在哪一個模型不是通用的嘛，對不對？
現在哪一個模型不是通用的嘛，對不對？
14:46.433–14:47.600
zh但你必須要知道
但你必須要知道
14:47.633–14:49.500
zh我覺得通用這件事情
我覺得通用這件事情
14:49.533–14:50.800
zh就是你還是得加在
就是你還是得加在
14:50.833–14:53.166
zhclassification model 這個詞之前
classification model 這個詞之前
14:53.166–14:54.433
zh因為你要知道
因為你要知道
14:54.466–14:57.200
zh在 ChatGPT 時代之前
在 ChatGPT 時代之前
14:57.233–15:00.100
zh我們那時候在講 AI，其實那時候
我們那時候在講 AI，其實那時候
15:00.133–15:01.000
zh甚至不是在講 AI
甚至不是在講 AI
15:01.000–15:03.366
zh在講 machine learning 那個時候
在講 machine learning 那個時候
15:03.400–15:04.433
zh在講 machine learning
在講 machine learning
15:04.466–15:06.766
zh在講機器學習的時候呢
在講機器學習的時候呢
15:06.766–15:09.500
zhclassification，也就是分類問題
classification，也就是分類問題
15:09.500–15:11.533
zh一直以來都是一個大類別
一直以來都是一個大類別
15:11.566–15:16.166
zh很多的機器學習的演算法都是為了分類問題而設計的
很多的機器學習的演算法都是為了分類問題而設計的
15:16.566–15:20.066
zh那當然沒有任何一個演算法是可以像是現在 Jev
那當然沒有任何一個演算法是可以像是現在 Jev
15:20.100–15:24.233
zh像是現在那個 ChatGPT 這麼通用的
像是現在那個 ChatGPT 這麼通用的
15:24.233–15:28.766
zh全部都是針對一個你的特定問題
全部都是針對一個你的特定問題
15:28.800–15:32.666
zh特定領域的特定問題去訓練一個模型出來
特定領域的特定問題去訓練一個模型出來
15:32.700–15:34.400
zh就比如說你們今天一個銀行
就比如說你們今天一個銀行
15:34.400–15:37.966
zh想要大量去判斷你們客戶的違約機率有多高
想要大量去判斷你們客戶的違約機率有多高
15:38.000–15:40.500
zh你就要準備大量的歷史資料
你就要準備大量的歷史資料
15:40.533–15:42.733
zh一筆一筆都清楚地標示了
一筆一筆都清楚地標示了
15:42.766–15:45.166
zh這個客戶他的交易行為如何
這個客戶他的交易行為如何
15:45.166–15:49.433
zh他的個人資料、基本資料，然後他是否有違約
他的個人資料、基本資料，然後他是否有違約
15:49.433–15:51.366
zh具體很多這種過去的資料
具體很多這種過去的資料
15:51.400–15:53.666
zh就拿這些資料去訓練一個模型
就拿這些資料去訓練一個模型
15:53.833–15:55.866
zh隨便看你要挑什麼樣子的演算法
隨便看你要挑什麼樣子的演算法
15:56.233–15:58.800
zh有一些比較統計 based 的演算法
有一些比較統計 based 的演算法
15:58.800–16:01.266
zh也有一些像是神經網路的演算法
也有一些像是神經網路的演算法
16:01.633–16:04.500
zh反正你挑一個演算法，然後就訓練這個模型
反正你挑一個演算法，然後就訓練這個模型
16:05.100–16:07.366
zh那後續你就可以用
那後續你就可以用
16:07.400–16:11.466
zh這個模型去為新的客戶去進行預測
這個模型去為新的客戶去進行預測
16:11.733–16:15.533
zh預測看這個人有沒有違約的機率這樣子
預測看這個人有沒有違約的機率這樣子
16:15.900–16:19.566
zh但很明顯地，同一個模型就只會做這件事情
但很明顯地，同一個模型就只會做這件事情
16:19.866–16:21.666
zh它不能同時也幫你去判斷一封
它不能同時也幫你去判斷一封
16:21.666–16:23.333
zhemail 到底是不是釣魚信件
email 到底是不是釣魚信件
16:23.766–16:28.000
zh它只會做你訓練資料有丟給它的事情這樣子
它只會做你訓練資料有丟給它的事情這樣子
16:28.533–16:30.866
zh所以 classification model 已經是
所以 classification model 已經是
16:30.866–16:32.100
enmachine learning
machine learning
16:32.133–16:34.333
zh這個圈子當中已經很老的一個詞了
這個圈子當中已經很老的一個詞了
16:34.533–16:37.833
zh然後也是大家鑽研很久的一個技術
然後也是大家鑽研很久的一個技術
16:38.166–16:41.133
zh但是 Jev 我覺得可以說就是站在
但是 Jev 我覺得可以說就是站在
16:41.166–16:44.166
zhclassification model 的頂端啦
classification model 的頂端啦
16:44.300–16:46.933
zh它是一個通用的模型
它是一個通用的模型
16:47.200–16:50.466
zh任何問題，你不用訓練，不用找訓練資料
任何問題，你不用訓練，不用找訓練資料
16:50.500–16:52.733
zh丟給它，它就會做了這樣子
丟給它，它就會做了這樣子
16:52.966–16:55.066
zh那當然啦，有一些如果太偏的
那當然啦，有一些如果太偏的
16:55.100–16:57.700
zh會需要大量領域知識的問題
會需要大量領域知識的問題
16:57.700–17:01.366
zhJev 也不一定能夠直接就給出一個很好的答案
Jev 也不一定能夠直接就給出一個很好的答案
17:01.400–17:04.100
zh就比如說，像我們剛剛舉的例子就蠻不錯的嘛
就比如說，像我們剛剛舉的例子就蠻不錯的嘛
17:04.800–17:07.933
zh銀行內部要去判斷一個客人他的違約機率
銀行內部要去判斷一個客人他的違約機率
17:08.366–17:10.700
zh那像這樣子的問題呢，因為網路上
那像這樣子的問題呢，因為網路上
17:10.700–17:13.166
zh它在這個 Jev，我們待會會講到 Jev
它在這個 Jev，我們待會會講到 Jev
17:13.200–17:14.766
zh它是一個 LLM-based
它是一個 LLM-based
17:14.800–17:17.033
zh它有一個大型語言模型的基底
它有一個大型語言模型的基底
17:17.033–17:20.066
zh它一樣是透過網路上的資料訓練出來的模型
它一樣是透過網路上的資料訓練出來的模型
17:20.533–17:23.200
zh網路上的資料你全部都看過
網路上的資料你全部都看過
17:23.233–17:25.333
zh你也不一定可以建立起一個很好的直覺
你也不一定可以建立起一個很好的直覺
17:25.366–17:30.366
zh就是什麼樣子的客人容易違約嘛，對不對？
就是什麼樣子的客人容易違約嘛，對不對？
17:30.366–17:34.866
zh通常還是要從銀行自己內部的資料去學習
通常還是要從銀行自己內部的資料去學習
17:34.866–17:37.933
zh你才可以建立起這邊的直覺
你才可以建立起這邊的直覺
17:38.366–17:41.300
zh那這邊的問題可能 Jev 就沒有辦法解得很好
那這邊的問題可能 Jev 就沒有辦法解得很好
17:41.333–17:43.700
zh但是其實絕大多數的問題啦
但是其實絕大多數的問題啦
17:43.733–17:47.566
zh然後很多也都是已經非常有商業價值的問題
然後很多也都是已經非常有商業價值的問題
17:47.566–17:49.800
zhJev 其實就直接可以解決了
Jev 其實就直接可以解決了
17:49.833–17:52.933
zh待會我們也可以在講應用場景的時候再多講一些
待會我們也可以在講應用場景的時候再多講一些
17:53.100–17:55.033
zh好，那我們剛剛也有大概提到了嘛
好，那我們剛剛也有大概提到了嘛
17:55.066–17:56.466
zh就是這個 Jev 的模型呢
就是這個 Jev 的模型呢
17:56.466–18:00.200
zh它之所以是一個通用的分類模型，它有通用能力呢
它之所以是一個通用的分類模型，它有通用能力呢
18:00.200–18:02.400
zh也是因為它是用一個 LLM
也是因為它是用一個 LLM
18:02.433–18:05.000
zh一個大型語言模型作為基底嘛
一個大型語言模型作為基底嘛
18:05.000–18:05.433
zh對不對？
對不對？
18:05.433–18:06.900
zh那嚴格來說呢
那嚴格來說呢
18:06.933–18:10.600
zh它是用一個預訓練完的 LLM 作為基底
它是用一個預訓練完的 LLM 作為基底
18:10.600–18:12.800
zh但是在後訓練的部分呢
但是在後訓練的部分呢
18:12.800–18:15.400
zh它的做法跟現在典型的 LLM
它的做法跟現在典型的 LLM
18:15.433–18:18.133
zh跟 Agent 就開始有不一樣了
跟 Agent 就開始有不一樣了
18:18.133–18:21.133
zh它是在後訓練的這個階段開始分歧的，OK
它是在後訓練的這個階段開始分歧的，OK
18:21.533–18:23.833
zh我們知道現在這些 LLM 的訓練主要
我們知道現在這些 LLM 的訓練主要
18:23.833–18:26.333
zh就是分成兩個階段嘛，預訓練跟後訓練
就是分成兩個階段嘛，預訓練跟後訓練
18:26.633–18:27.966
zh那預訓練階段
那預訓練階段
18:28.000–18:32.033
zh就是讓這個模型大量地去看網路上的訓練資料
就是讓這個模型大量地去看網路上的訓練資料
18:32.066–18:35.833
zh然後去建立起基本的世界知識跟語言能力
然後去建立起基本的世界知識跟語言能力
18:35.833–18:40.366
zh那後訓練的部分就是建立在這個基本的能力之上
那後訓練的部分就是建立在這個基本的能力之上
18:40.400–18:44.533
zh再去把這個模型形塑成人類想要的樣子
再去把這個模型形塑成人類想要的樣子
18:44.566–18:46.966
zh或者是會使用工具的樣子
或者是會使用工具的樣子
18:47.400–18:49.800
zh所以 Jev 跟一般 LLM 的差別
所以 Jev 跟一般 LLM 的差別
18:49.800–18:53.033
zh就是差在後訓練這一段的訓練方式不同嘛
就是差在後訓練這一段的訓練方式不同嘛
18:53.066–18:53.700
zh對不對？
對不對？
18:53.700–18:56.333
zh我們一樣經過一樣的預訓練
我們一樣經過一樣的預訓練
18:56.333–18:59.566
zh就是做出了一個有世界知識的模型
就是做出了一個有世界知識的模型
19:00.000–19:01.800
zh那假設你今天想要讓
那假設你今天想要讓
19:01.800–19:04.566
zh這個模型後續變成 ChatGPT 的話
這個模型後續變成 ChatGPT 的話
19:04.600–19:08.133
zh你就會先讓它理解怎麼樣子跟人類溝通
你就會先讓它理解怎麼樣子跟人類溝通
19:08.133–19:10.633
zh怎麼樣子一搭一唱變成一個 chatbot
怎麼樣子一搭一唱變成一個 chatbot
19:10.666–19:13.733
zh然後再教它怎麼樣子去使用工具
然後再教它怎麼樣子去使用工具
19:13.766–19:15.800
zh怎麼樣去解數學題目
怎麼樣去解數學題目
19:15.833–19:20.800
zh怎麼樣子去解決一個很長時間的 coding 題目等等的
怎麼樣子去解決一個很長時間的 coding 題目等等的
19:20.800–19:22.333
zh好，慢慢訓練這些事情
好，慢慢訓練這些事情
19:22.366–19:24.500
zh然後它就變成了那個 GPT-6。好
然後它就變成了那個 GPT-6。好
19:24.500–19:28.866
zh那如果你是想要把它變成 Jev 這樣子的模型的話呢
那如果你是想要把它變成 Jev 這樣子的模型的話呢
19:28.900–19:32.566
zh你在後訓練的過程中就不要教它怎麼吐文字了
你在後訓練的過程中就不要教它怎麼吐文字了
19:32.566–19:34.800
zh不要教它給出完整的回答了
不要教它給出完整的回答了
19:34.833–19:37.666
zh就直接教它怎麼吐一個機率分布就好了
就直接教它怎麼吐一個機率分布就好了
19:37.666–19:40.766
zh就基於你的問題，你就是只能吐一個機率分布，OK
就基於你的問題，你就是只能吐一個機率分布，OK
19:41.066–19:44.566
zh就是把它硬是變成一個單純的選擇機器
就是把它硬是變成一個單純的選擇機器
19:44.733–19:46.466
zh大概念基本上就是這樣子啦
大概念基本上就是這樣子啦
19:46.600–19:49.700
zh好，但如果你想要再更深一步了解的話呢
好，但如果你想要再更深一步了解的話呢
19:49.733–19:52.866
zh我們接下來就來聊一些技術細節
我們接下來就來聊一些技術細節
19:52.866–19:54.900
zh那如果你不想聽的話也沒關係
那如果你不想聽的話也沒關係
19:54.933–19:57.700
zh就是本集資訊欄都有時間軸
就是本集資訊欄都有時間軸
19:57.700–20:00.833
zh這個 part 會比較細一點，比較技術一點
這個 part 會比較細一點，比較技術一點
20:00.866–20:03.100
zh你就直接跳到下一個 part 就 OK 了
你就直接跳到下一個 part 就 OK 了
20:03.100–20:06.066
zh反正我們知道這個後訓練的部分呢
反正我們知道這個後訓練的部分呢
20:06.100–20:09.433
zh也是有分很多不同階段的嘛，對不對？
也是有分很多不同階段的嘛，對不對？
20:09.666–20:12.366
zh有這個 supervised fine-tuning 啊
有這個 supervised fine-tuning 啊
20:12.400–20:13.833
zh有 RLHF 啊等等的
有 RLHF 啊等等的
20:14.033–20:16.666
zh每個階段都有它的目的
每個階段都有它的目的
20:17.100–20:18.100
zh像是 RLHF
像是 RLHF
20:18.100–20:22.166
enReinforcement Learning from Human Feedback
Reinforcement Learning from Human Feedback
20:22.200–20:24.233
zh它在做的就是想辦法讓
它在做的就是想辦法讓
20:24.233–20:26.800
zh這個模型的回答更跟人類對齊
這個模型的回答更跟人類對齊
20:26.833–20:31.800
zh就是說更自然，社會接受度更高，然後更安全
就是說更自然，社會接受度更高，然後更安全
20:31.800–20:36.900
zh給出大家真的會比較喜歡的一個回答
給出大家真的會比較喜歡的一個回答
20:36.933–20:39.633
zh另外一個 part 也是很有名的
另外一個 part 也是很有名的
20:39.633–20:42.600
zh是最近這兩年興起的，叫做 RLVR
是最近這兩年興起的，叫做 RLVR
20:42.633–20:47.266
enReinforcement Learning with Verifiable Rewards
Reinforcement Learning with Verifiable Rewards
20:47.733–20:52.166
zh這邊在做的就是透過讓模型去解決像數學題
這邊在做的就是透過讓模型去解決像數學題
20:52.166–20:54.166
zh像 coding 的問題
像 coding 的問題
20:54.166–20:59.533
zh像是一些 puzzle，像是一些 tool use 的 task
像是一些 puzzle，像是一些 tool use 的 task
20:59.566–21:02.266
zh這種有明確定義的解答
這種有明確定義的解答
21:02.266–21:05.666
zh明確可被驗證的結果的問題
明確可被驗證的結果的問題
21:05.700–21:13.066
zh去訓練它的思考的能力，去嘗試解決方法的能力
去訓練它的思考的能力，去嘗試解決方法的能力
21:13.100–21:17.366
zh使用工具的能力，驗證答案的能力等等
使用工具的能力，驗證答案的能力等等
21:17.366–21:20.900
zh這個其實就是很多人在過去這兩年講到
這個其實就是很多人在過去這兩年講到
21:20.933–21:23.400
zhRL 的時候特別在指的東西
RL 的時候特別在指的東西
21:23.400–21:26.033
zh就是在講 RLVR
就是在講 RLVR
21:26.066–21:31.266
zhTypeSafe 他們基本上不做 RLVR，也不做 RLHF
TypeSafe 他們基本上不做 RLVR，也不做 RLHF
21:31.300–21:33.633
zh他們在做的是一種新的後訓練
他們在做的是一種新的後訓練
21:33.666–21:37.433
zh他們有發明一個新的詞，叫做 RLCD
他們有發明一個新的詞，叫做 RLCD
21:37.433–21:43.033
enReinforcement Learning for Calibrated Decisions
Reinforcement Learning for Calibrated Decisions
21:43.033–21:47.000
zh的中文是叫做「校準決策」
的中文是叫做「校準決策」
21:47.000–21:49.600
zh它的意思就是代表說
它的意思就是代表說
21:49.600–21:52.333
zh它這個模型必須要能夠給出
它這個模型必須要能夠給出
21:52.366–21:55.433
zh真的很符合現實的機率分布
真的很符合現實的機率分布
21:55.433–21:56.666
zh白話來說
白話來說
21:56.700–22:02.266
zh它並不是只是要求這個模型最後有選到對的分類
它並不是只是要求這個模型最後有選到對的分類
22:02.300–22:04.066
zh選到對的選項而已
選到對的選項而已
22:04.100–22:09.266
zh它還會要求這個模型給出的機率分布是符合事實的
它還會要求這個模型給出的機率分布是符合事實的
22:09.400–22:11.000
zh應該說盡量接近事實
應該說盡量接近事實
22:11.466–22:15.066
zh因為真實世界中的很多問題也不是非黑即白的
因為真實世界中的很多問題也不是非黑即白的
22:15.300–22:18.433
zh同樣的一件事情，同樣的一個回覆
同樣的一件事情，同樣的一個回覆
22:18.466–22:22.466
zh其實在各種不同的狀況之下也會有不一樣的解讀
其實在各種不同的狀況之下也會有不一樣的解讀
22:22.466–22:26.133
zh然後有時候也真的就是有一些機率成分在裡面嘛
然後有時候也真的就是有一些機率成分在裡面嘛
22:26.166–22:27.000
zh對不對？
對不對？
22:27.333–22:28.366
zh就比如說
就比如說
22:28.366–22:31.800
zh你今天的任務是判斷餐廳 Google
你今天的任務是判斷餐廳 Google
22:31.833–22:36.033
zh評論下面的留言到底是正面的還是負面的
評論下面的留言到底是正面的還是負面的
22:36.033–22:42.100
zh假設有一句留言是寫說：「這間餐廳真的很扯」有寫到這句話
假設有一句留言是寫說：「這間餐廳真的很扯」有寫到這句話
22:42.500–22:44.500
zh那可能 80% 的情況之下
那可能 80% 的情況之下
22:44.533–22:47.700
zh這個人是覺得這間餐廳很爛，對不對？
這個人是覺得這間餐廳很爛，對不對？
22:48.100–22:50.200
zh但其實同樣一句話也是可以
但其實同樣一句話也是可以
22:50.233–22:52.000
zh就是比較少人這樣用啦
就是比較少人這樣用啦
22:52.000–22:54.366
zh但是可能 20% 的狀況之下
但是可能 20% 的狀況之下
22:54.400–22:57.633
zh有些人也是會把這句話拿來當稱讚嘛
有些人也是會把這句話拿來當稱讚嘛
22:57.666–22:58.100
zh對不對？
對不對？
22:58.100–23:00.733
zh他可能說：「真的很扯 竟然做出這麼好吃的 burger！」嘛
他可能說：「真的很扯 竟然做出這麼好吃的 burger！」嘛
23:00.766–23:01.233
zh對不對？
對不對？
23:01.633–23:05.266
zh所以 TypeSafe AI 透過 RLCD 的訓練目標
所以 TypeSafe AI 透過 RLCD 的訓練目標
23:05.300–23:10.400
zh就是希望讓 Jev 遇到「這個餐廳真的很扯」這句話的時候呢
就是希望讓 Jev 遇到「這個餐廳真的很扯」這句話的時候呢
23:10.400–23:14.866
zh它會吐出 80% 負面這樣子的一個答案
它會吐出 80% 負面這樣子的一個答案
23:14.900–23:18.033
zh那具體來說，這個 RLCD 究竟是怎麼做的？
那具體來說，這個 RLCD 究竟是怎麼做的？
23:18.066–23:19.633
zhTypeSafe AI 沒有講
TypeSafe AI 沒有講
23:19.900–23:21.900
zh這個算是他們的 Secret Sauce
這個算是他們的 Secret Sauce
23:21.900–23:24.266
zh他們的商業機密的部分啦，對不對？
他們的商業機密的部分啦，對不對？
23:25.466–23:29.900
zhJev 的整個模型，他們有講的東西確實沒有很多
Jev 的整個模型，他們有講的東西確實沒有很多
23:29.933–23:31.733
zh它是一個閉源模型
它是一個閉源模型
23:32.400–23:35.333
zhJev，他們今天 TypeSafe 也就只有釋出
Jev，他們今天 TypeSafe 也就只有釋出
23:35.333–23:37.533
zhJev 的這個 API 的 endpoint
Jev 的這個 API 的 endpoint
23:37.566–23:41.200
zh所以說你能做的就是看到 Jev 這個 API
所以說你能做的就是看到 Jev 這個 API
23:41.233–23:43.900
zh你的 input、output 是什麼
你的 input、output 是什麼
23:43.900–23:45.066
zh就這樣子而已
就這樣子而已
23:45.066–23:47.866
zh你實在不知道這個模型它的架構是什麼
你實在不知道這個模型它的架構是什麼
23:47.900–23:49.733
zh然後它經過什麼樣子的訓練
然後它經過什麼樣子的訓練
23:49.733–23:52.866
zh以及甚至它的 pure output 是什麼
以及甚至它的 pure output 是什麼
23:52.866–23:54.566
zh你其實也不太知道
你其實也不太知道
23:54.600–23:57.466
zh但在所有的商業機密當中呢
但在所有的商業機密當中呢
23:57.466–24:01.100
zh最重要的，我覺得是 Data 跟 RLCD
最重要的，我覺得是 Data 跟 RLCD
24:01.400–24:03.833
zh其實 Diogo 他本人也有大概講到這一點
其實 Diogo 他本人也有大概講到這一點
24:04.633–24:08.233
zh這個模型本身的架構其實沒有到非常重要啦
這個模型本身的架構其實沒有到非常重要啦
24:08.333–24:11.800
zh雖然說他們確實說 Jev 的架構有一些更新
雖然說他們確實說 Jev 的架構有一些更新
24:12.233–24:14.866
zh它並不是真的就是跟現在的
它並不是真的就是跟現在的
24:14.866–24:17.100
zhLLM 完全長得一模一樣
LLM 完全長得一模一樣
24:17.100–24:19.033
zh只是訓練方式不一樣而已
只是訓練方式不一樣而已
24:19.033–24:19.500
zh並沒有
並沒有
24:19.766–24:21.900
zh它架構上也是有一些創新
它架構上也是有一些創新
24:21.933–24:24.700
zh但那個不是 Jev 它最厲害的地方
但那個不是 Jev 它最厲害的地方
24:25.166–24:29.166
zhJev 它最厲害的地方是它的 RLCD 的 recipe
Jev 它最厲害的地方是它的 RLCD 的 recipe
24:29.200–24:32.333
zh它整個食譜跟它的訓練資料這樣子
它整個食譜跟它的訓練資料這樣子
24:32.866–24:34.000
zh不知道他們怎麼搞的
不知道他們怎麼搞的
24:34.266–24:37.533
zh好，那這邊畢竟全部都是一個謎
好，那這邊畢竟全部都是一個謎
24:37.566–24:39.333
zh所以我們就也不講太多了
所以我們就也不講太多了
24:39.366–24:41.000
zh就也沒有意義嘛，對不對？
就也沒有意義嘛，對不對？
24:41.033–24:45.700
zh好，但針對這個模型的運作原理的技術細節
好，但針對這個模型的運作原理的技術細節
24:45.733–24:48.300
zh我這邊可以給出一些我自己的猜測啦
我這邊可以給出一些我自己的猜測啦
24:48.300–24:50.200
zh那當然我的猜測不一定對
那當然我的猜測不一定對
24:50.200–24:53.066
zh雖然說我去網路上，後來我去網路上看
雖然說我去網路上，後來我去網路上看
24:53.066–24:55.733
zh我發現也蠻多人跟我的想法一樣的
我發現也蠻多人跟我的想法一樣的
24:55.766–24:57.266
zh但是它不一定對啦
但是它不一定對啦
24:57.300–25:00.900
zh但是它，我覺得是對於大家建立起這個
但是它，我覺得是對於大家建立起這個
25:00.933–25:03.133
zh這樣子的模型怎麼運作
這樣子的模型怎麼運作
25:03.133–25:05.566
zh我們的直覺是有點幫助的啦
我們的直覺是有點幫助的啦
25:05.566–25:08.666
zh因為大方向應該就是這樣子
因為大方向應該就是這樣子
25:09.033–25:10.966
zh我們知道一些大方向的東西
我們知道一些大方向的東西
25:11.233–25:18.366
zh首先我們知道的是它這個 API 的 input output 的 shape，跟它的這些字數的限制等等
首先我們知道的是它這個 API 的 input output 的 shape，跟它的這些字數的限制等等
25:18.766–25:21.066
zh像是它的這個 input
像是它的這個 input
25:21.066–25:24.500
zh基本上你就是放你的問題的敘述
基本上你就是放你的問題的敘述
25:24.533–25:27.400
zh應該說它是叫做 state 啦
應該說它是叫做 state 啦
25:28.166–25:31.000
zh你現在的情況，你的前後文是什麼
你現在的情況，你的前後文是什麼
25:31.333–25:34.066
zh你現在在解決的是什麼問題
你現在在解決的是什麼問題
25:34.800–25:37.733
zh還有 question 的部分
還有 question 的部分
25:38.166–25:41.633
zhquestion 就是你要 Jev 去回答的問題
question 就是你要 Jev 去回答的問題
25:41.833–25:42.466
enOK
OK
25:42.466–25:47.200
zh那這邊每個問題就是除了有問題本身的敘述以外呢
那這邊每個問題就是除了有問題本身的敘述以外呢
25:47.233–25:51.400
zh也會有那個問題有哪些選項可以選，OK
也會有那個問題有哪些選項可以選，OK
25:51.433–25:52.400
zh那選項
那選項
25:52.433–25:55.600
zh每一題的選項最多是 255 個
每一題的選項最多是 255 個
25:55.633–25:58.800
zh然後問題的數量本身沒有限制
然後問題的數量本身沒有限制
25:58.833–26:00.466
zh但是它有總 token 的限制
但是它有總 token 的限制
26:00.466–26:02.100
zh總 token 的限制有兩個喔
總 token 的限制有兩個喔
26:02.133–26:04.666
zh第一個是你整個 API request
第一個是你整個 API request
26:04.700–26:07.633
zh就是你的 state 加你的所有問題
就是你的 state 加你的所有問題
26:07.666–26:09.966
zh加你的所有選項不可以超過
加你的所有選項不可以超過
26:09.966–26:11.766
zh64K 的 token
64K 的 token
26:11.800–26:12.700
zh然後
然後
26:12.733–26:15.400
zh你的 state 加任意一個問題
你的 state 加任意一個問題
26:15.400–26:17.566
zh加那個問題的所有選項
加那個問題的所有選項
26:17.600–26:20.000
zh不可以超過 32K 的 token
不可以超過 32K 的 token
26:20.033–26:22.566
zh這些數字一看就知道
這些數字一看就知道
26:22.600–26:27.200
zh不是 PM 隨便亂定的，它都是有意義的
不是 PM 隨便亂定的，它都是有意義的
26:27.200–26:32.800
zh32K 你一看到就知道應該是跟 context length 有點關係
32K 你一看到就知道應該是跟 context length 有點關係
26:32.833–26:37.366
zh然後 255、256 − 1，2 的八次方 − 1
然後 255、256 − 1，2 的八次方 − 1
26:37.400–26:41.533
zh很明顯也是一個技術上限制的數字
很明顯也是一個技術上限制的數字
26:41.566–26:44.233
zh這邊就是我們的第一個線索
這邊就是我們的第一個線索
26:44.466–26:48.333
zh還有另外一個線索，TypeSafe 的 CEO Diogo
還有另外一個線索，TypeSafe 的 CEO Diogo
26:48.333–26:50.200
zh他會在 Hacker News
他會在 Hacker News
26:50.233–26:53.066
zh就是一個技術論壇
就是一個技術論壇
26:53.066–26:57.700
zh他會在這個技術論壇上回一些留言，他還蠻活躍的
他會在這個技術論壇上回一些留言，他還蠻活躍的
26:57.733–26:59.833
zh好，那他在回覆當中
好，那他在回覆當中
26:59.833–27:00.900
zh他有一次就有提到
他有一次就有提到
27:00.933–27:02.600
zh就是說確認了一件事情
就是說確認了一件事情
27:02.633–27:05.400
zh說這個 Jev 的運作原理
說這個 Jev 的運作原理
27:05.433–27:07.566
zh就是把 LLM 產生的這個
就是把 LLM 產生的這個
27:07.600–27:10.600
entoken probability distribution
token probability distribution
27:10.600–27:13.200
zh換成是針對目前問題的選項的
換成是針對目前問題的選項的
27:13.233–27:16.033
zhprobability distribution。好
probability distribution。好
27:16.033–27:19.400
zh其實它的核心概念是這樣子。好
其實它的核心概念是這樣子。好
27:19.433–27:23.366
zh這個是 CEO 認可的講法。那這什麼意思呢？
這個是 CEO 認可的講法。那這什麼意思呢？
27:23.366–27:25.600
zh首先我們知道現在這些 LLM
首先我們知道現在這些 LLM
27:25.600–27:27.700
zh我們看到它們的產出都是一個
我們看到它們的產出都是一個
27:27.733–27:29.766
zhtoken 一個 token 吐出來嘛
token 一個 token 吐出來嘛
27:29.766–27:30.333
zh對不對？
對不對？
27:30.366–27:32.633
zh但它其實並不是算完之後就
但它其實並不是算完之後就
27:32.633–27:34.800
zh直接跳出一個 token 這樣
直接跳出一個 token 這樣
27:35.366–27:39.433
zh它其實實際它吐出的產出是一個機率分布，OK
它其實實際它吐出的產出是一個機率分布，OK
27:39.700–27:42.933
zh每一個 token 背後它都是先吐出一個機率分布
每一個 token 背後它都是先吐出一個機率分布
27:42.966–27:45.933
zh再從這個機率分布當中選出一個 token
再從這個機率分布當中選出一個 token
27:45.933–27:50.166
zh這個機率分布就是橫跨它的整個 vocabulary
這個機率分布就是橫跨它的整個 vocabulary
27:50.200–27:53.166
zh就是它能夠吐出的所有 token 當中
就是它能夠吐出的所有 token 當中
27:53.200–27:58.366
zh每一個 token 作為下一個 token 的機率有多高
每一個 token 作為下一個 token 的機率有多高
27:58.400–28:01.933
zh那它不一定每次都選機率最高，有時候選機率第二
那它不一定每次都選機率最高，有時候選機率第二
28:01.933–28:05.133
zh有時候選機率第三的，看你的 temperature 調整
有時候選機率第三的，看你的 temperature 調整
28:05.166–28:07.833
zh但反正我們今天就是一直在從 LLM
但反正我們今天就是一直在從 LLM
28:07.833–28:10.900
zh吐出的機率分布當中選一個 token 這樣
吐出的機率分布當中選一個 token 這樣
28:11.133–28:14.033
zh那這樣 Jev 的概念其實也沒有差很多嘛
那這樣 Jev 的概念其實也沒有差很多嘛
28:14.033–28:14.800
zh對不對？
對不對？
28:14.900–28:16.733
zh它也是吐機率分布啊，對不對？
它也是吐機率分布啊，對不對？
28:17.100–28:20.333
zh只不過它的機率分布不是它所有能產生的
只不過它的機率分布不是它所有能產生的
28:20.366–28:22.233
zhtoken 之間的機率分布
token 之間的機率分布
28:22.233–28:23.633
zh它根本不會產生 token
它根本不會產生 token
28:23.666–28:28.366
zh它是針對目前這個問題的選項的機率分布，OK
它是針對目前這個問題的選項的機率分布，OK
28:28.833–28:30.866
zh那但這邊就有個問題啦，就每次
那但這邊就有個問題啦，就每次
28:30.900–28:33.066
zh因為它是個通用模型嘛，對不對？
因為它是個通用模型嘛，對不對？
28:33.333–28:36.833
zh它每次的選項數量可能不同啊，針對不同問題
它每次的選項數量可能不同啊，針對不同問題
28:36.866–28:38.833
zh它可能有時候是非題就兩個選項
它可能有時候是非題就兩個選項
28:38.866–28:42.500
zh有時候多選題，不是多選啦，就是選擇題
有時候多選題，不是多選啦，就是選擇題
28:42.500–28:44.466
zh可能十個選項之類的都有可能嘛
可能十個選項之類的都有可能嘛
28:44.466–28:45.033
zh對不對？
對不對？
28:45.066–28:48.100
zh那這邊就是，它怎麼做的呢？
那這邊就是，它怎麼做的呢？
28:48.400–28:51.400
zh這部分就開始進入我猜測的部分了
這部分就開始進入我猜測的部分了
28:51.666–28:55.933
zh我猜測它的做法，我後來發現也蠻多人這樣講的
我猜測它的做法，我後來發現也蠻多人這樣講的
28:55.966–28:59.666
zh就是它每次的 output 就是固定是一個
就是它每次的 output 就是固定是一個
28:59.666–29:03.266
zh255 個 element 的 classifier head
255 個 element 的 classifier head
29:03.266–29:04.366
zh簡單來說
簡單來說
29:04.366–29:09.433
zh它每次就是吐出 255 個 element 的一個機率分布
它每次就是吐出 255 個 element 的一個機率分布
29:09.466–29:13.200
zh每一個 element，每一個元素，它的機率是幾%
每一個 element，每一個元素，它的機率是幾%
29:13.233–29:15.366
zh每次一定都會有 255 個
每次一定都會有 255 個
29:15.466–29:19.100
zh那假設今天的問題只有五個選項的話
那假設今天的問題只有五個選項的話
29:19.133–29:22.666
zh那這五個選項就分別對應到那
那這五個選項就分別對應到那
29:22.700–29:26.000
zh255 個 output 中的前五個
255 個 output 中的前五個
29:26.000–29:29.133
zh好，那第六個開始後面的就全部都不要看
好，那第六個開始後面的就全部都不要看
29:29.166–29:30.800
zh要嘛就是全部都零啊
要嘛就是全部都零啊
29:30.833–29:32.333
zh要嘛就全部 mask 住啊
要嘛就全部 mask 住啊
29:32.333–29:34.633
zh就反正那邊都不重要，就不用看它們
就反正那邊都不重要，就不用看它們
29:34.666–29:38.700
zh好，那就它一樣會吐出這 255 個的機率分布
好，那就它一樣會吐出這 255 個的機率分布
29:38.933–29:41.966
zh好，其實嚴格來說啦，好，這邊又更技術一點
好，其實嚴格來說啦，好，這邊又更技術一點
29:42.000–29:43.800
zh但就是它在吐的是 logits
但就是它在吐的是 logits
29:43.833–29:50.066
zh那這些 logits 後續才會透過一個叫做 softmax 的 function 把它換成機率分布這樣子
那這些 logits 後續才會透過一個叫做 softmax 的 function 把它換成機率分布這樣子
29:50.066–29:53.033
zh但反正它今天能做到的事情就是
但反正它今天能做到的事情就是
29:53.066–29:55.633
zh吐出 255 個全部的 logits
吐出 255 個全部的 logits
29:55.666–29:57.100
zh但只用前 5 個
但只用前 5 個
29:57.100–30:00.266
zh然後只拿前 5 個去算一個機率分布
然後只拿前 5 個去算一個機率分布
30:00.266–30:02.766
zh就是只拿前 5 個去丟那個 softmax
就是只拿前 5 個去丟那個 softmax
30:02.800–30:05.400
zh然後算出每個的機率是多少
然後算出每個的機率是多少
30:05.433–30:06.566
zh然後加起來會是 100%
然後加起來會是 100%
30:06.566–30:10.600
zh所以你有點可以把它想像成是說一般的 LLM
所以你有點可以把它想像成是說一般的 LLM
30:10.633–30:14.300
zh它在吐的這個機率分布是所有 token 的選項嘛
它在吐的這個機率分布是所有 token 的選項嘛
30:14.333–30:17.633
zh那它可能，當然每個 LLM 的這個 vocabulary
那它可能，當然每個 LLM 的這個 vocabulary
30:17.666–30:19.700
zh就是總字彙數量也不太一樣
就是總字彙數量也不太一樣
30:19.733–30:23.366
zh但可能假設你今天這個 LLM 的總字彙數是 10 萬個
但可能假設你今天這個 LLM 的總字彙數是 10 萬個
30:23.400–30:27.466
zh你總共可以吐出 10 萬個可能的 token。好
你總共可以吐出 10 萬個可能的 token。好
30:27.466–30:33.833
zh那你就是每次，你都是產出一個 10 萬個 token 之間的機率分布這樣子。好
那你就是每次，你都是產出一個 10 萬個 token 之間的機率分布這樣子。好
30:33.833–30:36.466
zh但是這個 Jev 它的 token 總數呢
但是這個 Jev 它的 token 總數呢
30:36.500–30:40.300
zh它的詞彙總數你可以把它想像成是就只有 255 個
它的詞彙總數你可以把它想像成是就只有 255 個
30:40.300–30:44.366
zhOK，每次這些詞彙都會代表不一樣的東西
OK，每次這些詞彙都會代表不一樣的東西
30:44.400–30:47.366
zh但就是針對你目前問題的選項是什麼
但就是針對你目前問題的選項是什麼
30:47.366–30:48.400
zh它就代表什麼
它就代表什麼
30:48.433–30:50.666
zh然後我們要做的也不是只挑選
然後我們要做的也不是只挑選
30:50.666–30:52.500
zh一個 token 出來就好了
一個 token 出來就好了
30:52.900–30:57.533
zh我們要做的是把所有的選項算出一個機率分布
我們要做的是把所有的選項算出一個機率分布
30:57.866–31:02.366
zh那在這個機率分布當中呢，你可以再算出說誰最高
那在這個機率分布當中呢，你可以再算出說誰最高
31:02.400–31:05.100
zh然後誰就是成為你目前的 choice
然後誰就是成為你目前的 choice
31:05.100–31:09.600
zh同時你也可以算整個機率分布的信心程度
同時你也可以算整個機率分布的信心程度
31:10.000–31:12.333
zh如果這個機率分布超偏某個問題的話
如果這個機率分布超偏某個問題的話
31:12.333–31:13.966
zh就代表你的信心程度很高
就代表你的信心程度很高
31:14.600–31:16.400
zh如果是比較平均一點點
如果是比較平均一點點
31:16.433–31:18.900
zh就代表你的信心程度稍微低一點
就代表你的信心程度稍微低一點
31:19.733–31:21.900
zh所以他們 API 也會回傳
所以他們 API 也會回傳
31:22.800–31:24.400
zh這些信心程度等等
這些信心程度等等
31:24.566–31:27.966
zh但這些都是透過原本的機率分布算出來的
但這些都是透過原本的機率分布算出來的
31:28.033–31:30.800
zh它最終的 output 就是一個機率分布
它最終的 output 就是一個機率分布
31:30.866–31:34.266
zh然後你一個 API request 裡面包了很多不同的問題
然後你一個 API request 裡面包了很多不同的問題
31:34.300–31:36.000
zh一次傳過去嘛，對不對？
一次傳過去嘛，對不對？
31:36.500–31:38.766
zh我猜他們在做的事情呢
我猜他們在做的事情呢
31:38.766–31:41.633
zh他們是一個個問題會獨立評估
他們是一個個問題會獨立評估
31:41.866–31:44.366
zh這個其實不是我猜啦，這個是官方他們直接有說
這個其實不是我猜啦，這個是官方他們直接有說
31:44.533–31:47.200
zh他們說每個問題他們是獨立評估的
他們說每個問題他們是獨立評估的
31:47.200–31:48.866
zh但是平行進行評估的
但是平行進行評估的
31:49.100–31:51.400
zh所以說你增加你的問題數量
所以說你增加你的問題數量
31:51.433–31:53.533
zh不會增加延遲的時間太多
不會增加延遲的時間太多
31:53.966–31:56.166
zhOK，好，那他只有講到這邊啦
OK，好，那他只有講到這邊啦
31:56.166–31:57.733
zh但是具體怎麼做呢？
但是具體怎麼做呢？
31:57.800–32:00.333
zh我覺得他應該暗示得蠻清楚的
我覺得他應該暗示得蠻清楚的
32:00.333–32:02.966
zh就是配合我們剛剛發現的另外一個線索
就是配合我們剛剛發現的另外一個線索
32:03.000–32:06.500
zh就是你的 state 加任意一個問題加選項
就是你的 state 加任意一個問題加選項
32:06.500–32:08.366
zh不能超過 32K token
不能超過 32K token
32:08.400–32:10.766
zh所以說這個 32K token 應該
所以說這個 32K token 應該
32:10.766–32:13.400
zh就是它的 context length，32K
就是它的 context length，32K
32:13.800–32:18.133
zh然後你問的所有問題會一個一個被分開拆出來
然後你問的所有問題會一個一個被分開拆出來
32:18.166–32:22.166
zh然後再包成一個 batch 進行一次的推論
然後再包成一個 batch 進行一次的推論
32:22.200–32:25.233
zh一次的 forward pass 這樣子
一次的 forward pass 這樣子
32:25.233–32:30.400
zhOK，就有點像是說，就一樣你今天用傳統的 LLM
OK，就有點像是說，就一樣你今天用傳統的 LLM
32:30.433–32:36.466
zh然後你可能你的 API 你 send 一個 request 給這個 NVIDIA 的機櫃
然後你可能你的 API 你 send 一個 request 給這個 NVIDIA 的機櫃
32:36.466–32:39.333
zh然後還有另外一個使用者的 request
然後還有另外一個使用者的 request
32:39.366–32:42.166
zh然後這個 NVIDIA 機櫃會把你們兩個的 request
然後這個 NVIDIA 機櫃會把你們兩個的 request
32:42.166–32:44.700
zh跟很多其他人的 request 包在一起
跟很多其他人的 request 包在一起
32:44.733–32:46.166
zh一次進行推論
一次進行推論
32:46.200–32:49.433
zh然後一直產出很多個 token，是一樣的道理
然後一直產出很多個 token，是一樣的道理
32:49.433–32:51.133
zh只是他們這邊在做的
只是他們這邊在做的
32:51.133–32:54.366
zh就是你的每個問題會被分開拆出來這樣子
就是你的每個問題會被分開拆出來這樣子
32:54.366–32:56.900
zh所以我講了這麼多，我只是想幫你建立一個直覺
所以我講了這麼多，我只是想幫你建立一個直覺
32:56.900–32:59.900
zh就是你今天看到 Jev 回答一個問題
就是你今天看到 Jev 回答一個問題
32:59.933–33:03.933
zh其實它在做的運算其實是很接近
其實它在做的運算其實是很接近
33:03.933–33:07.800
zh就是一個 LLM 產生一個 token
就是一個 LLM 產生一個 token
33:07.800–33:10.800
zhOK，就這樣而已，就它吐一個 token 出來
OK，就這樣而已，就它吐一個 token 出來
33:10.800–33:12.500
zh就完成了它所有的任務
就完成了它所有的任務
33:12.633–33:15.500
zh從這邊你就可以了解到
從這邊你就可以了解到
33:15.500–33:17.066
zh為什麼 Jev
為什麼 Jev
33:17.066–33:22.533
zh它可以有這麼大量的速度的提升跟成本的節省
它可以有這麼大量的速度的提升跟成本的節省
33:22.566–33:25.533
zh快 200 倍，省 400 倍的成本
快 200 倍，省 400 倍的成本
33:25.800–33:26.233
zh為什麼呢？
為什麼呢？
33:26.466–33:27.800
zh因為它只吐一個 token 啊
因為它只吐一個 token 啊
33:29.166–33:31.600
zh它只跑一次啊，就結束啦
它只跑一次啊，就結束啦
33:32.033–33:35.333
zh那一般的 LLM，如果給出一個 2000 字的回答
那一般的 LLM，如果給出一個 2000 字的回答
33:35.333–33:37.033
zh它就是要跑 2000 次啊
它就是要跑 2000 次啊
33:37.233–33:38.300
zh它就要跑 2000 個 token
它就要跑 2000 個 token
33:38.333–33:39.900
zh2000 個 forward pass 嘛，對不對？
2000 個 forward pass 嘛，對不對？
33:40.333–33:42.966
zh整個權重要算過 2000 遍
整個權重要算過 2000 遍
33:43.133–33:46.033
zh那這個大方向的直覺，我覺得是不太可能會錯的啦
那這個大方向的直覺，我覺得是不太可能會錯的啦
33:46.200–33:49.133
zhOK，就很多也是他們官方已經間接承認的東西
OK，就很多也是他們官方已經間接承認的東西
33:49.533–33:52.633
zh我覺得我這邊比較猜測我自己的想法的部分
我覺得我這邊比較猜測我自己的想法的部分
33:53.000–33:58.800
zh只是在於它 255 個 classifier head 的 implementation
只是在於它 255 個 classifier head 的 implementation
33:58.833–34:00.766
zh那些細節的部分啦
那些細節的部分啦
34:00.866–34:02.900
zh但這個直覺是不會錯的
但這個直覺是不會錯的
34:03.000–34:04.733
zh你就是可以這樣子去思考 Jev
你就是可以這樣子去思考 Jev
34:04.933–34:08.633
zh那你現在完整理解了 Jev 的運作原理之後呢
那你現在完整理解了 Jev 的運作原理之後呢
34:08.666–34:12.833
zh你再回來看一個 Jev 模型跟 LLM 模型的差別
你再回來看一個 Jev 模型跟 LLM 模型的差別
34:12.833–34:16.466
zh好，你就可以非常直覺地去理解到說為什麼
好，你就可以非常直覺地去理解到說為什麼
34:16.466–34:19.100
zh這個 TypeSafe AI 會把它稱作
這個 TypeSafe AI 會把它稱作
34:19.100–34:21.300
zh會這樣子去 market 這個模型
會這樣子去 market 這個模型
34:21.333–34:23.366
zh會把它稱作 System 1 模型
會把它稱作 System 1 模型
34:23.400–34:25.666
zh然後會講出那些什麼完全不會
然後會講出那些什麼完全不會
34:25.666–34:28.433
zhhallucinate 之類的一些行銷用語嘛
hallucinate 之類的一些行銷用語嘛
34:28.433–34:29.066
zh對不對？
對不對？
34:29.100–34:32.466
zh首先，它會叫做 System 1 模型呢
首先，它會叫做 System 1 模型呢
34:32.466–34:34.766
zh當然就是一樣是來自於
當然就是一樣是來自於
34:34.800–34:38.466
zh《Thinking, Fast and Slow》這本書
《Thinking, Fast and Slow》這本書
34:38.500–34:44.766
zh他們講說人類的大腦有 System 1 跟 System 2 的這兩種思考系統
他們講說人類的大腦有 System 1 跟 System 2 的這兩種思考系統
34:44.766–34:46.466
zhSystem 1 是直覺腦
System 1 是直覺腦
34:46.466–34:49.333
zh就是你直接想也不想針對這個問題
就是你直接想也不想針對這個問題
34:49.366–34:51.333
zh反射性地直接給出答案
反射性地直接給出答案
34:51.766–34:54.633
zh那 System 2 就是思考計畫腦
那 System 2 就是思考計畫腦
34:54.666–34:55.666
zh就是針對
就是針對
34:55.700–35:00.433
zh這個問題你會花很多時間去認真地一步一步地思考
這個問題你會花很多時間去認真地一步一步地思考
35:00.433–35:03.433
zh去做計畫，去安排，然後再去回答
去做計畫，去安排，然後再去回答
35:03.466–35:05.966
zh一般的 LLM 是 System 2
一般的 LLM 是 System 2
35:05.966–35:10.033
zh應該說現在絕大多數的 LLM 都是會思考的
應該說現在絕大多數的 LLM 都是會思考的
35:10.033–35:11.700
zh在回答問題之前
在回答問題之前
35:12.000–35:14.933
zh好，那 Jev 它就是完全不會思考
好，那 Jev 它就是完全不會思考
35:14.966–35:17.033
zh它反射性地針對這個問題
它反射性地針對這個問題
35:17.033–35:20.666
zh直接給出一個答案的模型，所以說是 System 1
直接給出一個答案的模型，所以說是 System 1
35:20.700–35:23.266
zh那我知道有些人會說，欸不對啊
那我知道有些人會說，欸不對啊
35:23.266–35:25.833
zh這其實不久之前，大概兩年之前
這其實不久之前，大概兩年之前
35:25.833–35:29.466
zh我們才在講說當時的 LLM 都是 System 1
我們才在講說當時的 LLM 都是 System 1
35:29.500–35:33.900
zh然後後來才慢慢因為 o1 的出現，模型開始會思考
然後後來才慢慢因為 o1 的出現，模型開始會思考
35:33.933–35:35.966
zh才開始變成 System 2 嘛，對不對？
才開始變成 System 2 嘛，對不對？
35:35.966–35:38.766
zh那不是原本的模型也是 System 1 嘛，對不對？
那不是原本的模型也是 System 1 嘛，對不對？
35:39.166–35:40.300
zh是不是原本的模型
是不是原本的模型
35:40.300–35:42.500
zh其實也很接近 Jev 可以做到的事情？
其實也很接近 Jev 可以做到的事情？
35:42.900–35:44.433
zh其實嚴格來說
其實嚴格來說
35:44.433–35:47.266
zh現在所有的大型語言模型都
現在所有的大型語言模型都
35:47.300–35:50.033
zh可以被迫做出 Jev 的行為
可以被迫做出 Jev 的行為
35:50.200–35:54.433
zh就是你可以硬逼它變成是跟 Jev 類似的模型，OK
就是你可以硬逼它變成是跟 Jev 類似的模型，OK
35:54.633–35:58.000
zh然後也真的可以得到跟 Jev 一樣的 Speed Up，OK
然後也真的可以得到跟 Jev 一樣的 Speed Up，OK
35:58.233–36:01.100
zh只是它的表現可能不一定像是原生的 Jev 這麼好
只是它的表現可能不一定像是原生的 Jev 這麼好
36:01.366–36:02.666
zh那怎麼說呢？
那怎麼說呢？
36:02.866–36:05.166
zh其實網路上在過去這幾天
其實網路上在過去這幾天
36:05.166–36:10.666
zh已經有大量的這些開源社群的人去想辦法做出
已經有大量的這些開源社群的人去想辦法做出
36:10.700–36:13.966
zh一個開源版本的 Jev 模型
一個開源版本的 Jev 模型
36:13.966–36:18.566
zh使用的就是一些像是 Qwen 這種的
使用的就是一些像是 Qwen 這種的
36:18.600–36:21.200
zh這個要怎麼做呢？
這個要怎麼做呢？
36:21.200–36:23.500
zh其實不用經過額外的訓練喔
其實不用經過額外的訓練喔
36:23.766–36:26.266
zh你只是要它有 Jev 的行為的話
你只是要它有 Jev 的行為的話
36:26.266–36:28.000
zh你不用額外再訓練它
你不用額外再訓練它
36:28.400–36:29.466
zh那這邊要怎麼做呢？
那這邊要怎麼做呢？
36:29.566–36:31.700
zh其實比你想像中的更簡單喔
其實比你想像中的更簡單喔
36:31.800–36:35.466
zh假設你今天要用一個像是社群有人用的
假設你今天要用一個像是社群有人用的
36:35.466–36:37.900
zh這個 Qwen3.5-4B 的模型
這個 Qwen3.5-4B 的模型
36:38.366–36:40.200
zh你要把它變成 Jev，你要怎麼做？
你要把它變成 Jev，你要怎麼做？
36:40.400–36:43.366
zh就是你一樣丟給它你的 state 跟你的 question
就是你一樣丟給它你的 state 跟你的 question
36:43.766–36:50.066
zh就比如說你的 state 是這個客人說：「哇！你們餐廳的牛排實在是太好吃了！」
就比如說你的 state 是這個客人說：「哇！你們餐廳的牛排實在是太好吃了！」
36:50.433–36:51.966
zh那你的 question
那你的 question
36:51.966–36:55.933
zh就是：「請問這則回覆是正面的還是負面的？」
就是：「請問這則回覆是正面的還是負面的？」
36:57.200–37:01.300
zh下面就有兩個選項，選項 A：正面，選項 B：負面
下面就有兩個選項，選項 A：正面，選項 B：負面
37:01.600–37:06.666
zh你這邊就要把選項的代號要明確地標出來
你這邊就要把選項的代號要明確地標出來
37:06.700–37:08.433
zh要標 A 跟 B
要標 A 跟 B
37:09.300–37:13.133
zh之後你在 prompt 裡面就可以直接明確地跟它說
之後你在 prompt 裡面就可以直接明確地跟它說
37:13.166–37:15.866
zh針對目前的問題以及選項
針對目前的問題以及選項
37:15.866–37:18.900
zh好，直接給我你會選哪一個選項
好，直接給我你會選哪一個選項
37:18.933–37:19.033
enOK
OK
37:19.466–37:21.766
zh所以說，你的整個 prompt 就是這樣
所以說，你的整個 prompt 就是這樣
37:21.900–37:23.400
zh我剛剛講的全部都是 prompt 的部分
我剛剛講的全部都是 prompt 的部分
37:23.766–37:25.866
zh那接下來，Qwen 收到這個 prompt 之後
那接下來，Qwen 收到這個 prompt 之後
37:25.900–37:28.466
zh它的第一步就是要開始產生 token 嘛，對不對？
它的第一步就是要開始產生 token 嘛，對不對？
37:28.500–37:29.966
zh要產生出第一個 token
要產生出第一個 token
37:30.466–37:32.166
zh好，那我們剛剛也有講到
好，那我們剛剛也有講到
37:32.200–37:35.066
zh就是一般的 LLM 在產生一個 token 的時候
就是一般的 LLM 在產生一個 token 的時候
37:35.066–37:37.400
zh它其實是在產生一個機率分布
它其實是在產生一個機率分布
37:37.433–37:41.833
zh好，那更嚴格來說呢，它是產生所有可能的 token
好，那更嚴格來說呢，它是產生所有可能的 token
37:41.866–37:45.033
zh都會幫它打一個分數，叫做 logits
都會幫它打一個分數，叫做 logits
37:45.033–37:49.533
zhlogits 這個分數後續才會被轉換成機率分布
logits 這個分數後續才會被轉換成機率分布
37:49.533–37:52.700
zh透過一個叫做 softmax 的功能
透過一個叫做 softmax 的功能
37:52.733–37:57.866
zh但反正它會為所有可能的 token 都打一個分數
但反正它會為所有可能的 token 都打一個分數
37:58.133–38:00.566
zh那理論上在所有 token 當中
那理論上在所有 token 當中
38:00.566–38:04.100
zh字母 A 的分數應該是最高的嘛，對不對？
字母 A 的分數應該是最高的嘛，對不對？
38:04.500–38:09.866
zh因為我們就是叫它直接給出你的選項啊
因為我們就是叫它直接給出你的選項啊
38:09.900–38:14.033
zh所以說它理論上應該最有可能直接吐出 A 這樣子
所以說它理論上應該最有可能直接吐出 A 這樣子
38:14.466–38:16.633
zh但它也有可能吐出其他的嘛，對不對？
但它也有可能吐出其他的嘛，對不對？
38:17.033–38:19.400
zh就你同樣的一個 prompt 丟給一個 LLM
就你同樣的一個 prompt 丟給一個 LLM
38:19.433–38:20.233
zh叫它去回答
叫它去回答
38:20.666–38:22.400
zh它有時候會直接就給你回答「A」
它有時候會直接就給你回答「A」
38:22.433–38:23.766
zh沒錯，這是符合你的需求
沒錯，這是符合你的需求
38:23.933–38:26.166
zh但有時候它會回答「答案是 A」
但有時候它會回答「答案是 A」
38:26.166–38:27.866
zh那它第一個 token 呢
那它第一個 token 呢
38:27.900–38:30.333
zh就是它其實是「答」這個 token
就是它其實是「答」這個 token
38:30.366–38:32.900
zh「答」這個字的機率是最高的，對不對？
「答」這個字的機率是最高的，對不對？
38:32.933–38:34.833
zh但是所以說就是它不一定 A
但是所以說就是它不一定 A
38:34.833–38:36.800
zh這個 token 的分數是最高的
這個 token 的分數是最高的
38:36.800–38:40.233
zh但是你其他的 token 的分數你就完全不要看啊
但是你其他的 token 的分數你就完全不要看啊
38:40.266–38:46.100
zh你就直接拿 token A 的這個分數跟 token B 的這個分數
你就直接拿 token A 的這個分數跟 token B 的這個分數
38:46.100–38:47.133
zh只看這兩個分數
只看這兩個分數
38:47.166–38:49.200
zh然後把它放到 softmax function
然後把它放到 softmax function
38:49.200–38:50.366
zh當中去算一個機率
當中去算一個機率
38:50.400–38:53.766
zh就是硬是只算這兩個 token 的機率
就是硬是只算這兩個 token 的機率
38:53.766–38:56.100
zh然後兩個要加起來 100%
然後兩個要加起來 100%
38:56.533–38:58.466
zh那它這邊 softmax 算完之後
那它這邊 softmax 算完之後
38:58.500–39:00.733
zh可能就是 token A 的機率是 95%
可能就是 token A 的機率是 95%
39:00.766–39:02.933
zh然後 token B 的機率是 5%。好
然後 token B 的機率是 5%。好
39:02.933–39:06.066
zh那這個時候你就是得到跟 Jev 一樣的輸出了嘛
那這個時候你就是得到跟 Jev 一樣的輸出了嘛
39:06.100–39:06.933
zh對不對？
對不對？
39:06.966–39:10.000
zh就是一個針對你目前問題的所有選項的
就是一個針對你目前問題的所有選項的
39:10.000–39:11.166
zh一個機率分布
一個機率分布
39:11.200–39:12.233
zh所以簡單來說
所以簡單來說
39:12.233–39:14.666
zh因為 LLM 本身就是在產生機率分布
因為 LLM 本身就是在產生機率分布
39:14.666–39:16.433
zh所以說你也不用特別訓練它
所以說你也不用特別訓練它
39:16.466–39:18.700
zh你也不用改目前的 LLM 的架構
你也不用改目前的 LLM 的架構
39:18.733–39:22.833
zh你只要單純不去解讀它產生的 token
你只要單純不去解讀它產生的 token
39:22.833–39:26.100
zh而是直接讀你想要的 token 的機率分布
而是直接讀你想要的 token 的機率分布
39:26.133–39:29.266
zh你就可以讓它變成一個 Jev 的模型了，OK
你就可以讓它變成一個 Jev 的模型了，OK
39:29.266–39:30.000
zh就是這麼簡單
就是這麼簡單
39:30.466–39:33.833
zh那網路上確實也是有人把 Qwen3.5-4B 的模型
那網路上確實也是有人把 Qwen3.5-4B 的模型
39:33.833–39:35.433
zh變成一個 Jev 的模型
變成一個 Jev 的模型
39:35.433–39:40.933
zh然後它表現跟實際 TypeSafe AI 的 Jev 模型究竟有多接近呢？
然後它表現跟實際 TypeSafe AI 的 Jev 模型究竟有多接近呢？
39:40.966–39:45.766
zh其實真的在簡單跟中等的問題上面都非常的接近喔
其實真的在簡單跟中等的問題上面都非常的接近喔
39:46.133–39:48.866
zh簡單的問題基本上是接近 100%
簡單的問題基本上是接近 100%
39:48.900–39:50.800
zh完全表現是非常好的
完全表現是非常好的
39:51.366–39:53.466
zh那唯一是在一些比較困難一點
那唯一是在一些比較困難一點
39:53.466–39:55.866
zh複雜一點的問題上，它會輸給 Jev
複雜一點的問題上，它會輸給 Jev
39:56.066–39:59.600
zh然後在整個機率的校準上，機率的校準上
然後在整個機率的校準上，機率的校準上
39:59.633–40:03.066
zhcalibration 上，它也會輸給 Jev 一點
calibration 上，它也會輸給 Jev 一點
40:03.400–40:05.533
zhOK，就算是中等的問題
OK，就算是中等的問題
40:05.533–40:08.433
zh它答對了沒錯，但它的機率分布
它答對了沒錯，但它的機率分布
40:08.466–40:10.300
zh沒有到像 Jev 一樣這麼準
沒有到像 Jev 一樣這麼準
40:10.333–40:13.633
zh但速度跟成本，其實都可以贏過 Jev
但速度跟成本，其實都可以贏過 Jev
40:13.800–40:15.800
zh這速度可以比 Jev 快一點點
這速度可以比 Jev 快一點點
40:15.966–40:18.933
zh嚴格來說，這樣直接比也沒有到非常公平
嚴格來說，這樣直接比也沒有到非常公平
40:18.933–40:20.100
zh因為這個 Qwen
因為這個 Qwen
40:20.133–40:23.066
zh我們是本地直接跑，那 Jev 是 API
我們是本地直接跑，那 Jev 是 API
40:23.100–40:25.066
zh還要算網路的來回速度
還要算網路的來回速度
40:25.066–40:26.566
zh但你就算扣了
但你就算扣了
40:26.600–40:31.500
zh就是給 Qwen 的這個速度一些網路的 punishment
就是給 Qwen 的這個速度一些網路的 punishment
40:31.533–40:35.133
zh還是就是跟 Jev 差不多快，甚至比 Jev 快一點點
還是就是跟 Jev 差不多快，甚至比 Jev 快一點點
40:35.133–40:39.033
zh我在想這個 Jev 的模型應該是比 4B 再大一點這樣子
我在想這個 Jev 的模型應該是比 4B 再大一點這樣子
40:39.066–40:42.466
zh然後同時成本當然也贏過 Jev 嘛，對不對？
然後同時成本當然也贏過 Jev 嘛，對不對？
40:42.500–40:45.300
zh因為這個 Qwen 的模型你隨便一台筆電就可以跑了
因為這個 Qwen 的模型你隨便一台筆電就可以跑了
40:45.333–40:47.266
zh所以你成本基本上是零
所以你成本基本上是零
40:47.266–40:49.166
zh所以天下所有的 LLM 你都
所以天下所有的 LLM 你都
40:49.166–40:51.200
zh可以直接把它當作 Jev 在用
可以直接把它當作 Jev 在用
40:51.233–40:55.200
zh然後它立刻就可以得到幾百倍的速度跟幾百倍的
然後它立刻就可以得到幾百倍的速度跟幾百倍的
40:55.200–40:57.000
zh這個成本優化這樣子
這個成本優化這樣子
40:57.000–41:02.133
zh但是它能不能真的在這些問題選項上面給出
但是它能不能真的在這些問題選項上面給出
41:02.166–41:05.466
zh真的很有校準過的機率分布
真的很有校準過的機率分布
41:05.500–41:07.833
zh真的準確率高的答案呢？
真的準確率高的答案呢？
41:07.833–41:10.500
zh這個就是 Jev 它特別強的地方了
這個就是 Jev 它特別強的地方了
41:10.566–41:11.733
zh這個就是因為 Jev
這個就是因為 Jev
41:11.733–41:15.200
zh它整個模型原生就是為了這樣子的
它整個模型原生就是為了這樣子的
41:15.200–41:17.900
zhuse case 去訓練出來的嘛
use case 去訓練出來的嘛
41:17.933–41:21.066
zh就是我們剛剛講的這個 RLCD 的部分嘛，對不對？
就是我們剛剛講的這個 RLCD 的部分嘛，對不對？
41:21.500–41:25.800
zh那當然你一個模型跑了 RLHF，跑了 RLVR
那當然你一個模型跑了 RLHF，跑了 RLVR
41:25.800–41:28.266
zh然後再硬逼它去做這種選擇題
然後再硬逼它去做這種選擇題
41:28.300–41:31.533
zh當然不會比一個做了 RLCD 的模型更好嘛
當然不會比一個做了 RLCD 的模型更好嘛
41:31.566–41:32.400
zh對不對？
對不對？
41:32.433–41:36.100
zh這邊其實就回扣到我們剛剛在技術討論那邊說
這邊其實就回扣到我們剛剛在技術討論那邊說
41:36.100–41:41.333
zh這個 RLCD 的 recipe，以及他們訓練的資料
這個 RLCD 的 recipe，以及他們訓練的資料
41:41.333–41:44.133
zh才是 TypeSafe AI 這間公司的護城河
才是 TypeSafe AI 這間公司的護城河
41:44.166–41:47.600
zh才是他們最強的技術的秘密
才是他們最強的技術的秘密
41:47.633–41:51.766
zh好，那模型的架構本身其實真的還好
好，那模型的架構本身其實真的還好
41:52.000–41:54.533
zh好，那我們現在再回去看一下它那個
好，那我們現在再回去看一下它那個
41:54.533–41:57.066
zhMarketing 裡面講的最狂的一句話嘛
Marketing 裡面講的最狂的一句話嘛
41:57.066–42:00.133
zh就是 Jev 這個模型是完全不會有幻覺的
就是 Jev 這個模型是完全不會有幻覺的
42:00.166–42:02.566
zh不會 Hallucinate 的一個模型
不會 Hallucinate 的一個模型
42:02.566–42:06.933
zh好，那我覺得這句話呢，也是有點半炒作意味啦
好，那我覺得這句話呢，也是有點半炒作意味啦
42:06.966–42:10.133
zh就是其實它嚴格來說不到非常精準
就是其實它嚴格來說不到非常精準
42:10.166–42:13.200
zh應該說要看你怎麼定義 Hallucinate 這件事情
應該說要看你怎麼定義 Hallucinate 這件事情
42:13.200–42:16.233
zh因為 Jev 沒錯，你如果問題就給它五個選項
因為 Jev 沒錯，你如果問題就給它五個選項
42:16.233–42:20.300
zh那它只可能輸出這五個選項的其中一個
那它只可能輸出這五個選項的其中一個
42:20.333–42:23.466
zh嚴格來說它就只會輸出這五個選項的一個機率分布
嚴格來說它就只會輸出這五個選項的一個機率分布
42:23.500–42:25.933
zh然後你後續再選出其中一個嘛，對不對？
然後你後續再選出其中一個嘛，對不對？
42:25.933–42:29.500
zh那它無論如何，它不可能會選出第六個選項
那它無論如何，它不可能會選出第六個選項
42:29.533–42:31.266
zh因為你根本就沒有給它第六個選項
因為你根本就沒有給它第六個選項
42:31.300–42:35.366
zh然後它也不可能會把你的選項的裡面的字給寫錯之類的
然後它也不可能會把你的選項的裡面的字給寫錯之類的
42:35.366–42:37.666
zh因為它根本就不用輸出那些字
因為它根本就不用輸出那些字
42:37.700–42:39.366
zh它只要輸出機率分布
它只要輸出機率分布
42:39.366–42:41.266
zh後續選項你怎麼定義
後續選項你怎麼定義
42:41.266–42:44.500
zh然後你最後選出哪個是你自己在選的
然後你最後選出哪個是你自己在選的
42:44.500–42:44.900
enOK
OK
42:44.933–42:46.366
zh所以 Jev 不可能會
所以 Jev 不可能會
42:46.366–42:49.166
zh就是嚴格來說它不可能會有 type error
就是嚴格來說它不可能會有 type error
42:49.200–42:51.133
zh它不可能會有這種型態的錯誤
它不可能會有這種型態的錯誤
42:51.133–42:54.033
zh叫做 type error，它不可能會有 type error
叫做 type error，它不可能會有 type error
42:54.033–42:58.200
zh那我相信這也是為什麼他們公司的名稱叫做 TypeSafe AI 嘛
那我相信這也是為什麼他們公司的名稱叫做 TypeSafe AI 嘛
42:58.233–42:58.966
zh對不對？
對不對？
42:58.966–43:03.066
zh因為它不會有 type error，但是如果你對於 Hallucinate
因為它不會有 type error，但是如果你對於 Hallucinate
43:03.100–43:05.166
zh對於幻覺定義比較廣一點的話
對於幻覺定義比較廣一點的話
43:05.200–43:10.133
zh就是包含到很明顯給錯誤的答案，也叫做幻覺的話
就是包含到很明顯給錯誤的答案，也叫做幻覺的話
43:10.133–43:14.066
zh那 Jev 也會出錯，它百分之百也會出錯
那 Jev 也會出錯，它百分之百也會出錯
43:14.100–43:15.766
zh它可能也會針對一個問題
它可能也會針對一個問題
43:15.800–43:19.533
zh然後很有信心地給出一個很錯的答案
然後很有信心地給出一個很錯的答案
43:19.533–43:21.000
zh很糟糕的機率分布啊
很糟糕的機率分布啊
43:21.233–43:22.733
zh那個算不算 hallucinate？
那個算不算 hallucinate？
43:23.033–43:24.866
zh我覺得對於有些人來說那個也算
我覺得對於有些人來說那個也算
43:25.300–43:28.300
zh但是就看你怎麼定義 hallucinate
但是就看你怎麼定義 hallucinate
43:28.500–43:30.633
zh我們現在完全理解了 Jev 這個模型
我們現在完全理解了 Jev 這個模型
43:30.666–43:32.033
zh它到底是什麼樣子的一個模型
它到底是什麼樣子的一個模型
43:32.066–43:33.200
zh它怎麼運作的
它怎麼運作的
43:33.233–43:37.066
zh我們接下來要來講一下實際的應用場景有哪一些
我們接下來要來講一下實際的應用場景有哪一些
43:37.066–43:38.766
zh以及我的一些實測心得
以及我的一些實測心得
43:38.800–43:42.400
zh那這邊你要先了解的一個觀念呢
那這邊你要先了解的一個觀念呢
43:42.433–43:44.400
zh我相信你到這邊應該自己也知道了
我相信你到這邊應該自己也知道了
43:44.400–43:47.933
zh但是就是，Jev 它不會全面取代 LLM
但是就是，Jev 它不會全面取代 LLM
43:47.933–43:50.000
zh它只能把目前的 LLM
它只能把目前的 LLM
43:50.033–43:52.633
zh就是目前的這些 AI agent
就是目前的這些 AI agent
43:52.633–43:57.433
zh工作中一些比較單純的判斷選擇問題快速地處理掉
工作中一些比較單純的判斷選擇問題快速地處理掉
43:57.466–44:01.000
zh這個就是 Jev 它的應用場景，這就是它的價值
這個就是 Jev 它的應用場景，這就是它的價值
44:01.166–44:02.633
zhOK，那像什麼東西呢？
OK，那像什麼東西呢？
44:02.766–44:04.800
zh像是模型路由嘛，對不對？
像是模型路由嘛，對不對？
44:04.933–44:05.666
enmodel routing
model routing
44:06.000–44:08.166
zh好，就今天使用者問了這個問題
好，就今天使用者問了這個問題
44:08.166–44:09.900
zh你應該用比較弱的模型
你應該用比較弱的模型
44:09.933–44:12.466
zh還是要比較強的模型才可以去解決
還是要比較強的模型才可以去解決
44:12.500–44:13.033
enOK
OK
44:13.066–44:18.066
zh然後還有像是很大量的這種要初期的資料的篩選，OK
然後還有像是很大量的這種要初期的資料的篩選，OK
44:18.333–44:20.500
zh好，就是比如說我們剛剛講到
好，就是比如說我們剛剛講到
44:20.533–44:23.833
zh最一開始有講到一個履歷的例子嘛，對不對？
最一開始有講到一個履歷的例子嘛，對不對？
44:24.433–44:27.866
zh你今天假設大公司收到好幾千封履歷，好
你今天假設大公司收到好幾千封履歷，好
44:27.866–44:31.033
zh那你要從這個履歷當中先挑出適合的人選
那你要從這個履歷當中先挑出適合的人選
44:31.066–44:36.033
zh那當然你可以每一封都全部都叫 GPT-6 Astra 去看，好
那當然你可以每一封都全部都叫 GPT-6 Astra 去看，好
44:36.033–44:39.400
zh那你可能 token 就會燒蠻多的這樣子
那你可能 token 就會燒蠻多的這樣子
44:39.433–44:42.200
zh但是你如果是用 Jev，好
但是你如果是用 Jev，好
44:42.233–44:47.100
zh先把五千封的履歷先挑出其中的兩百封就好了
先把五千封的履歷先挑出其中的兩百封就好了
44:47.133–44:51.266
zh好，那快速地，Jev 可以很快速地做到這個挑選
好，那快速地，Jev 可以很快速地做到這個挑選
44:51.266–44:52.766
zh然後挑出兩百封
然後挑出兩百封
44:52.800–44:55.833
zh那兩百封再交給 Astra 去一封一封看
那兩百封再交給 Astra 去一封一封看
44:55.833–44:58.866
zh這樣是不是你的 token 就會省非常多
這樣是不是你的 token 就會省非常多
44:58.900–45:00.700
zh然後整個過程也會快很多
然後整個過程也會快很多
45:00.700–45:01.200
zh對不對？
對不對？
45:01.233–45:03.900
zh這個 GPT-6 Astra 在看履歷的時候呢
這個 GPT-6 Astra 在看履歷的時候呢
45:03.900–45:07.266
zh可能就是真的根據你給的這個標準呢
可能就是真的根據你給的這個標準呢
45:07.300–45:08.766
zh然後一條一條地看
然後一條一條地看
45:08.800–45:11.433
zh這個人的經歷是否有符合
這個人的經歷是否有符合
45:11.433–45:13.266
zh一條一條檢查之類的，然後
一條一條檢查之類的，然後
45:13.300–45:16.266
zh每次檢查都還可能還要再燒一些 token
每次檢查都還可能還要再燒一些 token
45:16.266–45:18.000
zh去思考之類有的沒的。好
去思考之類有的沒的。好
45:18.000–45:20.966
zh但 Jev 它今天就是，它看一封履歷的時間
但 Jev 它今天就是，它看一封履歷的時間
45:21.000–45:23.933
zh就等同於 GPT-6 Astra 產出一個 token 的時間
就等同於 GPT-6 Astra 產出一個 token 的時間
45:23.933–45:24.900
zh一個 token
一個 token
45:24.933–45:28.466
zh就它吃了你的徵才標準跟目前這個人的履歷之後
就它吃了你的徵才標準跟目前這個人的履歷之後
45:28.466–45:30.566
zh就直接吐出一個機率分布啦
就直接吐出一個機率分布啦
45:30.600–45:31.700
zh就 1 到 5
就 1 到 5
45:31.700–45:33.300
zh你可能是給它選項 1 到 5
你可能是給它選項 1 到 5
45:33.333–45:37.100
zh這個程度，5 是最符合，1 是最不符合
這個程度，5 是最符合，1 是最不符合
45:37.133–45:39.300
zh然後它就直接吐出一個機率分布
然後它就直接吐出一個機率分布
45:39.333–45:39.733
zh然後選
然後選
45:39.733–45:41.166
zh然後你立刻從這個機率分布
然後你立刻從這個機率分布
45:41.200–45:42.600
zh就直接算出這個人是 5
就直接算出這個人是 5
45:42.633–45:43.333
zh這個人是 4
這個人是 4
45:43.333–45:44.066
zh這個人是 2
這個人是 2
45:44.100–45:44.866
zh這個人是 3
這個人是 3
45:44.900–45:45.866
zh這個人是 5
這個人是 5
45:45.866–45:46.066
zh好
好
45:46.100–45:47.566
zh然後就很快，就超快
然後就很快，就超快
45:47.566–45:48.900
zh就篩出 200 封了，然後
就篩出 200 封了，然後
45:48.933–45:50.000
zh當然這只是一個例子啊
當然這只是一個例子啊
45:50.033–45:52.600
zh我們前面講到的那像什麼客服啊
我們前面講到的那像什麼客服啊
45:52.600–45:55.033
zh像什麼 email 的處理啊
像什麼 email 的處理啊
45:55.033–45:56.566
zhJev 也全部都可以做
Jev 也全部都可以做
45:56.600–45:57.266
zh你能想到
你能想到
45:57.300–46:01.400
zh你只要能夠把你的問題去 frame 成一個分類問題
你只要能夠把你的問題去 frame 成一個分類問題
46:01.433–46:04.800
zh然後有明確的選項可以讓 Jev 去選的話
然後有明確的選項可以讓 Jev 去選的話
46:04.800–46:06.266
zhJev 都可以解決
Jev 都可以解決
46:06.300–46:08.266
zh只不過 Jev 它模型
只不過 Jev 它模型
46:08.266–46:09.600
zh它本身有一個限制
它本身有一個限制
46:09.633–46:12.433
zh就是它沒有視覺能力
就是它沒有視覺能力
46:12.466–46:13.766
zh它是一個純文字模型
它是一個純文字模型
46:13.766–46:17.933
zh所以說，今天假如你的問題是跟視覺有相關的話
所以說，今天假如你的問題是跟視覺有相關的話
46:17.966–46:20.433
zh你就是還要再接其他的工具
你就是還要再接其他的工具
46:20.433–46:22.566
zh讓它可以理解這個圖片的內容
讓它可以理解這個圖片的內容
46:22.600–46:24.966
zh比如說接一個 OCR 的工具等等的
比如說接一個 OCR 的工具等等的
46:25.200–46:30.133
zhOK，好，那我看到網路上很多人都在 demo 的一個應用場景
OK，好，那我看到網路上很多人都在 demo 的一個應用場景
46:30.133–46:34.866
zh就是讓 Jev 去做 computer use，去使用電腦
就是讓 Jev 去做 computer use，去使用電腦
46:34.900–46:37.300
zhOK，好，那一開始你看一些這些 demo
OK，好，那一開始你看一些這些 demo
46:37.333–46:38.566
zh你真的會覺得，哇
你真的會覺得，哇
46:38.566–46:41.366
zh這好像真的是一個 Game Changer 喔
這好像真的是一個 Game Changer 喔
46:41.400–46:45.200
zh因為 computer use 的問題呢，就是現在的做法啦
因為 computer use 的問題呢，就是現在的做法啦
46:45.200–46:49.100
zh就基本上你要叫 GPT-6 Astra 去操作一個網站
就基本上你要叫 GPT-6 Astra 去操作一個網站
46:49.100–46:53.433
zh它基本上就是它會看到這個網站的截圖
它基本上就是它會看到這個網站的截圖
46:53.433–46:53.633
enOK
OK
46:53.666–46:57.933
zh那它就直接根據這個截圖去 reason 現在我這個步驟
那它就直接根據這個截圖去 reason 現在我這個步驟
46:57.933–46:59.100
zh我應該要點什麼東西
我應該要點什麼東西
46:59.133–47:05.400
zh然後就直接產出它要點的座標跟它的動作
然後就直接產出它要點的座標跟它的動作
47:05.433–47:06.766
zh可能是 click 還是 double click
可能是 click 還是 double click
47:06.766–47:10.666
zhWhatever，然後再 call 一個操作的工具
Whatever，然後再 call 一個操作的工具
47:10.666–47:12.933
zh然後就完成這次的點擊
然後就完成這次的點擊
47:12.933–47:17.566
zh每一個步驟它都要這樣做一個 reasoning 的過程
每一個步驟它都要這樣做一個 reasoning 的過程
47:17.600–47:20.066
zh有時候它還會思考一下嘛
有時候它還會思考一下嘛
47:20.066–47:23.533
zh對不對？就看到這張圖片，還要思考個幾句
對不對？就看到這張圖片，還要思考個幾句
47:23.533–47:27.433
zh想一下說，我現在應該要點哪一個按鈕啊？
想一下說，我現在應該要點哪一個按鈕啊？
47:27.466–47:29.600
zh然後應該要怎麼點啊？
然後應該要怎麼點啊？
47:29.600–47:31.966
zh然後什麼，反正就會產生很多 token
然後什麼，反正就會產生很多 token
47:31.966–47:33.633
zh然後會花很久的時間，OK
然後會花很久的時間，OK
47:33.633–47:36.600
zh那 Jev 如果它真的電腦可以用得很好
那 Jev 如果它真的電腦可以用得很好
47:36.633–47:37.300
zh很快的話
很快的話
47:37.300–47:39.066
zh基本上因為每個步驟其實
基本上因為每個步驟其實
47:39.100–47:42.200
zh你可以想像你都可以把它 frame 成一個分類問題嘛
你可以想像你都可以把它 frame 成一個分類問題嘛
47:42.233–47:42.866
zh對不對？
對不對？
47:42.866–47:43.000
zh好
好
47:43.033–47:46.733
zh就你今天的目標是要點選這間
就你今天的目標是要點選這間
47:46.733–47:50.700
zh網路電商它的最新的鞋子的產品
網路電商它的最新的鞋子的產品
47:50.733–47:51.766
zh然後把它放到購物車
然後把它放到購物車
47:51.766–47:52.933
zh那你有這個目標
那你有這個目標
47:52.966–47:57.800
zh然後你現在的網頁的狀態是這樣
然後你現在的網頁的狀態是這樣
47:57.833–47:59.400
zh你有這些按鈕
你有這些按鈕
47:59.400–48:02.833
zh然後這些按鈕現在目前是呈現這些狀態
然後這些按鈕現在目前是呈現這些狀態
48:02.866–48:06.933
zh那你的選項就是有幾個層次
那你的選項就是有幾個層次
48:06.966–48:10.633
zh第一層次是你要選你的動作是什麼
第一層次是你要選你的動作是什麼
48:10.666–48:12.600
zh就是按，你要按按鈕嗎？
就是按，你要按按鈕嗎？
48:12.633–48:14.733
zh還是你要滑動？
還是你要滑動？
48:14.733–48:16.033
zh還是你要 blah blah whatever
還是你要 blah blah whatever
48:16.066–48:18.400
zh然後你選完了
然後你選完了
48:18.400–48:19.233
zh第一個動作之後
第一個動作之後
48:19.266–48:20.700
zh你接下來第二個問題
你接下來第二個問題
48:20.733–48:22.000
zh就你就它就問說
就你就它就問說
48:22.000–48:23.166
zh你要按按鈕的話
你要按按鈕的話
48:23.166–48:26.700
zh那網路上，你的網頁上有這些
那網路上，你的網頁上有這些
48:26.733–48:28.933
zh所有的按鈕可能加起來
所有的按鈕可能加起來
48:28.933–48:31.966
zh這個幾十個，不要超過 255 個就好了
這個幾十個，不要超過 255 個就好了
48:32.000–48:33.433
zh可能 100 多個之類的
可能 100 多個之類的
48:33.466–48:35.400
zhwhatever，應該不會這麼多啦
whatever，應該不會這麼多啦
48:35.433–48:37.000
zh可能 50 個好了
可能 50 個好了
48:37.000–48:37.966
zh50 個按鈕
50 個按鈕
48:37.966–48:39.600
zh請問你要選擇按哪一個？
請問你要選擇按哪一個？
48:39.600–48:41.733
zh這也是一個選擇題啊，你就選了
這也是一個選擇題啊，你就選了
48:41.733–48:44.433
zh然後你就完成了這次的操作啊，不是嗎？
然後你就完成了這次的操作啊，不是嗎？
48:44.866–48:49.400
zh那很明顯這個會比現在的 LLM 快非常多
那很明顯這個會比現在的 LLM 快非常多
48:49.433–48:53.366
zh而且確實在進行 computer use 的過程當中
而且確實在進行 computer use 的過程當中
48:53.366–48:58.133
zh你當然可能 high-level 的策略，然後要做什麼
你當然可能 high-level 的策略，然後要做什麼
48:58.133–49:00.766
zh還是應該交給 LLM 去思考去制定
還是應該交給 LLM 去思考去制定
49:00.800–49:01.566
zh沒錯
沒錯
49:01.566–49:04.233
zh但過程中會有超多這種小按鈕
但過程中會有超多這種小按鈕
49:04.266–49:07.133
zh點來點去這種簡單很直覺的操作
點來點去這種簡單很直覺的操作
49:07.433–49:10.000
zh是不是理論上也都可以交給 Jev 處理？沒錯
是不是理論上也都可以交給 Jev 處理？沒錯
49:10.400–49:12.000
zhJev 的能力是真的到的
Jev 的能力是真的到的
49:12.033–49:14.066
zh它真的是可以做到這件事情的
它真的是可以做到這件事情的
49:14.166–49:19.700
zh然後確實網路上我們也看到蠻多的這些 demo 在使用 Jev 去操作電腦
然後確實網路上我們也看到蠻多的這些 demo 在使用 Jev 去操作電腦
49:19.733–49:22.266
zh然後結果也真的都超級好的
然後結果也真的都超級好的
49:22.266–49:25.100
zh尤其有些有跟一般的 LLM 去進行比對的
尤其有些有跟一般的 LLM 去進行比對的
49:25.133–49:27.233
zh像是我有看到有一個 GitHub Repo
像是我有看到有一個 GitHub Repo
49:27.266–49:30.933
zh他們是拿由 Jev 組成的 computer use 系統
他們是拿由 Jev 組成的 computer use 系統
49:30.933–49:35.200
zh跟這個 Claude Opus 的 computer use 去進行比較
跟這個 Claude Opus 的 computer use 去進行比較
49:35.233–49:37.833
zh然後結果真的是蠻扯的啦
然後結果真的是蠻扯的啦
49:37.833–49:41.800
zh就是 Jev 跟 Opus 都一樣有完成目標
就是 Jev 跟 Opus 都一樣有完成目標
49:41.800–49:46.233
zh但是 Jev 它的成本比 Opus 低了一百多倍
但是 Jev 它的成本比 Opus 低了一百多倍
49:46.633–49:51.200
zh然後這個 Latency，就是整體的這個速度呢
然後這個 Latency，就是整體的這個速度呢
49:51.200–49:53.466
zh也比 Opus 快蠻多的
也比 Opus 快蠻多的
49:53.500–49:55.433
zh但是並沒有快一百多倍喔
但是並沒有快一百多倍喔
49:55.466–49:58.100
zh它只有快三倍左右，OK
它只有快三倍左右，OK
49:58.433–50:00.633
zh那聽到這邊你可能就覺得很奇怪
那聽到這邊你可能就覺得很奇怪
50:00.633–50:03.600
zh就 Jev 它不是應該要比 Opus 快超級多倍嗎？
就 Jev 它不是應該要比 Opus 快超級多倍嗎？
50:03.866–50:07.266
zh好，就它等於是每一個步驟只有產生一個 token 啊
好，就它等於是每一個步驟只有產生一個 token 啊
50:07.300–50:09.266
zh好，甚至一兩個 token 之類的
好，甚至一兩個 token 之類的
50:09.300–50:10.666
zh那應該快很多才對啊
那應該快很多才對啊
50:10.666–50:12.900
zh欸，但是沒有。為什麼？
欸，但是沒有。為什麼？
50:12.900–50:16.366
zh好，因為 Jev 它不能獨立地就操作電腦
好，因為 Jev 它不能獨立地就操作電腦
50:16.400–50:20.600
zh它要有其他的東西，其他的
它要有其他的東西，其他的
50:20.600–50:24.466
zh首先，Jev 沒有視覺能力
首先，Jev 沒有視覺能力
50:24.466–50:28.733
zh所以它無法直接看網頁目前狀況的截圖
所以它無法直接看網頁目前狀況的截圖
50:28.766–50:31.966
zh它必須要讀網站的 DOM Tree
它必須要讀網站的 DOM Tree
50:32.000–50:35.166
zh看網站本身的原始 HTML
看網站本身的原始 HTML
50:35.200–50:39.200
zh看網站的 accessibility tags
看網站的 accessibility tags
50:41.900–50:45.666
zh就是網頁中針對網頁各個按鈕
就是網頁中針對網頁各個按鈕
50:45.700–50:47.866
zh它會有一個這個按鈕
它會有一個這個按鈕
50:47.866–50:49.833
zh它是什麼東西的標示
它是什麼東西的標示
50:49.866–50:53.933
zh它這個標示會存在呢，其實是為了一些特殊的狀況
它這個標示會存在呢，其實是為了一些特殊的狀況
50:54.066–50:56.333
zh就比如說你眼睛看不到
就比如說你眼睛看不到
50:56.366–50:59.900
zh對於盲人來說呢，你要使用一個網頁
對於盲人來說呢，你要使用一個網頁
50:59.900–51:03.900
zh它可能會就是有一些朗讀的功能啊等等的
它可能會就是有一些朗讀的功能啊等等的
51:03.900–51:05.633
zh那瀏覽器的朗讀功能呢
那瀏覽器的朗讀功能呢
51:05.666–51:07.900
zh其實就是在讀這些標示這樣子
其實就是在讀這些標示這樣子
51:08.333–51:10.233
zh那 Jev 就是要靠著這些東西
那 Jev 就是要靠著這些東西
51:10.266–51:12.166
zh然後再加上一個 OCR 的模型
然後再加上一個 OCR 的模型
51:12.433–51:13.500
zh這個 OCR 的模型
這個 OCR 的模型
51:13.500–51:15.966
zh就是 Optical Character Recognition 嘛
就是 Optical Character Recognition 嘛
51:16.000–51:16.633
zh對不對？
對不對？
51:17.200–51:19.200
zh這個就是我們常見的
這個就是我們常見的
51:19.233–51:22.233
zh一個圖像的文字識別模型這樣子
一個圖像的文字識別模型這樣子
51:22.700–51:24.100
zhOK，就是它會從
OK，就是它會從
51:24.133–51:27.700
zh一個圖像裡面擷取出這圖像目前有哪些文字
一個圖像裡面擷取出這圖像目前有哪些文字
51:27.700–51:31.566
zh然後可能有些時候還會跟你講它在哪個地方
然後可能有些時候還會跟你講它在哪個地方
51:31.566–51:33.500
zh然後哪個方位這樣子
然後哪個方位這樣子
51:33.500–51:37.666
zh那反正 Jev 就只能靠著這些東西去操作電腦嘛
那反正 Jev 就只能靠著這些東西去操作電腦嘛
51:37.966–51:40.800
zh那你可以想像這邊其實也會帶來一些限制
那你可以想像這邊其實也會帶來一些限制
51:41.066–51:44.200
zh就是包括很多網站的體驗呢
就是包括很多網站的體驗呢
51:44.233–51:48.733
zh其實你單純靠這些是沒有辦法真的完全正常操作的
其實你單純靠這些是沒有辦法真的完全正常操作的
51:48.766–51:50.833
zh首先，很多的網站、很多頁面
首先，很多的網站、很多頁面
51:50.833–51:53.766
zh它的 accessibility tags 就沒有做得很好
它的 accessibility tags 就沒有做得很好
51:53.966–51:54.166
enOK
OK
51:54.400–51:57.633
zh就是它本來就不是非常盲人 friendly 的
就是它本來就不是非常盲人 friendly 的
51:57.633–51:59.500
zh就是有一些缺陷這樣子
就是有一些缺陷這樣子
51:59.866–52:01.133
zh像是 Notion 啊
像是 Notion 啊
52:01.133–52:03.666
zh它可能就沒有完全 full coverage
它可能就沒有完全 full coverage
52:03.700–52:06.500
zh那這個時候你可能就只能靠 OCR 了嘛
那這個時候你可能就只能靠 OCR 了嘛
52:06.500–52:07.033
zh對不對？
對不對？
52:07.066–52:09.600
zh因為你的 accessibility tags 沒有辦法
因為你的 accessibility tags 沒有辦法
52:09.600–52:12.166
zh讓你直接點到你想要點的按鈕
讓你直接點到你想要點的按鈕
52:12.200–52:14.600
zh但 OCR 也有它的缺陷
但 OCR 也有它的缺陷
52:14.633–52:16.900
zh就是它只能判斷文字嘛，對不對？
就是它只能判斷文字嘛，對不對？
52:16.900–52:20.166
zh就假設今天這個按鈕是一個圖示的話
就假設今天這個按鈕是一個圖示的話
52:20.200–52:23.266
zh你是不是就完全沒有辦法點到了？
你是不是就完全沒有辦法點到了？
52:23.966–52:26.166
zhJev 就點不到這個按鈕了
Jev 就點不到這個按鈕了
52:26.433–52:29.466
zh今天如果你的這個網站體驗又是
今天如果你的這個網站體驗又是
52:29.466–52:32.100
zh一個比較互動程度比較高的
一個比較互動程度比較高的
52:32.133–52:37.100
zh比如說有很多 slider 啊，然後有些細膩的操作啊
比如說有很多 slider 啊，然後有些細膩的操作啊
52:37.100–52:42.533
zh然後有一些比如說需要視覺推理的部分啊
然後有一些比如說需要視覺推理的部分啊
52:42.533–52:44.700
zh這種東西，這些所有的操作
這種東西，這些所有的操作
52:44.733–52:46.966
zh其實 Jev 都沒有辦法去做到
其實 Jev 都沒有辦法去做到
52:47.133–52:49.566
zh然後你要知道，這不是一個模態的問題而已喔
然後你要知道，這不是一個模態的問題而已喔
52:49.700–52:51.900
zh就是我相信下一代的 Jev
就是我相信下一代的 Jev
52:52.033–52:53.766
zh絕對會有視覺能力，OK
絕對會有視覺能力，OK
52:53.966–52:57.433
zh這個本身不是一個太困難的一件事情嘛，對不對？
這個本身不是一個太困難的一件事情嘛，對不對？
52:57.533–52:59.200
zh現在所有 LLM 都有視覺能力
現在所有 LLM 都有視覺能力
52:59.233–53:00.600
zhJev 也可以有視覺能力
Jev 也可以有視覺能力
53:00.600–53:03.633
zh因為 Jev 本身就是一個 LLM 的基底嘛，對不對？
因為 Jev 本身就是一個 LLM 的基底嘛，對不對？
53:03.633–53:07.200
zh但是它有了視覺能力之後也不會解決這個問題
但是它有了視覺能力之後也不會解決這個問題
53:07.233–53:11.133
zh它也不可能跟 Opus 跟這個 Astra 一樣
它也不可能跟 Opus 跟這個 Astra 一樣
53:11.166–53:15.166
zh這樣子去像人類一樣看著螢幕去使用電腦
這樣子去像人類一樣看著螢幕去使用電腦
53:15.166–53:16.166
zh為什麼？
為什麼？
53:16.166–53:19.733
zh因為網頁上能點的東西已經超過你的選項了嘛
因為網頁上能點的東西已經超過你的選項了嘛
53:19.766–53:20.600
zh對不對？
對不對？
53:21.200–53:24.000
zh就是你的網頁上所有能點的東西
就是你的網頁上所有能點的東西
53:24.033–53:28.600
zh就是可能你幾千個 pixel 乘幾千個 pixel
就是可能你幾千個 pixel 乘幾千個 pixel
53:28.600–53:30.000
zh幾百萬個耶
幾百萬個耶
53:30.000–53:32.533
zh你有幾百萬個可能可以點的東西耶
你有幾百萬個可能可以點的東西耶
53:32.533–53:33.900
zh那像是 LLM
那像是 LLM
53:33.933–53:37.900
zh它就可以每次都輸出一個座標，OK，精準的座標
它就可以每次都輸出一個座標，OK，精準的座標
53:37.933–53:39.266
zh任何網頁上
任何網頁上
53:39.300–53:40.533
zh它只要看得到的地方
它只要看得到的地方
53:40.533–53:41.666
zh它都可以點得到
它都可以點得到
53:41.666–53:42.966
zh然後看得到的東西
然後看得到的東西
53:43.000–53:43.966
zh它都可以點得到
它都可以點得到
53:43.966–53:47.300
zh它完全不用管這個網頁它本身背後怎麼寫的
它完全不用管這個網頁它本身背後怎麼寫的
53:47.333–53:51.966
zh但是 Jev，它因為只有 255 個選項可以選
但是 Jev，它因為只有 255 個選項可以選
53:51.966–53:55.700
zh而且就算你未來下一代 Jev 選項更多
而且就算你未來下一代 Jev 選項更多
53:55.733–53:57.433
zh變成這個兩倍啊
變成這個兩倍啊
53:57.466–53:59.400
zh四倍啊，無論如何
四倍啊，無論如何
53:59.400–54:03.566
zh不可能真的達到一個網頁所有能夠點的內容
不可能真的達到一個網頁所有能夠點的內容
54:03.600–54:06.333
zh那就只有這些選項可以選
那就只有這些選項可以選
54:06.966–54:08.033
zh就是只能想辦法
就是只能想辦法
54:08.066–54:09.700
zh把目前這個網頁所有
把目前這個網頁所有
54:09.700–54:12.833
zh可以點的東西想辦法呈現在這個選項當中
可以點的東西想辦法呈現在這個選項當中
54:12.866–54:15.433
zh那這就會是一個先天上的限制
那這就會是一個先天上的限制
54:15.466–54:17.200
zh所以說先天上 Jev
所以說先天上 Jev
54:17.200–54:21.366
zh它就不可能能夠完成所有 computer use 的工作
它就不可能能夠完成所有 computer use 的工作
54:21.366–54:22.433
zh它只能解決
它只能解決
54:22.466–54:26.033
zh就是網頁寫得好的、很 straightforward 的
就是網頁寫得好的、很 straightforward 的
54:26.033–54:28.466
zh很單純的一些反覆的操作，OK
很單純的一些反覆的操作，OK
54:28.466–54:29.766
zh它可以執行得非常好。好
它可以執行得非常好。好
54:29.800–54:34.333
zh像是其實上禮拜我有測試用 Astra 去幫我訂餐廳
像是其實上禮拜我有測試用 Astra 去幫我訂餐廳
54:34.366–54:36.100
zh然後你知道多扯嗎？
然後你知道多扯嗎？
54:36.100–54:37.300
zh原本 Astra
原本 Astra
54:37.333–54:40.933
zh可以很精準地選到我需要的人數跟時間
可以很精準地選到我需要的人數跟時間
54:40.933–54:42.933
zh那個我一點都不意外
那個我一點都不意外
54:43.166–54:46.866
zh我意外的是，Astra 直接幫我把 CAPTCHA 做完耶
我意外的是，Astra 直接幫我把 CAPTCHA 做完耶
54:48.066–54:50.333
zh那有夠扯的，就那個網站
那有夠扯的，就那個網站
54:50.333–54:52.600
zh訂餐網站它有個 CAPTCHA
訂餐網站它有個 CAPTCHA
54:52.633–54:56.600
zh是，CAPTCHA 就是那個網站拿來擋機器人的嘛
是，CAPTCHA 就是那個網站拿來擋機器人的嘛
54:56.600–54:56.833
zh對不對？
對不對？
54:56.866–54:59.133
zh就是你要驗證你不是一個機器人
就是你要驗證你不是一個機器人
54:59.133–55:02.000
zh它有時候會給你一些小測驗嘛，對不對？
它有時候會給你一些小測驗嘛，對不對？
55:02.466–55:05.233
zh有時候是最簡單的就是辨識花字啊
有時候是最簡單的就是辨識花字啊
55:05.266–55:07.100
zh但花字那個現在已經越來越少了
但花字那個現在已經越來越少了
55:07.133–55:09.733
zh因為現在對於現在的 AI 來說太簡單了
因為現在對於現在的 AI 來說太簡單了
55:09.733–55:12.233
zh所以這個網站的 CAPTCHA 是什麼，你知道嗎？
所以這個網站的 CAPTCHA 是什麼，你知道嗎？
55:12.566–55:14.033
zh它是三個角色
它是三個角色
55:14.033–55:15.466
zh卡通角色在那邊跳
卡通角色在那邊跳
55:15.466–55:18.400
zh然後一直不斷地跳，動態地在那邊跳
然後一直不斷地跳，動態地在那邊跳
55:18.433–55:20.366
zh然後你要選出跳最高的那一個
然後你要選出跳最高的那一個
55:20.366–55:24.066
zh那這個對於一般的模型來說都超難的
那這個對於一般的模型來說都超難的
55:24.100–55:26.033
zh但是 Astra 竟然解決了
但是 Astra 竟然解決了
55:26.033–55:27.466
zh你知道多扯嗎？
你知道多扯嗎？
55:27.500–55:28.033
zh就是 Astra
就是 Astra
55:28.066–55:30.766
zh它的解決方法就是它會截圖
它的解決方法就是它會截圖
55:30.766–55:33.133
zh目前看這三個角色誰跳最高
目前看這三個角色誰跳最高
55:33.166–55:37.000
zh然後它就它一開始就直接截一張圖就直接選了
然後它就它一開始就直接截一張圖就直接選了
55:37.033–55:39.000
zh它就發現這樣選
它就發現這樣選
55:39.033–55:40.233
zh它會選錯
它會選錯
55:40.233–55:42.766
zh然後它就自己想一想，就發現說不行
然後它就自己想一想，就發現說不行
55:42.800–55:44.266
zh我應該要多截幾張圖
我應該要多截幾張圖
55:44.300–55:46.666
zh我才可以得到一個動態的狀況
我才可以得到一個動態的狀況
55:46.700–55:49.766
zh因為剛好有可能這個角色原本會跳最高
因為剛好有可能這個角色原本會跳最高
55:49.800–55:51.100
zh但它，我截圖的時候
但它，我截圖的時候
55:51.100–55:52.900
zh它剛好在最低點嘛，對不對？
它剛好在最低點嘛，對不對？
55:52.933–55:54.900
zh所以它就開始截很多張圖
所以它就開始截很多張圖
55:54.900–55:56.466
zh然後它的準確率就變超高
然後它的準確率就變超高
55:56.500–55:59.333
zh然後就一下就把那個 CAPTCHA 解決了這樣子
然後就一下就把那個 CAPTCHA 解決了這樣子
55:59.333–56:01.033
zh反正我覺得很酷啦
反正我覺得很酷啦
56:01.133–56:02.500
zh但像這種問題呢
但像這種問題呢
56:02.533–56:05.600
zhJev 就完全沒有辦法去解決，對不對？
Jev 就完全沒有辦法去解決，對不對？
56:06.133–56:09.900
zh就你怎麼靠 OCR 去解決這樣子的 CAPTCHA？
就你怎麼靠 OCR 去解決這樣子的 CAPTCHA？
56:09.933–56:11.033
zh就不可能嘛
就不可能嘛
56:11.100–56:13.700
zh所以我覺得 Jev 在 computer use
所以我覺得 Jev 在 computer use
56:13.700–56:15.966
zh這件事情上面絕對會有價值的
這件事情上面絕對會有價值的
56:16.200–56:19.600
zh但是它沒有辦法就直接取代掉現在的
但是它沒有辦法就直接取代掉現在的
56:19.600–56:23.000
zh這個 GPT-6 Astra 的 computer use
這個 GPT-6 Astra 的 computer use
56:23.400–56:25.366
zh你今天一個使用者可能問
你今天一個使用者可能問
56:25.366–56:27.833
zhGPT-6 Astra 的問題有無限多種
GPT-6 Astra 的問題有無限多種
56:27.933–56:30.200
zh它可能會操作的網站有無限多種
它可能會操作的網站有無限多種
56:30.633–56:34.733
zh你不可能預先想到哪些狀況你可以使用 Jev
你不可能預先想到哪些狀況你可以使用 Jev
56:35.833–56:39.233
zh假設今天你就是很明確地有
假設今天你就是很明確地有
56:39.266–56:43.200
zh一個工作流是要操作特定的網站
一個工作流是要操作特定的網站
56:43.233–56:45.100
zh然後要做特定的操作的話
然後要做特定的操作的話
56:45.100–56:47.866
zh你確實如果有這個固定的工作流
你確實如果有這個固定的工作流
56:47.866–56:51.000
zh你可以讓 Jev 去處理一部分的工作，OK
你可以讓 Jev 去處理一部分的工作，OK
56:51.033–56:53.400
zh很標準化的流程，很標準化的網站
很標準化的流程，很標準化的網站
56:53.400–56:55.833
zh你就直接讓 Jev 去做，那就會很快
你就直接讓 Jev 去做，那就會很快
56:56.033–56:58.033
zh好，那我自己也有簡單實測一下
好，那我自己也有簡單實測一下
56:58.033–56:59.366
zhJev 它的能力這樣子
Jev 它的能力這樣子
57:00.400–57:03.900
zh我其實有試很多不同 Category 的問題啦
我其實有試很多不同 Category 的問題啦
57:03.900–57:06.100
zh但是滿多都是假想的問題
但是滿多都是假想的問題
57:06.400–57:08.866
zh我覺得一個最直接最真實的問題
我覺得一個最直接最真實的問題
57:08.866–57:10.333
zh我有叫它去用的是
我有叫它去用的是
57:10.366–57:14.700
zh我叫 Jev 去幫我的真實信件歸類
我叫 Jev 去幫我的真實信件歸類
57:14.700–57:18.266
zh這個是我真實的信件，是來自我的信箱
這個是我真實的信件，是來自我的信箱
57:18.266–57:20.633
zh我真實收到的工作的信件
我真實收到的工作的信件
57:21.066–57:22.466
zh我叫它去幫我分類
我叫它去幫我分類
57:22.466–57:24.333
zh然後這個其實也是我可能
然後這個其實也是我可能
57:24.333–57:26.333
zh可以融入工作流的一個部分
可以融入工作流的一個部分
57:26.366–57:27.933
zh因為我工作流
因為我工作流
57:27.966–57:32.233
zh我現在有一個龍蝦在幫我處理管理專案嘛
我現在有一個龍蝦在幫我處理管理專案嘛
57:32.266–57:37.866
zh它會幫我讀信件，幫我理解我目前每個專案的進度
它會幫我讀信件，幫我理解我目前每個專案的進度
57:37.866–57:41.033
zh我有時候常常問這個龍蝦的問題
我有時候常常問這個龍蝦的問題
57:41.066–57:45.366
zh就是我現在有哪些信件是緊急要我回的？
就是我現在有哪些信件是緊急要我回的？
57:45.400–57:49.566
zh我覺得龍蝦目前回答這個問題都回答得非常好
我覺得龍蝦目前回答這個問題都回答得非常好
57:49.566–57:52.766
zh但它確實會需要花一點時間
但它確實會需要花一點時間
57:52.800–57:56.000
zh然後每一封去讀，再去判斷
然後每一封去讀，再去判斷
57:56.033–57:56.733
zh再去思考
再去思考
57:56.733–57:59.966
zh所以我這邊就直接叫 Jev
所以我這邊就直接叫 Jev
57:59.966–58:03.733
zh去幫我針對我給它範例的信件
去幫我針對我給它範例的信件
58:03.766–58:05.766
zh去給出一些回答這樣子
去給出一些回答這樣子
58:05.766–58:09.500
zh緊急程度是其中一個，但我也有問其他問題
緊急程度是其中一個，但我也有問其他問題
58:09.533–58:12.400
zh比如說直接幫我為這封信分類
比如說直接幫我為這封信分類
58:12.433–58:17.433
zh它是一個活動邀約，還是一個 scheduling 相關的
它是一個活動邀約，還是一個 scheduling 相關的
58:17.433–58:20.133
zh還是一個 finance 相關的
還是一個 finance 相關的
58:20.166–58:22.933
zh還是 follow-up，還是一個 FYI 等等
還是 follow-up，還是一個 FYI 等等
58:22.966–58:26.900
zh然後目前的狀態等等，反正我有問它很多問題啦
然後目前的狀態等等，反正我有問它很多問題啦
58:26.900–58:30.366
zh那我覺得直接跟大家講結論啦
那我覺得直接跟大家講結論啦
58:30.366–58:32.833
zh就是絕大多數的問題
就是絕大多數的問題
58:32.866–58:36.633
zh它回答都是完全正確的，然後機率分布
它回答都是完全正確的，然後機率分布
58:36.633–58:38.333
zh我覺得也是非常接近的
我覺得也是非常接近的
58:38.366–58:41.133
zh尤其是有一題我覺得非常令我驚豔的喔
尤其是有一題我覺得非常令我驚豔的喔
58:41.166–58:43.033
zh就是那一題呢
就是那一題呢
58:43.033–58:46.900
zh那封信呢，是一個繳費，活動繳費的提醒，OK
那封信呢，是一個繳費，活動繳費的提醒，OK
58:46.933–58:49.466
zh但是 tricky 的地方就是在於
但是 tricky 的地方就是在於
58:49.466–58:52.900
zh這個繳費期限已經過了，過了一天了，OK
這個繳費期限已經過了，過了一天了，OK
58:52.933–58:55.266
zh所以現在已經沒有辦法繳費了
所以現在已經沒有辦法繳費了
58:55.300–58:56.366
zh那針對這封信
那針對這封信
58:56.366–58:58.033
zh它的緊急程度是多高？
它的緊急程度是多高？
58:58.066–59:00.900
zh那這邊確實是有一點討論空間沒錯嘛
那這邊確實是有一點討論空間沒錯嘛
59:00.900–59:01.133
zh對不對？
對不對？
59:01.133–59:04.266
zh就有一些人可能會覺得
就有一些人可能會覺得
59:04.300–59:05.800
zh那它就不緊急了
那它就不緊急了
59:05.833–59:09.033
zh應該說現在就完全不緊急了
應該說現在就完全不緊急了
59:09.166–59:11.766
zh因為你不用管它，因為已經錯過繳費期限啦
因為你不用管它，因為已經錯過繳費期限啦
59:11.833–59:14.133
zhThere's nothing you can do，對不對？
There's nothing you can do，對不對？
59:14.533–59:17.200
zh有些人可能會這樣覺得，但是像我自己
有些人可能會這樣覺得，但是像我自己
59:17.233–59:21.700
zh我個人覺得這個答案應該是非常緊急
我個人覺得這個答案應該是非常緊急
59:21.733–59:23.100
zh應該是最緊急的
應該是最緊急的
59:23.100–59:25.900
zh因為繳費期限還沒過太久
因為繳費期限還沒過太久
59:25.933–59:30.133
zh還在 24 小時，只是超過 24 小時之內
還在 24 小時，只是超過 24 小時之內
59:31.266–59:34.300
zh有可能有些活動單位，假設是重要活動的話
有可能有些活動單位，假設是重要活動的話
59:34.300–59:35.966
zh他可能也是會通融一下
他可能也是會通融一下
59:36.000–59:38.433
zh然後就是讓我繳費嘛，對不對？
然後就是讓我繳費嘛，對不對？
59:38.433–59:41.966
zh所以說我自己個人還是會把它排成緊急啦
所以說我自己個人還是會把它排成緊急啦
59:42.700–59:45.933
zh像是 GPT-6 針對這一題呢
像是 GPT-6 針對這一題呢
59:45.933–59:49.800
zh它給出的答案就是「無法判斷」
它給出的答案就是「無法判斷」
59:50.066–59:55.233
zh那 Jev 它針對這題給出的判斷就是「非常緊急」
那 Jev 它針對這題給出的判斷就是「非常緊急」
59:55.500–59:58.500
zh我覺得非常緊急就是比較好的一個答案
我覺得非常緊急就是比較好的一個答案
59:58.833–1:00:00.600
zhJev 甚至贏過了 GPT-6
Jev 甚至贏過了 GPT-6
1:00:00.600–1:00:02.700
zh我覺得這個答案是非常好的
我覺得這個答案是非常好的
1:00:03.200–1:00:09.433
zh雖然說它的整體的機率分布也沒有到非常有自信啦
雖然說它的整體的機率分布也沒有到非常有自信啦
1:00:09.466–1:00:14.033
zhJev 它選擇非常緊急的機率是 47%
Jev 它選擇非常緊急的機率是 47%
1:00:14.066–1:00:17.466
zhOK，所以它也不是超級自信覺得這是非常緊急的
OK，所以它也不是超級自信覺得這是非常緊急的
1:00:17.700–1:00:19.200
zh那這也是 good sign
那這也是 good sign
1:00:19.233–1:00:22.133
zh因為這題它本來就不應該有超級高的信心
因為這題它本來就不應該有超級高的信心
1:00:22.333–1:00:26.666
zh所以 overall 我覺得 Jev 給出的答案都是完全沒有問題的啦
所以 overall 我覺得 Jev 給出的答案都是完全沒有問題的啦
1:00:27.000–1:00:30.366
zh那當然我也沒有特別去 challenge
那當然我也沒有特別去 challenge
1:00:30.400–1:00:32.700
zh它一些太刁鑽的問題啦
它一些太刁鑽的問題啦
1:00:32.733–1:00:36.433
zh因為我就真的是拿我的真實的 use case 去測試
因為我就真的是拿我的真實的 use case 去測試
1:00:37.300–1:00:38.466
zh目前的結果是非常好的
目前的結果是非常好的
1:00:38.666–1:00:41.833
zh當然啦，我覺得這個本來就是預料中的結果
當然啦，我覺得這個本來就是預料中的結果
1:00:41.866–1:00:43.433
zh這也沒什麼好意外的
這也沒什麼好意外的
1:00:43.433–1:00:48.033
zh因為現在的 LLM 本來就是有很好的判斷能力
因為現在的 LLM 本來就是有很好的判斷能力
1:00:48.033–1:00:52.266
zhJev 對於這些一般的問題的判斷完全正確
Jev 對於這些一般的問題的判斷完全正確
1:00:52.300–1:00:54.833
zh我覺得一點都不值得驚訝啦
我覺得一點都不值得驚訝啦
1:00:54.833–1:00:56.933
zh我覺得還蠻正常的啦
我覺得還蠻正常的啦
1:00:56.966–1:01:01.000
zh主要還是說它的穩定性 overall 是真的很好的
主要還是說它的穩定性 overall 是真的很好的
1:01:01.033–1:01:04.166
zh然後確實延遲跟成本也明顯
然後確實延遲跟成本也明顯
1:01:04.166–1:01:08.366
zh明顯是有跟一般的 LLM 比起來很好的
明顯是有跟一般的 LLM 比起來很好的
1:01:08.400–1:01:10.400
zh所以我目前測試到現在
所以我目前測試到現在
1:01:10.433–1:01:14.200
zh我是覺得 Jev 確實可以融入我的工作流當中
我是覺得 Jev 確實可以融入我的工作流當中
1:01:14.466–1:01:17.133
zh只是具體來說怎麼操作
只是具體來說怎麼操作
1:01:17.133–1:01:21.500
zh我還要再花點時間去思考然後再去實驗
我還要再花點時間去思考然後再去實驗
1:01:21.933–1:01:25.933
zh但我已經可以看到它的融入工作流的潛能了
但我已經可以看到它的融入工作流的潛能了
1:01:26.066–1:01:27.600
zh最後我們來聊一下
最後我們來聊一下
1:01:27.633–1:01:31.066
zhJev 這個模型對於 AI 的意義究竟是什麼？
Jev 這個模型對於 AI 的意義究竟是什麼？
1:01:31.533–1:01:35.400
zh因為我覺得有一些人可能稍微把
因為我覺得有一些人可能稍微把
1:01:35.400–1:01:38.866
zh這個 Jev 吹得有點太強大了
這個 Jev 吹得有點太強大了
1:01:38.866–1:01:43.266
zh講得好像是 Jev 會改變一切的這種感覺
講得好像是 Jev 會改變一切的這種感覺
1:01:43.300–1:01:46.166
zh我自己在看 Jev 這個模型的時候
我自己在看 Jev 這個模型的時候
1:01:46.166–1:01:49.200
zh當我真的開始完全理解它之後
當我真的開始完全理解它之後
1:01:49.233–1:01:58.100
zh我覺得它不像是一個會大幅改變現在的 AI agent 典範的一個模型
我覺得它不像是一個會大幅改變現在的 AI agent 典範的一個模型
1:01:58.133–1:02:04.366
zh它比較像是在加速一個原本就有在發生的變化
它比較像是在加速一個原本就有在發生的變化
1:02:04.366–1:02:06.733
zh這個變化，這個趨勢呢
這個變化，這個趨勢呢
1:02:06.766–1:02:11.333
zh就是所謂的 model routing，模型路由的趨勢
就是所謂的 model routing，模型路由的趨勢
1:02:11.766–1:02:14.533
zh它是在加速這個趨勢的進展而已
它是在加速這個趨勢的進展而已
1:02:14.566–1:02:17.733
zh並不是說把我們帶到了一條新的路上
並不是說把我們帶到了一條新的路上
1:02:18.266–1:02:19.466
zh為什麼會這樣說呢？
為什麼會這樣說呢？
1:02:19.866–1:02:20.033
zh首先
首先
1:02:20.033–1:02:22.566
zh我們知道我們現在在使用 AI agent 的這個方式
我們知道我們現在在使用 AI agent 的這個方式
1:02:22.566–1:02:25.833
zh並不是成本效率上面最優化的方式嘛
並不是成本效率上面最優化的方式嘛
1:02:25.866–1:02:26.300
zh對不對？
對不對？
1:02:26.300–1:02:27.300
zh很明顯嘛
很明顯嘛
1:02:27.666–1:02:31.500
zh就你今天訂閱那個 ChatGPT 200 美金的方案
就你今天訂閱那個 ChatGPT 200 美金的方案
1:02:31.500–1:02:34.200
zh然後你叫 Astra 去做一件事情
然後你叫 Astra 去做一件事情
1:02:34.766–1:02:36.033
zh它從頭到尾
它從頭到尾
1:02:36.033–1:02:39.833
zh從這個問題最一開始的思考，這個計畫
從這個問題最一開始的思考，這個計畫
1:02:39.866–1:02:43.233
zh然後到實際做這個 computer use 的每一個步驟
然後到實際做這個 computer use 的每一個步驟
1:02:43.266–1:02:45.166
zh全部都是它自己完成的嘛
全部都是它自己完成的嘛
1:02:45.200–1:02:45.800
zh對不對？
對不對？
1:02:45.800–1:02:48.933
zh它並不會做到一半覺得這個問題比較簡單
它並不會做到一半覺得這個問題比較簡單
1:02:48.966–1:02:51.433
zh它就直接丟給那個 Luna 去解決
它就直接丟給那個 Luna 去解決
1:02:51.733–1:02:54.500
zh它可能會有 multi-agent system 沒錯
它可能會有 multi-agent system 沒錯
1:02:54.533–1:02:56.600
zh但是它就是 multiple Astra
但是它就是 multiple Astra
1:02:56.600–1:02:58.366
zh全部都是 Astra 這樣子
全部都是 Astra 這樣子
1:02:58.633–1:03:00.933
zh但很明顯這邊有很多的成本跟
但很明顯這邊有很多的成本跟
1:03:00.933–1:03:02.733
zh這個效率的優化空間嘛
這個效率的優化空間嘛
1:03:02.766–1:03:03.566
zh對不對？
對不對？
1:03:04.166–1:03:07.600
zh很多簡單的事情真的不需要去交給 Astra 做
很多簡單的事情真的不需要去交給 Astra 做
1:03:08.300–1:03:14.300
zh未來呢，我覺得絕大多數人現在都有共識的一點
未來呢，我覺得絕大多數人現在都有共識的一點
1:03:14.833–1:03:21.133
zh未來我們會漸漸地走向一個更多 model routing 的混合系統
未來我們會漸漸地走向一個更多 model routing 的混合系統
1:03:21.133–1:03:23.666
zh有更多模型路由的系統
有更多模型路由的系統
1:03:23.666–1:03:27.633
zh同樣一個系統當中會有弱跟強的模型
同樣一個系統當中會有弱跟強的模型
1:03:27.666–1:03:32.200
zh然後會動態地去決定目前這件事情要交給誰去處理
然後會動態地去決定目前這件事情要交給誰去處理
1:03:32.200–1:03:33.833
zh那為什麼 model routing
那為什麼 model routing
1:03:33.866–1:03:36.200
zh這樣的系統現在還沒有辦法普及呢？
這樣的系統現在還沒有辦法普及呢？
1:03:36.333–1:03:38.766
zh不是很多人都覺得這個是未來嗎？
不是很多人都覺得這個是未來嗎？
1:03:38.866–1:03:40.800
zh為什麼大家沒有一直往這邊走呢？
為什麼大家沒有一直往這邊走呢？
1:03:41.233–1:03:43.933
zh我覺得目前有個蠻核心的卡點
我覺得目前有個蠻核心的卡點
1:03:43.966–1:03:47.300
zh就是主要是因為模型的能力進步
就是主要是因為模型的能力進步
1:03:47.300–1:03:50.466
zh模型的能力變化實在是太過快速了
模型的能力變化實在是太過快速了
1:03:50.466–1:03:53.933
zh導致整個工作流的變化也非常的快速
導致整個工作流的變化也非常的快速
1:03:53.966–1:03:56.933
zh我們現在的一個 LLM 的工作流呢
我們現在的一個 LLM 的工作流呢
1:03:56.933–1:03:58.633
zh可能年初是長這樣
可能年初是長這樣
1:03:58.666–1:04:00.166
zh這個年中就變了
這個年中就變了
1:04:00.166–1:04:04.533
zh你中間很多的步驟可能因為模型能力提升就改變了
你中間很多的步驟可能因為模型能力提升就改變了
1:04:04.566–1:04:07.333
zh好，那你工作流沒有辦法定下來
好，那你工作流沒有辦法定下來
1:04:07.333–1:04:09.833
zh你就比較難有一個
你就比較難有一個
1:04:09.833–1:04:14.300
zh就是穩定地知道你有哪些事情要做
就是穩定地知道你有哪些事情要做
1:04:14.300–1:04:18.166
zh那你就比較難就是穩定地去指派某一些不同的
那你就比較難就是穩定地去指派某一些不同的
1:04:18.200–1:04:20.300
zhAI 模型去做這些事情嘛
AI 模型去做這些事情嘛
1:04:20.333–1:04:21.866
zh那當然對於有一些人
那當然對於有一些人
1:04:21.866–1:04:24.333
zh他的工作流可能現在已經蠻標準了
他的工作流可能現在已經蠻標準了
1:04:24.366–1:04:26.533
zh很確定了就是做這些事情
很確定了就是做這些事情
1:04:26.566–1:04:30.700
zh然後就是要大量重複進行一些簡單的操作的時候
然後就是要大量重複進行一些簡單的操作的時候
1:04:30.700–1:04:34.433
zh他確實就是可以在他的 harness 當中
他確實就是可以在他的 harness 當中
1:04:34.433–1:04:38.166
zh把這個 model routing 做得蠻不錯的
把這個 model routing 做得蠻不錯的
1:04:38.200–1:04:41.200
zh但是這樣子的人並不是大多數啦
但是這樣子的人並不是大多數啦
1:04:41.233–1:04:41.566
enOK
OK
1:04:41.566–1:04:45.966
zh然後 OpenAI 也沒有覺得他們的這個產品
然後 OpenAI 也沒有覺得他們的這個產品
1:04:45.966–1:04:48.666
zh可以成熟到直接把 model routing
可以成熟到直接把 model routing
1:04:48.700–1:04:51.333
zh就是加到他們的這個 Agent 當中
就是加到他們的這個 Agent 當中
1:04:51.333–1:04:53.400
zh那他們其實之前有嘗試啦
那他們其實之前有嘗試啦
1:04:53.600–1:04:57.400
zh就是我有點忘了是 GPT-5 那一代還是哪一代
就是我有點忘了是 GPT-5 那一代還是哪一代
1:04:57.800–1:04:59.466
zh但反正有一代模型呢
但反正有一代模型呢
1:04:59.466–1:05:03.000
zh就是你有一陣子你是不知道你在用哪個模型的
就是你有一陣子你是不知道你在用哪個模型的
1:05:03.400–1:05:04.133
zh大家還記得嗎？
大家還記得嗎？
1:05:04.166–1:05:06.133
zh就你有時候，它根據你的問題
就你有時候，它根據你的問題
1:05:06.133–1:05:08.933
zh它會給你一個比較爛的模型、比較笨的模型
它會給你一個比較爛的模型、比較笨的模型
1:05:09.233–1:05:10.566
zh有時候又是比較好的模型
有時候又是比較好的模型
1:05:11.300–1:05:15.533
zh那我記得那陣子就得到超多人的批評
那我記得那陣子就得到超多人的批評
1:05:15.533–1:05:18.433
zh所以後來 OpenAI 就不幹這件事情了
所以後來 OpenAI 就不幹這件事情了
1:05:18.466–1:05:20.800
zh大家還是自己選模型這樣
大家還是自己選模型這樣
1:05:20.800–1:05:24.566
zh但你要知道，我覺得很多人會想要自己選模型
但你要知道，我覺得很多人會想要自己選模型
1:05:24.600–1:05:27.133
zh並不是因為他們真的想要自己選模型
並不是因為他們真的想要自己選模型
1:05:27.133–1:05:32.033
zh而是因為 OpenAI 當時的 model router 真的太爛了
而是因為 OpenAI 當時的 model router 真的太爛了
1:05:32.066–1:05:36.633
zh然後，我覺得很多人可能他嘴上不願意承認啦
然後，我覺得很多人可能他嘴上不願意承認啦
1:05:36.666–1:05:39.533
zh但是如果今天一個 model router
但是如果今天一個 model router
1:05:39.533–1:05:42.666
zh可以真的完美地幫他做模型選擇的話
可以真的完美地幫他做模型選擇的話
1:05:42.700–1:05:45.066
zh沒有人會想要自己選模型啦
沒有人會想要自己選模型啦
1:05:45.066–1:05:48.600
zh因為自己選模型就是額外一個思考的步驟
因為自己選模型就是額外一個思考的步驟
1:05:48.633–1:05:51.866
zh然後額外的手動步驟嘛，對不對？
然後額外的手動步驟嘛，對不對？
1:05:51.866–1:05:53.766
zh那就還是麻煩啦
那就還是麻煩啦
1:05:54.333–1:05:55.900
zhOpenAI 也知道這一點
OpenAI 也知道這一點
1:05:55.900–1:05:58.433
zh他們其實未來所有東西都會合在一起
他們其實未來所有東西都會合在一起
1:05:58.466–1:06:02.300
zh未來那個 Chat 跟 Work 的這兩個 Tab 也會合在一起
未來那個 Chat 跟 Work 的這兩個 Tab 也會合在一起
1:06:02.333–1:06:05.233
zh然後所有 Models 也全部合在一起
然後所有 Models 也全部合在一起
1:06:05.266–1:06:08.966
zh就是一個統一的介面，任何問題
就是一個統一的介面，任何問題
1:06:08.966–1:06:12.400
zh任何的工作，你都直接丟給它
任何的工作，你都直接丟給它
1:06:12.433–1:06:13.866
zh然後它自己會判斷
然後它自己會判斷
1:06:13.866–1:06:14.766
zh要不要用工具
要不要用工具
1:06:15.066–1:06:15.933
zh要用哪個模型
要用哪個模型
1:06:16.066–1:06:16.866
zh要思考多久
要思考多久
1:06:17.266–1:06:18.433
zh反正我講了這麼多
反正我講了這麼多
1:06:18.466–1:06:20.433
zh我只想講說這個 model routing
我只想講說這個 model routing
1:06:20.466–1:06:23.266
zh模型路由真的就是未來的趨勢啦
模型路由真的就是未來的趨勢啦
1:06:23.300–1:06:26.533
zh只不過我們還在慢慢地一步一步朝那邊走這樣子
只不過我們還在慢慢地一步一步朝那邊走這樣子
1:06:27.000–1:06:29.100
zh那我覺得 Jev 的出現呢
那我覺得 Jev 的出現呢
1:06:29.100–1:06:31.666
zh它就是會加速這個趨勢的普及
它就是會加速這個趨勢的普及
1:06:31.666–1:06:32.933
zhOK，為什麼？
OK，為什麼？
1:06:33.100–1:06:38.133
zh因為首先 Jev 是一個很好的 off-the-shelf 的 model router，OK
因為首先 Jev 是一個很好的 off-the-shelf 的 model router，OK
1:06:38.133–1:06:40.300
zhoff-the-shelf 的意思就是
off-the-shelf 的意思就是
1:06:40.300–1:06:42.866
zh你就直接拿它的 API 來用就好了
你就直接拿它的 API 來用就好了
1:06:42.900–1:06:44.733
zh你不用再額外去訓練它
你不用再額外去訓練它
1:06:44.733–1:06:48.733
zh它自己本身就有很好的 model routing 的判斷能力
它自己本身就有很好的 model routing 的判斷能力
1:06:48.733–1:06:50.733
zh這一點我自己也有測試過
這一點我自己也有測試過
1:06:50.733–1:06:52.900
zh雖然我是用一些假想的問題
雖然我是用一些假想的問題
1:06:52.900–1:06:54.566
zh但它都判斷得非常好
但它都判斷得非常好
1:06:54.566–1:06:57.566
zh就是哪些問題簡單，要丟給那個小模型
就是哪些問題簡單，要丟給那個小模型
1:06:57.566–1:06:59.333
zh哪些要丟給大模型等等的
哪些要丟給大模型等等的
1:06:59.366–1:07:01.200
zh那這件事情本身呢
那這件事情本身呢
1:07:01.200–1:07:06.866
zh就是可以降低大家自己實作 model routing 的門檻，對吧？
就是可以降低大家自己實作 model routing 的門檻，對吧？
1:07:07.166–1:07:11.266
zh至少 Router 本身，這是你不用再煩惱了
至少 Router 本身，這是你不用再煩惱了
1:07:11.266–1:07:14.500
zh你就丟給 Jev，去判斷就 OK 了
你就丟給 Jev，去判斷就 OK 了
1:07:14.866–1:07:19.566
zh你只要自己再把它那個問題跟選項調一下
你只要自己再把它那個問題跟選項調一下
1:07:19.600–1:07:21.566
zh應該就沒問題了
應該就沒問題了
1:07:21.733–1:07:24.533
zh然後降低實作門檻的同時呢
然後降低實作門檻的同時呢
1:07:24.533–1:07:26.800
zh它又因為 Jev 爆紅了
它又因為 Jev 爆紅了
1:07:26.800–1:07:31.966
zh然後確實也就是真的能夠帶來遠遠超過現在
然後確實也就是真的能夠帶來遠遠超過現在
1:07:32.000–1:07:36.133
zhLLM 的這個速度跟成本上面的優化
LLM 的這個速度跟成本上面的優化
1:07:36.133–1:07:40.866
zh所以說我相信很多人會開始正視 model routing
所以說我相信很多人會開始正視 model routing
1:07:40.866–1:07:42.566
zh正式想要在
正式想要在
1:07:42.566–1:07:47.966
zh自己的架構中混合一些其他的模型這樣子
自己的架構中混合一些其他的模型這樣子
1:07:48.000–1:07:50.800
zh當然，Jev 作為 model router 是一種可能性嘛
當然，Jev 作為 model router 是一種可能性嘛
1:07:50.800–1:07:51.433
zh對不對？
對不對？
1:07:51.666–1:07:56.433
zh但你直接使用 Jev 這也算是一個這個 model routing 嘛，對不對？
但你直接使用 Jev 這也算是一個這個 model routing 嘛，對不對？
1:07:57.000–1:07:59.700
zh就有一些工作交給原本的 LLM 做
就有一些工作交給原本的 LLM 做
1:07:59.733–1:08:01.400
zh有一些是 Jev 直接處理
有一些是 Jev 直接處理
1:08:01.433–1:08:03.233
zh這個也算是 model routing 啊
這個也算是 model routing 啊
1:08:03.266–1:08:05.300
zh這也是一個混合的模型架構嘛
這也是一個混合的模型架構嘛
1:08:05.300–1:08:05.933
zh對不對？
對不對？
1:08:05.966–1:08:08.366
zh其實像我就是一個典型的例子嘛，對不對？
其實像我就是一個典型的例子嘛，對不對？
1:08:08.900–1:08:12.533
zh現在我的龍蝦基本上就是使用 GPT-5.6
現在我的龍蝦基本上就是使用 GPT-5.6
1:08:12.533–1:08:16.800
zh其實我應該去換 Astra，但就是還沒找到時間
其實我應該去換 Astra，但就是還沒找到時間
1:08:16.833–1:08:18.566
zh然後目前用起來
然後目前用起來
1:08:18.600–1:08:22.100
zh我的 use case 5.6 已經差不多了
我的 use case 5.6 已經差不多了
1:08:22.133–1:08:25.100
zh也沒有到非常有動力想要換
也沒有到非常有動力想要換
1:08:25.133–1:08:29.966
zh反正我現在就是用 5.6，所有事情都是交給它處理
反正我現在就是用 5.6，所有事情都是交給它處理
1:08:30.733–1:08:32.900
zhJev 的推出之後，我剛剛不是有跟大家講嗎？
Jev 的推出之後，我剛剛不是有跟大家講嗎？
1:08:32.966–1:08:35.466
zh測試完了那個 Email 的分類之後
測試完了那個 Email 的分類之後
1:08:35.500–1:08:38.966
zh我是真的覺得我可以把 Jev 融入我的工作流了
我是真的覺得我可以把 Jev 融入我的工作流了
1:08:39.000–1:08:42.666
zh那沒有 Jev 出來之前，其實嚴格來說
那沒有 Jev 出來之前，其實嚴格來說
1:08:42.666–1:08:46.233
zh我做不做得到這件事情？也是可以啊
我做不做得到這件事情？也是可以啊
1:08:46.366–1:08:48.000
zh我拿一個 Luna
我拿一個 Luna
1:08:48.033–1:08:52.200
zh或者是我拿一個甚至一個本地的開源模型
或者是我拿一個甚至一個本地的開源模型
1:08:52.200–1:08:54.000
zh一個 Qwen 之類的
一個 Qwen 之類的
1:08:54.033–1:08:56.966
zh跑在我自己的 DGX Spark 上面
跑在我自己的 DGX Spark 上面
1:08:56.966–1:08:59.400
zh甚至 Mac mini 都有可能
甚至 Mac mini 都有可能
1:08:59.400–1:09:00.566
zh就是超級小的
就是超級小的
1:09:00.566–1:09:02.100
zh其實也是可以啊，對不對？
其實也是可以啊，對不對？
1:09:02.633–1:09:06.566
zh但有 Jev 出現呢，我就更想做這件事情啦
但有 Jev 出現呢，我就更想做這件事情啦
1:09:06.700–1:09:09.000
zh所以我覺得接下來會發生的事情呢
所以我覺得接下來會發生的事情呢
1:09:09.000–1:09:13.733
zh就是當然像我這些自己有在架一些工作流的人
就是當然像我這些自己有在架一些工作流的人
1:09:13.733–1:09:19.300
zh就會開始越來越多把 Jev 融入自己的工作流當中
就會開始越來越多把 Jev 融入自己的工作流當中
1:09:19.300–1:09:22.833
zh能夠節省一些成本跟時間是絕對的
能夠節省一些成本跟時間是絕對的
1:09:22.866–1:09:25.700
zh但也要看你的工作性質
但也要看你的工作性質
1:09:25.866–1:09:30.033
zh對於蠻多的工作來說，可能不會省到超級多
對於蠻多的工作來說，可能不會省到超級多
1:09:30.600–1:09:34.000
zh然後有些工作會省到超爆多
然後有些工作會省到超爆多
1:09:34.500–1:09:35.700
zh但就是不一樣
但就是不一樣
1:09:35.833–1:09:37.266
zh像對我來說啦
像對我來說啦
1:09:37.266–1:09:40.233
zh就是它幫我額外 Tag 一下這個
就是它幫我額外 Tag 一下這個
1:09:40.266–1:09:42.533
zhEmail 是哪一種類別啊
Email 是哪一種類別啊
1:09:42.533–1:09:44.000
zh什麼緊急程度啊
什麼緊急程度啊
1:09:44.033–1:09:47.033
zh其實真的對我來說 Impact 沒有到很大啦
其實真的對我來說 Impact 沒有到很大啦
1:09:47.166–1:09:50.733
zh它不會省我多少的成本，然後同時可能
它不會省我多少的成本，然後同時可能
1:09:50.733–1:09:51.900
zh就是在我問
就是在我問
1:09:51.933–1:09:55.700
zh那個問題的時候幫我省下幾秒鐘的時間吧
那個問題的時候幫我省下幾秒鐘的時間吧
1:09:55.700–1:09:58.033
zh所以對我來說不是一個超級大的 game changer
所以對我來說不是一個超級大的 game changer
1:09:58.033–1:10:00.466
zh但對於那些比如說要 screen
但對於那些比如說要 screen
1:10:00.500–1:10:03.566
zh幾千封履歷的人來說絕對是有幫助的
幾千封履歷的人來說絕對是有幫助的
1:10:03.566–1:10:06.233
zh然後我覺得再下一步呢
然後我覺得再下一步呢
1:10:06.266–1:10:08.833
zh就是標準的 AI agent
就是標準的 AI agent
1:10:08.866–1:10:12.666
zh就會開始把 Jev 當作一個工具了
就會開始把 Jev 當作一個工具了
1:10:12.833–1:10:14.766
zh可能在 model routing 之前
可能在 model routing 之前
1:10:14.766–1:10:16.500
zh它就是先自己做 routing
它就是先自己做 routing
1:10:16.500–1:10:18.233
zh然後把它當作一個工具吧
然後把它當作一個工具吧
1:10:18.333–1:10:19.800
zh我覺得比較可能的是這樣子
我覺得比較可能的是這樣子
1:10:20.966–1:10:25.000
zh換言之呢，比如說 Astra 在工作的過程中
換言之呢，比如說 Astra 在工作的過程中
1:10:25.000–1:10:29.600
zh假設你叫 Astra 去做一個大量的 screening
假設你叫 Astra 去做一個大量的 screening
1:10:29.633–1:10:32.633
zh大量地去看大量的 email 之類的
大量地去看大量的 email 之類的
1:10:32.633–1:10:35.133
zh它可能就會 call 一下 Jev
它可能就會 call 一下 Jev
1:10:35.133–1:10:40.733
zh就等於說這個 Jev 融入了 AI agent 的 harness 當中的這種感覺
就等於說這個 Jev 融入了 AI agent 的 harness 當中的這種感覺
1:10:40.733–1:10:43.733
zh我覺得下一步蠻可能會發生這樣子的事情啦
我覺得下一步蠻可能會發生這樣子的事情啦
1:10:45.233–1:10:48.300
zh反正無論如何，你可以想像的
反正無論如何，你可以想像的
1:10:48.333–1:10:51.733
zh就是 model routing 一定是未來
就是 model routing 一定是未來
1:10:51.733–1:10:56.866
zh而且未來不只是你在 LLM 跟 Jev
而且未來不只是你在 LLM 跟 Jev
1:10:56.866–1:11:01.333
zh跟中等的 LLM 之間進行選擇
跟中等的 LLM 之間進行選擇
1:11:01.366–1:11:05.433
zh還會有地端的 LLM 跟雲端的 LLM 的選擇
還會有地端的 LLM 跟雲端的 LLM 的選擇
1:11:05.433–1:11:07.133
zh會全部混在一起
會全部混在一起
1:11:07.166–1:11:08.733
zh我覺得未來就是這樣
我覺得未來就是這樣
1:11:08.733–1:11:13.800
zh對於我們這些科技宅來說，你想要的話
對於我們這些科技宅來說，你想要的話
1:11:13.833–1:11:18.400
zh你可以隨時把這些最新的 capability 融入到你的工作當中
你可以隨時把這些最新的 capability 融入到你的工作當中
1:11:18.400–1:11:20.500
zh但是對於一般人來說
但是對於一般人來說
1:11:20.500–1:11:24.500
zh我相信他們整個過程中他們都不會感覺到
我相信他們整個過程中他們都不會感覺到
1:11:24.533–1:11:26.533
zh他們，像是 Jev 問世
他們，像是 Jev 問世
1:11:26.566–1:11:29.833
zh他們不會看到 Jev，也不會用到 Jev
他們不會看到 Jev，也不會用到 Jev
1:11:29.833–1:11:34.500
zh但是 Jev 會實質上慢慢地改變他們的
但是 Jev 會實質上慢慢地改變他們的
1:11:34.500–1:11:37.566
zhAI agent 的速度跟成本
AI agent 的速度跟成本
1:11:37.600–1:11:40.466
zh這些是他們會慢慢體感到的
這些是他們會慢慢體感到的
1:11:40.466–1:11:43.300
zh他們不會知道過程中發生了什麼事情
他們不會知道過程中發生了什麼事情
1:11:43.333–1:11:48.700
zh只有我們這些真的科技宅們才真的是知道這些內幕啊
只有我們這些真的科技宅們才真的是知道這些內幕啊
1:11:48.866–1:11:49.000
enOK
OK
1:11:49.666–1:11:52.066
zh好，那麼這集科技浪就大概跟大家聊到這邊
好，那麼這集科技浪就大概跟大家聊到這邊
1:11:52.466–1:11:55.800
zh如果你覺得本集節目對於你了解
如果你覺得本集節目對於你了解
1:11:55.833–1:11:58.266
zhJev 來說是有點幫助的
Jev 來說是有點幫助的
1:11:58.266–1:12:01.300
zh你覺得節目是有趣好聽的話呢
你覺得節目是有趣好聽的話呢
1:12:01.333–1:12:03.466
zh歡迎給我們一個五星評分、留言
歡迎給我們一個五星評分、留言
1:12:03.466–1:12:06.933
zh然後把科技浪分享給你的親朋好友們
然後把科技浪分享給你的親朋好友們
1:12:06.966–1:12:08.866
zh我們就下週再見囉，拜拜！
我們就下週再見囉，拜拜！
影片筆記：EP155 - 席捲 AI 圈的 Jev，到底在紅什麼？AI Agent 真的要大改了嗎？
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 可先使用，仍有待修正項目
本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。
- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
TypeSafe AI 推出的新模型 Jev 被定義為「基於大型語言模型的通用分類模型」（LLM-based general-purpose classification model），透過僅輸出機率分布而非生成文字，實現了極高的速度與成本優勢；它不會取代傳統 LLM，而是作為 Model Routing 的關鍵組件，加速混合模型系統與 AI Agent 的效率優化。
核心重點
- Jev 的核心定義與原理：
- Jev 是由 TypeSafe AI 推出的 System 1 model（直覺腦模型）。
- 官方定義為「基於大型語言模型的通用分類模型」。
- 運作機制：不生成文字、圖片或程式碼，僅輸出機率分布（Probability Distribution）。
- 訓練方式：採用 RLCD (Reinforcement Learning for Calibrated Decisions，校準決策)，確保模型輸出的機率分布符合現實事實。
- 技術限制：閉源 API，總 Token 限制 64K，單一問題限制 32K，每題最多 255 個選項。
- 速度與成本優勢來源：
- 傳統 LLM 生成 2000 字需進行 2000 次 Forward Pass。
- Jev 僅需一次 Forward Pass 吐出一個 Token/機率分布，因此宣稱速度快 200 倍、成本低 400 倍。
- 可平行評估多個問題，增加問題數量不會顯著增加延遲。
- 應用場景：Model Routing 與資料篩選：
- Model Routing：Jev 可用於判斷問題難度，將簡單判斷交給 Jev，複雜推理交給強模型（LLM）。
- 資料篩選：適用於履歷篩選、郵件分類等大量且標準化的分類任務，可大幅節省 Token 與時間。
- Computer Use：可處理標準化網站操作（透過 DOM Tree 與 OCR），但受限於無視覺能力，無法處理複雜視覺推理（如動態 CAPTCHA）。
- LLM 轉 Jev 的可行性：
- 無需額外訓練，現有 LLM（如 Qwen3.5-4B）可透過 Prompt 技巧模擬 Jev 行為。
- 方法：僅計算特定選項的 logits，並透過 softmax 僅在這兩個選項間分配 100% 機率。
- 自造 Jev 在簡單問題上準確率接近 100%，但在複雜問題與機率校準上不如原生 Jev。
- 產業影響與未來趨勢：
- Jev 不會改變 AI Agent 的典範，而是加速 Model Routing 趨勢的普及。
- 未來標準 AI Agent 會將 Jev 視為工具整合進工作流（Harness），實現端雲混合模型的選擇。
- 一般用戶雖無感知，但 Jev 將實質改變 AI Agent 的速度與成本。
詳細大綱
I. 節目開場與 iPhone 18 Pro 討論
- 節目介紹：科技浪 Podcast，由犀牛盾贊助。
- iPhone 18 Pro 升級點：
- 晶片：A20 Pro（對比上一代 A19 Pro）。
- 優勢：電池續航、晶片效能、相機（可變光圈）。
- 關鍵差異：AI 運算表現大幅提升。
- AI 運算實測數據：
- 測試項目：On-Device 的 Apple Foundation Model。
- 指標：Long prompt 的 time to first token。
- 數據對比：A19 Pro 約 2000+ 毫秒 vs. A20 Pro 約 1000 毫秒（直接砍半）。
- 未來展望：
- Apple Intelligence 與 Siri 的準備。
- 預期 iOS 27 中文版若達到英文版滿血狀態，用戶體驗會有感。
II. 贊助商推廣：犀牛盾 (RhinoShield)
- AirX 極致氣墊緩衝殼：太空級防摔，360 度包覆式氣囊，創下瑞典太空中心三萬公尺近太空高度摔落測試紀錄。
- SolidX 強化吸震緩衝殼：霧透系列，細緻磨砂質感。
- 其他產品線：Clear 透明殼系列（終身抗黃保固）、Bumper 邊框殼。
- 優惠與活動：保護貼限時 7 折起，RHINOLOOP 手機殼回收計畫，折扣碼
i18-harry。
III. AI 模型 Jev 介紹與背景
- Jev 簡介：
- 由 TypeSafe AI 公司推出（2024 年成立，此前處於 Stealth Mode）。
- 創辦人：Diogo Almeida，ChatGPT 共同發明者之一，OpenAI 早期研究 RLHF 技術的主要作者之一。
- 市場關注原因：
- 宣稱特性：Zero Hallucinations（零幻覺）、速度快 200 倍、成本低 400 倍。
- 主持人觀點：行銷講法偏炒作，天下沒有白吃的午餐，需犧牲部分能力。
IV. Jev 的核心定義與運作原理
- 模型定義：
- 官方稱呼：System 1 model。
- 主持人精準定義：LLM-based general-purpose classification model。
- 核心功能：僅做分類工作，不產生文字、圖片或程式碼。
- 輸出形式：機率分布（Probability Distribution），而非具體文字回答。
- 通用分類能力：
- 無需額外訓練即可處理各式各樣的分類問題。
- 依賴預訓練建立的基礎世界知識。
- 限制：過於依賴內部數據的領域（如銀行客戶違約機率），Jev 可能無法給出最佳答案。
- 訓練過程差異：
- 預訓練：與一般 LLM 相同。
- 後訓練：採用 RLCD (Reinforcement Learning for Calibrated Decisions)，要求模型給出的機率分布符合現實事實。
V. Jev 的技術細節與推論機制
- API 限制與結構：
- 閉源模型，僅開放 API endpoint。
- 總 Token 限制：64K。
- 單一問題限制：32K。
- 選項數量：每題最多 255 個選項。
- 運作原理推測：
- 將 LLM 產生的 Token Probability Distribution 轉換為針對問題選項的 Probability Distribution。
- 固定輸出 255 個 Element 的 Classifier Head（Logits）。
- 僅對前 N 個 Element 進行 Softmax 計算，得出機率分布。
- 效率與成本優勢來源：
- Jev 僅需進行一次 Forward Pass，因此速度快 200 倍，成本低 400 倍。
- 平行評估：多個問題獨立評估但平行進行。
VI. Jev 的應用場景與限制 (第 2/3 段重點)
- System 1 vs. System 2：
- 引用《Thinking, Fast and Slow》：System 1 為直覺腦，System 2 為思考計畫腦。
- 一般 LLM 屬於 System 2，Jev 屬於 System 1。
- 將 LLM 轉化為 Jev 行為的方法：
- 無需額外訓練，現有 LLM 可透過 Prompt 技巧模擬 Jev 行為。
- 技術實現：僅提取目標選項的 logits 分數，放入 softmax 強制分配 100% 機率。
- 自造 Jev 與原生 Jev 的性能比較：
- 簡單問題：自造 Jev 準確率接近 100%。
- 複雜問題：輸給原生 Jev。
- 機率校準：原生 Jev 因經過 RLCD 訓練，機率校準更精準。
- 速度與成本：自造 Jev（本地運行）成本幾乎為零。
- 應用場景：
- Model Routing：判斷問題難度，決定使用弱模型或強模型。
- 初期資料篩選：履歷篩選、郵件分類。
- Computer Use：處理標準化、重複性高的操作，但受限於無視覺能力。
- 實測案例：
- 郵件分類實測：Jev 在過期繳費提醒等情境下，答案比 GPT-6 Astra 更符合人類直覺。
- Computer Use 對比：Jev 成本比 Claude Opus 低一百多倍，速度約快 3 倍，但無法處理動態 CAPTCHA。
VII. Jev 對 AI 產業的意義與未來趨勢 (第 3/3 段重點)
- 非革命性取代，而是加速趨勢：
- Jev 不會改變 AI Agent 典範，而是加速「Model Routing」趨勢。
- 當前 LLM 工作流成本效率非最優化，Jev 提供現成的路由判斷能力。
- 講者個人工作流與使用體驗：
- 當前主要使用 GPT-5.6。
- Jev 對講者個人 Impact 不大，僅節省幾秒鐘與少量成本。
- 對特定場景（如篩選數千封 Email 或履歷）幫助顯著。
- 未來趨勢預測：
- 標準 AI Agent 會將 Jev 當作工具使用，整合進 AI Agent 的 Harness 中。
- 未來將包含端端（Edge）LLM 與雲端 LLM 的混合選擇。
- 用戶感知差異：
- 科技宅能知曉內幕並融入工作流。
- 一般用戶不會直接看到 Jev，但會體感 AI Agent 速度與成本的改變。
工具 / 模型 / 名詞整理
- 硬體/產品：
- iPhone 18 Pro
- iPhone 17 Pro
- 犀牛盾 (RhinoShield)
- AirX 極致氣墊緩衝殼
- SolidX 強化吸震緩衝殼
- Clear 透明殼系列
- Bumper 邊框殼
- NVIDIA 機櫃
- DGX Spark
- Mac mini
- 軟體/模型/技術：
- Jev (AI 模型)
- TypeSafe AI (公司)
- LLM (大型語言模型)
- AI Agent
- System 1 model
- RLHF (Reinforcement Learning from Human Feedback)
- RLVR (Reinforcement Learning with Verifiable Rewards)
- RLCD (Reinforcement Learning for Calibrated Decisions)
- Softmax (函數)
- Logits
- Token
- Context Length
- Forward Pass
- API Endpoint
- Classifier Head
- Model routing (模型路由)
- Computer use
- DOM Tree
- Accessibility tags
- OCR (Optical Character Recognition)
- CAPTCHA
- Multi-agent system
- Harness
- Apple Foundation Model
- Apple Intelligence
- Siri
- iOS 27
- A20 Pro 晶片
- A19 Pro 晶片
- ChatGPT
- OpenAI
- GPT-3
- GPT-6 (提及)
- GPT-5 (提及)
- GPT-5.6 (講者使用)
- GPT-6 Astra (講者提及)
- Claude Opus
- Luna (講者提及)
- Qwen3.5-4B
- Astra (講者提及)
- Qwen (講者提及)
- 人物/公司/其他：
- 哈利 (主持人)
- Diogo Almeida (TypeSafe AI CEO, ChatGPT 共同發明者)
- Doflamingo (One Piece 角色)
- 瑞典太空中心
- 科技浪 (Podcast 名稱)
- X (社群媒體平台)
- Threads (社群媒體平台)
- Hacker News (技術論壇)
- RHINOLOOP (犀牛盾活動)
- i18-harry (折扣碼)
操作流程整理
- 使用 Jev API 進行分類：
- 輸入包含 State、問題與選項的資料。
- 確保總 Token 不超過 64K，單一問題不超過 32K。
- 單一問題選項數量不超過 255 個。
- 接收模型輸出的機率分布（Probability Distribution）。
- 根據機率分布做出決策或路由判斷。
- 將現有 LLM 轉化為 Jev 行為（自造 Jev）：
- 使用現有 LLM（如 Qwen3.5-4B）。
- 設計 Prompt 明確標註選項代號（如 A、B）。
- 忽略其他 token，僅提取目標選項的 logits 分數。
- 將目標選項分數放入 softmax，強制分配 100% 機率。
- 直接讀取目標選項的機率分布，而非解讀產生的 token 序列。
- Model Routing 工作流整合：
- AI Agent 執行過程中遇到大量篩選或簡單判斷任務。
- 呼叫 Jev 進行分類或路由判斷。
- 根據 Jev 的輸出，決定是否交由強模型（LLM）處理複雜推理。
- 實現端雲混合模型的選擇，優化速度與成本。
值得注意的限制或風險
- Jev 的技術限制：
- 純文字模型，無視覺能力。
- 無法處理非標準化網站、互動性高或需視覺推理的操作（如動態 CAPTCHA）。
- 選項限制：最多 255 個選項，無法覆蓋網頁上所有可點擊像素。
- 過於依賴內部數據的領域（如銀行客戶違約機率），Jev 可能無法給出最佳答案。
- 自造 Jev 的局限性：
- 在複雜問題與機率校準（calibration）上不如原生 Jev。
- 準確率與校準度取決於模型是否原生為 Jev 架構。
- 行銷與現實落差：
- 主持人指出行銷講法偏炒作，天下沒有白吃的午餐，需犧牲部分能力。
- Jev 宣稱「Zero Hallucinations」，但實際上是指不會產生選項外的內容，而非絕對正確。
逐字稿辨識疑點
- iPhone 18 Pro / 17 Pro：逐字稿中提及「iPhone 18 Pro」與「17 Pro」，若當前現實時間點尚未發布 18 Pro，此處可能為口誤或未來預測，但依要求保留原樣。
- A20 Pro 晶片：逐字稿明確提及「A20 Pro 的晶片」，若與現實已知晶片命名規則不符，標為疑點。
- iOS 27：逐字稿提及「iOS 27」，若與現實版本編號不符，標為疑點。
- GPT-6 Astra：逐字稿中多次提及此名稱，目前市場常見為 GPT-4o 或 GPT-4 Turbo 等，「GPT-6」與「Astra」組合可能為口誤、內部代號或聽寫錯誤。
- Luna：講者提到「它並不會做到一半覺得這個問題比較簡單，它就直接丟給那個 Luna 去解決」，「Luna」可能為特定模型名稱、內部代號或口誤。
- GPT-5：講者提到「我有點忘了是 GPT-5 那一代還是哪一代」，若指 OpenAI 歷史版本，目前公開主要為 GPT-4 系列，GPT-5 可能為預測性稱呼或口誤。
- GPT-5.6：逐字稿中明確提及此版本號，需查證是否為口誤或特定內部版本。
- Astra：逐字稿中提及此名稱，需查證是否為特定模型或產品名稱。
- DGX Spark：逐字稿中提及此硬體名稱，需查證是否為正確產品型號。
- Qwen3.5-4B：Qwen 系列通常為 1.5, 2, 2.5 等版本，「3.5」可能為口誤或未來版本預測，依逐字稿保留。
- RLCD：TypeSafe AI 發明的新詞，保留原樣，但需查證是否為 RLHF/RLVR 之誤寫或新術語
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習