RTX是給我們的GPU
DGX是給我們的系統
現在DSX
6月1日 泛科學完成了回答
NVIDIA GTC 臺北2026 黃仁勳
直播演講活動
在兩個小時的直播當中
做到即時繁體字幕翻譯
當時就有很多觀眾詢問
到底我們是用什麼軟體
老實講這款工具
是我們公司自己開發的
只花三天就完成
甚至一毛錢都沒有花到
今天就來揭秘
我們到底怎樣做到的
好這個第一次的會員直播
非常感謝大家的參加
那這個是專門保留給我們實戰生
以上的這個會員直播
我們再次 用最誠摯的感謝
感謝我們每一位加入會員的朋友
最誠摯的感謝要怎麼進行
最誠摯的感謝嗎
磕頭
喔 磕頭了
我要趕快跪下
好 但是麥克風擋住了
對 沒辦法
好 anyway 好
我們其實從去年到今年
我們對於
都有受邀在我們的攝影棚直播
然後跟我們的觀眾來聊
這個GTC的黃仁勳的Keynote
那因為他聽完演講
不管是在哪個地方
都是重要的產業資訊
我們去年在做這個直播的時候
我們沒有想到說
要設計一個即時翻譯的功能
因為我們那時候完全沒有覺得說
那個 那件事情是成熟的
但我們看到其他友臺
有做這件事情
收視率比我們
觀看數比我們好很多
同時觀看人數
那當然其實那一次的直播
我記得也有個
一千多人
最高到三千人是不是
所以其實那也是我們算是創紀錄的一次直播
是
我在跟大家聊這個
黃仁勳的直播內容的時候
我是他直播到一半
然後我就暫停
然後跟大家說
他剛才講的是什麼什麼
對 是的
所以同樣
這是一個例子
緊急任務
對我們需要在
直播的當下有一個同步的翻譯外掛
他能夠出現在螢幕上
正確率要高
哎對
然後不能有對岸的一些用語
不能跑出來什麼簡體啊
或是說用一些對岸的翻譯啊等等
好 所以因應這個
這個問題你怎麼解決
你現在有一個禮拜的時間
感謝
其實後來最後只有三天
因為
因為你另外睡了三天這樣子
沒有沒有 因為我聽到
就是製作人橘橘
跟我講說要做這件事情的時候
我第一個想法是
我想說
我想裝死
所以你回家先躺了三天
我先要躺了三天
不想面對這件事情
直到他跟我講說
不行我覺得這東西一定要做
三天後要
你做完了嗎
但他沒有那麼惡劣啦
他是說
這種事情只有我會做
可不可以做一下研究
就是到底能不能做這件事情
所以才開始了這場奇怪的旅程
那個東西大家在直播上面看到的長這個樣子
下面有一個
有英文
有英文然後有中文翻譯
有兩行
其實嚴格來說是四行
對對對對對
就是這樣一直滾一直滾一直滾
對對對對對
那他真實
可是我覺得這很聰明
因為其實還是會有一點點的延誤嘛
對
所以說 因為現在反而是
那個Google
YouTube它自己的那個
那個叫什麼
就是你點機器翻譯的那個方案
它們自己的那個方案
都只出現一行
我覺得那個反而比較不好
我覺得兩行比較好
-這個其實後面都會提到
-這都不是我的想法
-然後他真實的樣子長起來
會是這樣子
它就是一個Chrome外掛
你直接點開之後
然後下面這邊就是它會顯示那個
字幕的地方
然後這邊有一個簡單的
因為那時候時間不夠
就只有做簡單的說你字幕可以變大變小
因為我想說就是直播的時候可能會有需要調整畫面的問題
所以有這個
然後這個這個對話框
喔是這個
所以我們最終的解決方案
就是一個Chrome的外掛
對 然後這個對話框是可以
因為你要在OBS上面
要能夠排到正確位置嘛
所以這個Chrome對話框是可以移動的
OK 對 所以你會看到現在在這個位置
但是我們之前在這個位置是因為
就是可以直接動它去做拍板
嗯
對
那一開始其實完全沒有
對我必須說真的一點都不順利
因為呢我一開始的想法太簡單
我一開始的想法就是
剛前面有那個流程圖嗎
就是收聲音 做逐字稿翻譯
然後接著顯示我的字幕
對 然後我一開始想法就這麼簡單
就是收電腦的聲音源
然後就直接進去Google服務
裡面用Gemini Live API 直接全部做完
然後如何顯示呢 我就想說
既然我們是用OBS直播 那就打回OBS吧
對 然後我就
其實剛才講的事情就我們不會特地再一一細說
因為那些其實是很基本的事情
但是真正遇到的問題
現在才開始
應該是說
你可以任意丟你想要做的東西
跟你的規劃進去
但是我現在要跟大家講的事情是
你要承認
你可能想法是有錯的
不能這樣子做
就算AI一直在鼓勵你
AI其實那時候一直在鼓勵我說
你再繼續這樣子做下去
真的可以做得出來的
你不要再這樣
你相信我品質一定可以到的
但你真的要自己想一下
這到底是不是一個合理的事情
對
那我後面真的是我
我請他用Gemini來所有服務去做了一遍
我發現真的
字幕翻譯的正確跟即時性都做不到
我覺得他鼓勵你很有意義啊
因為這樣子你才會繼續花token啊
然後在這個錯誤的迴圈裡面打轉
啊沒錯然後花很多錢
對
那我在那邊也燒了
基本上也是某種仙人跳
還是什麼
AI仙人跳 新版的
某種詐騙
但他很有趣
他還是很誠實的告訴你說
我就是
我們試了這麼多
至少這件事情他還是會誠實講
就我們試了這麼多
他告訴我
跟我實測的結果是一致的
就是
逐字稿加即時翻譯
用句子翻譯
Gemini的服務最快
就是要兩秒它才會出現
兩秒聽起來很短
兩秒我一開始也覺得很短
所以我就說你可以做
就是跟AI講可以做
做完之後一看 不行欸
你有做完一個東西然後測試過
我做完了 對對對
我做完了一個東西直接測試了
然後不行
就是那個東西
字幕打出來
你知道他已經兩秒
我們可以講多少次
我們剛剛現在這樣子講話
兩秒已經講完兩句話了
所以那個就等於是說
我其實沒有
每一個字幕都是在講他前面在講的東西
對 這個就會讓我們的眼睛耳朵
反正整個大腦很不協調
你看黃仁勳在這邊講一句話
已經講到後面兩句話了
然後畫面才吐出
兩秒之前 兩句話之前的內容
就很尷尬
對 就是兩秒
兩秒前是完全不能接受
我後來才發現
連兩秒都沒辦法
我後來發現我穩能接受
因為我後來有做一些調查
我後來能接受的是兩秒前
0.5秒內
我們的視覺感
這些東西才
才勉強可以接受的
勉強而已 0.5秒就勉強而已
廣告插播
初期導入AI時
該留意哪些容易被忽略的資安問題
如果你也想知道
現在就加入實戰生會員
我們7月28日見
失敗的螺旋
我就想啊 我這麼聰明
是這樣
呃
我做不出來 難道有人做得出來嗎
我真的這樣想
就是有人做得出來
真的有人可以做出這種東西嗎
我已經搞得這樣子
我都沒有成功
0.5秒內讓我感覺是正確的東西
有人做出來啊
我找了還真有
現在畫面上看到的這兩個截圖
一個叫VTOL
那你各位如果仔細去用
去裝它是一個
也是Chrome的外掛
你裝起來你會發現
我剛做的那個服務
基本上完全是超他的
好這樣子
然後另外一個是旁邊這一個是
Mistral
對 就是他們做的這個Live的Demo其實也做得非常好
那我那時候有用 是可以用的
他們也是Chrome外掛嗎?
他們不只做Chrome外掛 他連OBS的線也做
一切全部都做
哦
所以有人做出來
對 有人做出來了
而且都可以做到0.5秒內
對 那我們就直接用了
對 那就直接用啊
那
發生什麼事呢
因為他們都只支援簡體中文
蛤 所以如果
這麼不臺灣友善
完全沒有繁體中文的選項
就算是那個,我記得那個Mistral應該是法國的公司,就算是他們做出來的服務也都不支援繁體中文
所以你知道
不是對各位觀眾
欸你
那些服務你猜是怎麼做
做到這件事情
就這樣問喔
對 然後我就截那張圖給他
就是我說的那張圖
這個服務長這個樣子
就是VTOL那個服務長這個樣子
然後我就說
可以這樣問喔
你去分析一下他為什麼
他為什麼可以抓到這麼乾淨的聲音
然後他就說
就直接說 你有發現嗎
在那個youtube的那個上面
就是那個分頁 在Chrome上面那個分頁
他旁邊如果你現在是在錄影
或是在截圖
它會有個點嘛
或是有一個框嘛
他就說你有發現嗎
那上面有框
對對對
那個Plugin其實
直接去對接了Chrome後面的
後面有一個是專門抓單一分頁聲音的功能
哦~~
我不知道大家有沒有用過Chrome的那個輔助功能
可能很少人知道 就是你可以
讓你可以進你的Chrome的設定裡面
然後你進那個輔助功能
你點開之後會有一個
給聾啞人士的輔助功能
那他就會直接無障礙
他直接輸入
直接把聲音變成字幕
那我一開始其實在研究的時候也有要選用這一個
但因為它的服務真的就是延遲太久了
我沒有辦法接受
所以才用自己開發的
所以我們那個時候沒有疑問說
他那個輔助服務是怎麼做到
但很顯然的是
他看到那些東西之後
他抓到那個關鍵點是
Chrome後面其實有一個
專門for聲音的通道
而且是for單一分頁輸出的聲音通道
而且他還繼續說明了就是
其實不只是VTOL這個服務
所有你看到的
包含任何翻譯的服務
就是用聲音直接做翻譯組織
組織翻譯的這個服務
他都是基本上走這條線
然後他
它的通用除了Netflix之類會擋的
Netflix很正確也很聰明的
避免所有盜版的疑慮這樣子
就是除了Netflix之外
除了這個會擋之外
其實Youtube Twitch那些
都可以用這一套玩
所以他就給了我一個全新的方向啊
就是我根本不需要去抓我自己的
電腦內的聲音輸出
我可以直接去抓
那一個分頁的聲音輸出就好
那不就是精準的了嗎
對對對對
就不會有什麼雜音了
對
那這也是
我不可能想到的
這是AI告訴我
對
然後怎麼做到即時翻譯跟逐字稿
我就說
我看那些服務
他們0.5秒內
甚至有些可能是瞬間那個
那個人才講完就直接跑出字來
他怎麼做到的
他說Google這邊在做的服務
都是整合型的AI
所以他並沒有特別強化
某一個功能
但是他說就是有特別
有專門的公司提供的API
就是專門在做逐字稿的服務
然後跟做翻譯的服務
我一開始也聽不懂這什麼
反正就請他問他說這啥東西
他就會跟你解釋
繼續追問
對對對
然後解釋完之後
我聽完之後我就覺得
嗯你說的真正確呢
應該要去用
應該要去用那些東西
然後我就說那
要用原本我們想要用的那個Live API
對對對對
不好意思啊Google
那時候還不是很好用
但現在有一些更新也許不太一樣
I don't know
但反正那個時候我就被說服了
然後我就請他說
那有沒有額度比較低的
廢的可以讓我先悠悠看
這幾個服務
然後就提供了
就我後面會講的那兩個
我們最重要的就是那這兩次API啦
第一個是逐字稿
就是ASR
的API 它這個老牌的就是Deepgram這個API
對 那它不只是
它不只是快 它平均0.2秒就有了
就會直接反應了
哦
對 就是你聲音會一直
剛才說是2秒
這個0.2秒
對 0.2秒
平均
哦 差很多欸
對 差非常多
所以這個東西
東西一進去的時候
吐出來
然後我再瞬間丟到旁邊這個DeepL
他也是一個專門做翻譯的API
DeepL其實大家應該
多少有聽過
因為他在這個生成式AI之前就把翻譯做得很好
然後他繁體中文的資源也是很好的
對,所以後來我發現到
後來我發現到這個東西這樣接起來之後
可以就大概0.3秒就直接出了
所以
這個就符合我們0.5秒之內的目標
然後因為DeepL的翻譯非常的到位
我們基本上只要跟他講一下
到底我們臺灣是什麼樣的國家
他大概就知道
反正這也是AI幫我調的
我也不知道他怎麼調的
他就不會選一些
譬如是非臺灣用語
對對對對
Chrome的版本 那這邊要提醒一下
如果你想要做同樣的事情的話
請記得要去你的
Chrome裡面的Plugin開啟你的
那個 開發者會
模式對你的你的空的那個
plugin裡面有個開發者模式
你打開來之後
你就可以把還沒有上架的
那個外掛直接丟到裡面去
先內部測試一下
就像Apple我還沒有上到App Store之前
我可以自己先測試
對對對
然後這邊的話就是
所有我
我用到的這一個即時翻譯系統的功能
那如果你們想要自己刻一個出來
也歡迎你們自己去試試看
直接把這張圖截下來
然後就直接丟上去
所以現在AI就是聰明到可以
就這樣做完
這其實才是我認為AI應該真正的樣子
就是
就是有某一個人可能像這樣子走過了那一條路
然後他就會把這個軌跡記下來之後
下一個人就不需要再碰這些坑了
他就可以直接拿著這個
這skill也是這個概念嘛
那這個又花了我們多少錢呢
零
哪裡
為什麼是零
因為那個Deepgram它你登錄
你登錄之後
他就送你兩百美金
然後我們
開局就送魔關羽
然後我測試完之後
一個小時的這個
API使用
呃
一秒鐘
所以等於他送你兩百個小時可以做逐字稿轉的
我們可以用兩百年
對我們應該用不完
兩百年的老黃
對演講我們包了
然後
然後DeepL的話是進去之後送你五十萬字翻譯
對 那用的比較多啦
就是大概一個小時會用掉四萬
嗯
對
出來的時候翻譯就跟著走了
他是同步喔 基本同步
他更快啊
他更快 但是他的做法其實很有趣
他的做法其實是 因為那一句還沒
還沒講完
但是他可能有個斷點了
他就先送那個deep L
就直接先寫出那一行
欸等一下等一下
我問一下就是說
這句話那邊講完
對他講了前兩個
三個字前三個字 對對對對
然後後面還在講
後面還在講 但他就先送翻譯了
It's a very
然後他這邊就會說 這是非常
但後面就是還沒講完
他就先翻譯了
對
為什麼他要這樣做
因為看起來
就讓你覺得很即時嘛
對 看起來就是完全即時啊
連翻譯都即時了嘛
但是他的做法其實是
如果各位看我們的直播的時候會發現
他是一句話完整之後才會出現那個翻譯
他的概念就是當那句話還沒出來之前
我就送好幾次翻譯
所以我
我那時候計算啊 會是 如果用他那個方式做的話
會用到三四倍的用量
你一句話拆了三四句嘛
對對對
服務 就是你看我在做的是逆向攻擊
我並不是在做那個
你沒有逆向過他
沒有去思考過
其實你也不知道這些事情
為什麼可以這樣發生
對 我覺得這個案例
我覺得特別要跟大家分享的就是
我們第一個在很短的時間之內做到了一件我們去年都覺得還做不到的事情
然後我們做的品質很好
而且我們
最終感謝身為奴隸
我們並沒有花到什麼錢
然後
而且我們是用
讓
AI告訴我們
人家可以做到
我們要怎麼做到
的方式來做這件事情
所以我覺得有時候
大家可能會在想說
我要下什麼prompt
來解決什麼問題
其實現在AI
那好處就在於說
你只要有一個範例
或者說你只要有一個
好的學習對象
甚至這個好的學習對象也是AI告訴你的
就問他說那哪些做得好
他就說我們要怎麼做到這個樣子
對那個
剛那個VTOL是我自己找的
但是那個M開頭那個法國公司的那個
是AI告訴我他有在做這件事的
不然我也不知道
對 我覺得這個其實是
大家可以去
大家在這個時代要換個思維方式
嗯
因為如果你覺得說還是我出發
然後或是說你要
那其實很多事情你還是會有
你還是會有很多感覺自己做不到的事情
但其實換個方式去跟AI互動
你會發現很多事情其實可以做
那以上呢就是我們今天講的
跟我們今天的分享
那希望大家有收穫
如果說大家之後有什麼問題的話
如果還有問題的話可以跟我們一起討論留言
對 那以上呢
我相信其實很多朋友看今天直播
可能會覺得說有些東西其實不需要
有些東西其實有更好的做法
其實這也是我們分享的原因
我們也希望說聽到大家的意見
如果說你有更好的idea的話
可以跟我們分享
那謝謝大家今天的參與
那我們就
下次見
7月28再見
7月28見
好 掰掰