各位在場的貴賓先進
大家好
我是蔡宗翰
我是代表中華民國能工智慧學會
然後來這邊跟大家分享一下
就是我們看有什麼方法
可以幫助大家
趕快把AI的火箭裝上你的企業的發動機這樣子
大家就可以一飛衝天
因為現在大家知道說
這個AI很重要
這已經不用再說了
可是也有很多企業嘗試
要把AI用起來
但是我
因為我在這三四年的過程中
也協助過蠻多的
不管是政府部門
或是企業來進行匯入
我這邊就做一些歸納
就是我們要希望能夠去
我們希望的目標就是說
我們不是隻是去
想辦法去導一個更大的AI
因為我們知道說
早期大家可能就會覺得說
這個AI模型
只要它的量體越大
然後這個模型就越厲害
都會朝向這個方向去想
但是其實更重要的是
這個AI能夠懂你
這個企業裡面的需求
所以我今天就把這個部分
整理成這個四個Session這樣子
大家希望可以
從我們的經驗裡面
然後可以得到一些啟發
那也很歡迎大家來跟我
進行後續的聯絡
我個人的聯絡方式可以
等一下可能有一頁會專門來放
所以這邊是一些我的經驗
就是我本身是在國立中央大學
資訊工程系擔任教授
我現在也是在中英院的人社中心來做和平
所以各式各樣的社會科學資料我有處理過
還有就是說我在2023年開始
就是在臺灣最大規模的一個生成4A的專案
叫做TIDE
我們是在研發我們臺灣自己的大型語言模型
主權AI
所以我在裡面擔任這個模型訓練組的召集人
所以我帶著這個一般工程師就在那邊
胡搞瞎搞
然後努力想辦法把臺灣自己的
懂臺灣語言這個AI把它做出來這樣
所以整個AI的訓練過程中
我也從裡面這個收穫蠻多
因為這樣
在臺灣有這樣實際經驗的人
是比較少的
後來在做完第一期的Ti的專案以後
我們也把重心放在
怎麼樣把這樣的一個
具有臺灣思想
或說臺灣的文化底蘊的
這樣的LLM的大型語言模型
把它用在實際落地應用上面
所以我接下來就開啟了
另外兩個專案
就是AI華語拍檔跟Write AI
第一個是幫助全世界各地的華語老師
來產生各式各樣的教材
比如說我們知道說臺積電
他帶領了一群廠商前往歐洲
變成歐基電
歐基電就需要招募很多工程師
不只是從臺灣帶過去
在當地也要招募工程師
那這些工程師他們需要學華語
所以現在要學的華語已經不是
像過去可能學什麼端午節吃粽子
或是來臺灣這個鼎泰峰式小籠包
這種課文
他們需要的是可以跟他們的工程師同事
然後進行這個可能談論半導體
或是談論裝置這樣的一些教材
那這些教材到現在為止都是很缺乏的
那剛好就迎來這個AI的時代
我們就可以藉由AI來生成各式各樣的教材
然後又符合我們臺灣的教育部的標準
所以Rite AI就是另外一個專案
就是我們在研發
就是可以懂臺灣這個學測作文
就是學測作文大家家裡有小朋友的
可能就知道說學測作文
它的分數是從0分到25分
那如果你有用過這個Chair GBT
去改這個小朋友的作文的話
你會發現說
其實非常容易得到20分以上
因為ChairGPT它基本上
希望你開心
不要讓你覺得
好像打擊你的信心這樣
可是實際上
我跟北域女的
國文學科中心的老師
詢問過
他們說大概一般
北域女大概只會有一個20分
所以就是說
你平常如果練習作文
叫AI幫你改的話
你可能會得到一個假象
就是你以為你的作文程度已經很好
但其實可能還有點落差
所以我們就研發一個
就是由這個大考中心的教授
親自帶領的團隊
幫我們準備資料
標註資料
然後我們來訓練
把Ti的模型加以這個
做一些post training後訓練
然後讓他懂我們臺灣的學測標準
那我等一下也會講一下這部分
然後另外我也在很致力的推廣
就是AI的科普
所以尤其是面向中學生
因為中學生他們非常重要
他們身為AI世代
AI原住民
所以他們要知道說
將來這個AI是跟我搶工作
還是要可以幫助我
把我的興趣放大
可以讓我更容易達到我的興趣
所以我就寫了一本叫做
寫給中學生看的AI課
這本書也得到2024年
就是臺灣應該算是科普
借的最大的獎項就是
吳大猶科學普及著作獎
這樣子
好
那我們來看一下
就是有一些數字給大家看一下
就是我們知道大家都在如火如荼
去run AI 的專案
但是其實你知道嗎
就是會有大概40%的專案
在 2027 年會被取消
那為什麼會被取消
就是會因為這些原因
就是題目選錯
價值說不清成本失控
好
所以我們就是希望說要發展一個更多我們的AI
因為我看到其實我有擔任過很多
不管是政府案或是企業案的
可能是一些標案的委員這樣子
我看到廠商們提出來的可能就是
反正就是不管3721先把最大的模型給上去這樣
那最大的模型
其實當然它基本能力是比較好的
但是就是說
如果你沒有給它
適當的訓練資料的話
它等於是只是智商很高
但是它沒有受過專業訓練
那這個反而會造成更大的問題
所以我們希望能夠讓
我們這個企業使用的AI
能夠懂你的產業
懂你的資料
然後留在你的場域
因為我們知道說
臺灣現在領先世界是什麼
就是我們的這些半導體的
這些整個上下游
就是由臺積電為核心
這個整個產業鏈
這裡面都有很多很多的機密
就是一旦外洩的話
那臺灣的領先優勢一下就化為烏有
所以我們要知道說這個問題是很嚴重 很重要的
所以今天我們就分成這四部分
就是第一個就是 LOM
就是我們要選對 AI 的大腦
然後再來就是說我們要怎麼樣當這個 LOM
它訓練只訓練到一個時間
但是我們要怎麼樣能夠持續的餵給它知識
因為我們企業的知識一直在更新一直在更新
那你總不能說每次更新
都要一直重新訓練你的模型
那這樣子的話
可能運營起來就非常的麻煩
然後再來就是說
你現在引進一個AI以後
你要知道說這個AI到底可以
在幫你做事情的時候
到底是達到什麼標準
可能剛匯入的時候
你可能是達到這個60分
然後你看到這個
你要去評估說
那這個AI導進來以後
它到底有沒有持續在增加
還是說原地踏步
不是倒進來
然後就說我們有AI了
然後就結束了
然後再來就是說第四個就是
我們希望最重要的目標就是
使用一段時間以後
我們能不能夠
已經很確定
我們某些任務是很機敏的時候
我們把這些任務
留在我們自己的伺服器
來進行執行
不用跑到
這些資訊不會外洩到
什麼OpenAI或是到國外去
好 那我們目前
大家可以在操作各式各樣的AI模型
你會發現說
現在AI模型已經不是不會回答問題
也不會好像講不出什麼東西來
可是他們其實還是有一些問題
這是我在跟一些半導體廠商
他們所看到的部分
第一個是講一堆但是不切重點
就是你看到說他不管什麼小問題
他都是回答一個整面的
然後跟你講一大堆
樂樂等
可是如果是工程師
他急著要解決問題的時候
這樣的回答是不及格的
然後再來就說
第二個問題就是說
你只要用這些雲端服務
就是雲端提供的這些AI
那你等於就是
你問他問題
問他自成
跟他討論
那你的自成配方
還有你的客戶資料就出去了
那出去他跟你保證說
這個不會外洩
可是你怎麼知道說
會不會有駭客跑進去害他
然後結果所有資料就全部跑出去了
所以這個解法就是說你要把你的資料借上AI
讓AI在你的場域裡面跑
那即便用雲端也必須要有一個很好的防火牆
去防止你的這個
你這個公司賴企業賴企生存的機密跑出去
那所以我的經驗就是說
這個不是我們來做自己的AI不是不可行的
比如說我們在做AI華語拍檔
我們就是把一個通才訓練成一個專才
那我們就挑了一個
比如說我們必須要進行三個步驟
第一個是選對我們的基座模型
基座模型就是可能它具有一個廣泛的知識
那我們在這邊是選擇國科會的臺德模型
然後接下來就是要灌入你的資料
以我們AI華語排檔來講的話
我們就是把教育部定的每一集12345
每一集的資料我們都準備一些
然後我們用AI去生成更多的這樣的資料
然後餵給AI讓他去學習
然後讓他瞭解說什麼叫第一集
什麼叫第二集
什麼叫第三集
讓他瞭解這樣的
我們教一部的標準
然後最後呢
我們就定義了一個
簡合方式
Benchmark
然後來驗測
每次我們訓練出一代新模型
然後我們就用自動驗測
來驗測現在模型
已經做到幾分了
所以這個就是由專家來把關品質
所以其實這個流程可以
應用到各個廠商去匯入
要去開發你們自己廠裡面專用模型
都可以用這套程式來做
所以這個是另外一個例子
就是我們訓練
剛剛講的改作文的模型
叫Write AI
這個LM它不只是會寫
而且會判斷
所以這是我們在
收集了大概一萬份的教育部的
各式各樣的
就是說依照教育部的標準
學測標準去批改的作文
大概一萬份各式各樣的題目以後
然後我們把這一萬份擴張到
擴升到這個二十萬份
然後我們訓練出來的模型
可以達到這個水準
就是說他跟人類老師的評分
平均差距只有0.9分
那他改篇作文只要12秒
所以這可以大幅減少教育界老師的痛苦
因為老師也很想要幫助同學們來多寫作文
可是一旦有這樣的善心
反而他自己的loading就增加了
所以他就不願意做這件事情
現在其實有些老師就是改用TrackGPT來改
但是那個東西會
其實那個分數真的是誤差比較大一點
然後我們還能夠針對這個
平常改作文的五個面向去指出哪裡好
哪裡差 要怎麼改
所以這些東西
這個經驗也可以用在廠商
比如說有為你們可以判斷
我們現在寫出來的報告
品質到底怎麼樣
到底這個自動品檢的報告
合約審查
還有客數的自動分級
都可以用類似的原理來做
再來就是
這個是我們的經驗
就是我們為全球頂尖半導體大廠
大概就知道哪一家
就是股價最貴的那一家
那這個我們就來做一個
自成問答的專用模型
那痛點就是因為
痛用模型剛
我剛就跟大家分享
工程師時間分秒必爭
然後你問AI
然後即使是前三大AI
他跟你講了肉肉等
那這時候工程師就不想看
因為裡面其實有扯到很多
這種有關這個化學
一些物理反應什麼的
那講了一堆有的沒有的
其實他變得還要花時間去看那些東西
他就不如不要用
所以我們現在就是在想辦法讓模型
可以更精準的回答
希望能夠
真的能夠幫到工程師的忙
而不是讓他們看到一些
看起來好像有關係
但是其實沒有什麼用的AI
所以製程的know how
經過這樣的訓練以後
同樣可以得到一個
達得準的專屬的專家模型
所以我們再看一下
這些大型的模型
大家知道說一直在談論幻覺的問題
幻覺就是說你問他一個問題
他不知道他就開始斷掰
這跟人很像
我們人如果去一些
如果去interview
然後這個interview的面試官
問我們一些問題
然後我們不會答
我們也是一樣會想辦法
升一些墨水分數
這個就是AI也是這樣子
那要怎麼樣解決這個問題
其實在2023年開始
就是有人就發現說
我們可以把過去這種搜尋
搜尋引擎這種搜尋技術
跟大型元模型的生成能力
把它結合在一起
所以問題來
先去檢索
檢索到了相關資料以後
再把這個檢索到的資料跟問題
一起送給LM
讓它去回答生成這個答案
然後帶著證據這樣
所以有這種技術叫做RAG
Retrieval Augmented Generation
大家知道這樣就可以去解決
部分解決這樣的問題
這個RAG不是從2020年
其實變化滿大的
最主要變化變成什麼
就是現在 RAG
最早 RAG只能看懂文字
現在已經可以看懂表格 圖片
工程圖 S光片
我們都已經手寫批著都可以看得懂
再來就是說
有時候我們要回答一個問題是比較抽象
然後是跨越好幾個檔案
這種怎麼辦
這種就要用這個所謂的Graph Rack
Graph Rack就是我們先把這個
所有的文章一個一個片段
然後裡面抽取出一些重要的核心概念
我們把它建成一個像是網路的狀況
然後所以一個問題下以後
我們就去這網路
比對出來哪些文章有相關這個東西的資訊
然後把它聚合起來
再去回答問題
這就是Graph Rack
所以就是現在製造業最大的機會
就是你們現在有很多資料
生產資料
SOP 裝置維修紀錄
規格書
那這些東西全部都可以透過這個Rack的方式
把它放進你們的企業大腦裡面
所以當老師傅退休以後
這些知識就不會被帶走
還可以留在公司裡面
所以我們在
我這個團隊做過RAG模型
其實也蠻多的就是
像我在臺大參加有個叫臺湖系統
臺湖系統就是把臺灣第一手臺灣史的資料
當成是知識庫
然後有這個學者問一個問題
我們就去裡面撈取
去臺灣史的資料庫裡面去撈取一些相關的資訊
然後來回答他
然後我們也建構了這個AI的Benchmark
就是評測
這些評測全部都是
歷史所
臺大歷史所的
還有清大歷史所的
研究生
他們去建出來的
建構這個benchmark的部分
也是自動化
所以這邊如果大家有興趣
可以再來找我聊
國圖臺語
就是國圖
他們想辦法
要把他們的
博碩士論文網
升級成
可以用AI搜尋
這個也是我們
透過我們這個方式
我們這個RAG技術
來協助他
所以第三課就是benchmarking
就是說我們要去量測
我們匯入AI到底表現得好不好
就是我們當然有一些看起來
好像現成的那種公開榜單
你就常聽到Google什麼Gimini
然後在什麼MLU上面得幾分
然後ChairGPT在MLU上面得幾分
可是這MLU它其實是一個
很大的一個選擇體的
選擇體的一個考題的
考題的這個題庫
那這個MLU的考試題目早就外洩了
這個每一家AI公司都知道這個題目是什麼
所以這個東西量出來
你會發現說
每次新模型都一定比舊模型高
然後他們會控制在每次多一點點
要不然下次
如果一下大家都衝到100的話
那接下來就沒有辦法再往上走
所以他們控制每次多一點點這樣
可是這個東西跟你實際上的應用
是有很大的差距
所以我們不能依賴別人幫你建這個評測
我們要自己去建這個量子
所以就是我們要防止demo很神上線就崩
然後選錯模型多少五十倍的錢
所以我們要看就是說
要問的問題是
哪一個模型對我們的題目是最準最划算
所以做量子的方式就是
我們要收集自己的題目
我們要讓我們場內或是公司裡面的user
然後去練習看看
你跟AI要怎麼講話
然後你會問什麼樣的問題
把這些收集起來
然後想辦法去找出它的標準答案
用這個來去驗測
你匯入了AI的模型
到底表現怎麼樣
然後這個我們第四課就是說
大家都想說
我用AI的話
就是先去接這種
前三大公司或前幾大公司的大模型
可是你要知道說這個大模型
它是有風險
我剛才也講過
所以如果你可以在初期
當然就用大模型
但你後面就是
你自己就已經比較瞭解說
這個大模型的應用場域的話
你就可以去做一個
自己本地的一個模型
就是做我們公司專用模型
這邊有三大好處
就是資料不出場
自主可控
然後我們其實現在
20B左右的大模型
其實它的能力就已經蠻強
所以大家就可以開始考慮這件事情
再來就是說
雖然同樣是地端模型
但是地端模型也有分
就是那種可能給整個廠用的這種大模型
跟個人端有一些
或是一些在裝置上面
比較特殊的情境
專門做一些什麼瑕疵檢測那種模型
這兩種模型
雖然都是在地端跑
不是在雲端跑
但是他們的用途也有一點不一樣
所以南科的這邊最適合
應該就是先建一個廠端大模型
如果你的廠已經有一定的規模的話
我想就是說
最近也去了解一下
歐洲的AI foreign
他們在談什麼事情
這是前天才辦的一個
他們有邀請AI大神Yana Khun
他就在說原生的LOM
只是在預測下一個字
本質是不可控
所以要靠明確目標防護欄
還有評測才能上產線
然後新加坡他們是
新加坡他們的國家AI策略
是呼應全面匯入
加上盤點的場景
他們是覺得說
國家跟國家之間的勝負
就是看AI擴散
所以要讓每一個公司跟員工都用得上AI
否則你就是落後
所以要培養既懂領域又懂AI的雙語人才
然後再來我們看到歐洲最大
最具佔半導體制造商ASML
他們的領航者他們就是說
製造業的正常是工業AI
所以如果說你坐擁世界級的製造資料
那就是你最大的資產
要從需求驅動來匯入
所以這四塊拼起來
就是一張AI匯入的決策圖
就是你就是問你說
哪些資料是可以上映
哪些資料不能上映
然後需不需要公司專屬知識
然後目前這些前三大
前幾大模型是不是夠準
上限前要怎麼把關
我這邊都有對應的Solution
大家就自己看
我們匯入了四部曲
就是先盤點哪些場景適合做
然後再來鍵Benchmark
然後再來就是用RIG來快速建立一個
可以回本的90天建立一個應用
然後最後再想辦法把它變成是
專屬模型或地端部署去深化
好 那這個是
我們要想辦法避開這四個地雷
就是為做而做
然後這個demo很美 上線就垮
然後或是你沒有做資料治理
就是你就是覺得說我很多資料
但是那資料全部亂七八糟的PDF什麼的
然後你就找一個廠商
找一個SI來幫你弄一弄
然後串了一個AI就說你有匯入
然後再來就是ROI說不清
就是你算不清楚你審的
你匯入AI到底賺多少錢
或是省了多少錢
所以你的對策就是要去建這個benchmark
好 因為今天這個時間很有限
那我們也很快地勾訴一下
大家可以跟身邊的這些夥伴來合作
包含這邊我們列出來有大學
有一些機構 有一些協會
大家可以彼此來分享經驗
這樣會比較快一點
好 一句話帶走
AI匯入本就是你的資料再乘以對的方法
然後去打造一個真正懂你的AI
然後我們可以透過LM來選對大腦
然後用RIG來給它知識
然後用Benchmark來驗測它表現好不好
裝上兩尺
然後用地端保護你的資料
讓它留在你家去算
然後別去追更大的AI
而是去打造更懂你的AI
好 那謝謝聆聽
這邊是我聯絡方式
謝謝