影片筆記：Demo超神、上線全崩?AI專案失敗真相終於曝光?40%的AI專案都失敗！企業第一步就做錯了?｜三立財經iNEWS

一句話總結

企業導入 AI 不應盲目追求最大模型，而應透過「選對大腦、持續餵知識、建立評測標準、地端部署」四部曲，打造懂企業需求的專屬 AI，以避免 40% 的專案因題目選錯、價值不清或成本失控而失敗。

核心重點

1. AI 導入四部曲：

• 選對大腦 (LOM/LLM)：不盲目追求最大模型，需選擇適合的基座模型。
• 持續餵知識 (RAG)：利用檢索增強生成技術整合企業知識庫，解決幻覺問題並保護機密。
• 建立評測標準 (Benchmark)：自建題庫與標準答案，避免依賴已外洩的公開榜單，確保 AI 表現符合實際業務。
• 地端部署：將成熟任務移至本地伺服器，確保資料不出場、自主可控。

1. 專案失敗現狀：約 40% 的 AI 專案預計在 2027 年被取消，主因包括題目選錯、價值（ROI）說不清、成本失控，以及盲目追求大模型卻缺乏適當訓練資料。
2. 成功關鍵：資料治理、明確目標防護欄、培養既懂領域又懂 AI 的人才。最終目標是打造「懂你的 AI」而非單純追求「更大的 AI」。
3. 技術演進：RAG 技術從僅處理文字演進至可處理表格、圖片、工程圖及手寫批註；Graph RAG 則針對抽象或跨檔案問題，透過建立網路結構來聚合回答。

詳細大綱

I. 講者背景與專案經驗

• 講者簡介：蔡宗翰，國立中央大學資訊工程系教授、中英院人社中心研究員。
• 主要專案經驗：
• TIDE 專案：2023年起參與臺灣最大規模生成式 AI 專案，研發臺灣自有大型語言模型（主權 AI），擔任模型訓練組召集人。
• AI 華語拍檔：針對全球華語老師，生成符合臺灣教育部標準的專業教材（如半導體產業相關華語），解決傳統教材（如端午節、小籠包）與現代職場需求脫節的問題。
• Write AI：針對臺灣學測作文評分標準訓練的模型。解決通用模型（如 ChatGPT）評分虛高問題，達到與人類老師評分平均差距僅 0.9 分的精準度，並提供具體修改建議。
• 科普推廣：撰寫《寫給中學生看的 AI 課》，獲 2024 年吳大猷科學普及著作獎。

II. 企業導入 AI 的常見陷阱與數據

• 專案失敗率：約 40% 的 AI 專案預計在 2027 年被取消。
• 失敗原因：
• 題目選錯。
• 價值說不清（ROI 不明）。
• 成本失控。
• 盲目追求最大模型，缺乏適當訓練資料，導致「智商高但無專業訓練」。
• 資料外洩風險：使用雲端服務時，核心配方、客戶資料可能外洩，即便有保證，仍存在駭客風險。

III. AI 匯入四部曲 (Four Sessions)

第一課：選對 AI 的大腦 (LOM - Large Language Model)

• 基座模型選擇：不盲目追求最大，需選擇適合的基座（如國科會的臺德模型）。
• 專才訓練：將通才訓練為專才。
• 案例 - AI 華語拍檔：灌入教育部各集教材資料，讓 AI 學習教學標準。
• 案例 - Write AI：收集並擴充一萬份至二十萬份學測作文資料進行後訓練 (Post-training)，使模型懂臺灣學測標準。
• 案例 - 半導體製程模型：針對工程師急迫需求，訓練模型精準回答製程問題，避免冗長不切重點的回答。

第二課：持續餵給知識 (RAG - Retrieval Augmented Generation)

• 解決幻覺問題：結合搜尋技術與大型語言模型生成能力。先檢索相關資料，再結合問題生成帶有證據的答案。
• 技術演進：
• 早期 RAG 僅能處理文字。
• 現在可處理表格、圖片、工程圖、手寫批註。
• Graph RAG：針對抽象或跨檔案問題，抽取核心概念建立網路結構，比對相關資訊後聚合回答。
• 應用價值：
• 將生產資料、SOP、裝置維修紀錄、規格書放入企業大腦。
• 防止老師傅退休後知識流失。
• 案例：臺大臺湖系統（臺灣史資料庫）、國圖博碩士論文網升級為 AI 搜尋。

第三課：量測表現 (Benchmarking)

• 公開榜單的局限性：
• 如 MMLU 等榜單題庫已外洩，各公司皆知曉題目。
• 新模型分數必然高於舊模型，且廠商會控制分數增長幅度以維持競爭敘事。
• 與實際應用場景差距大。
• 自建評測標準：
• 收集公司內部使用者實際提問與標準答案。
• 驗證匯入 AI 後的實際表現，防止 Demo 很神、上線就崩。
• 評估哪一模型對特定題目最準、最划算。

第四課：地端部署與專屬模型

• 地端模型的好處：
• 資料不出場。
• 自主可控。
• 20B 左右的大模型能力已足夠強大。
• 部署策略：
• 初期可使用雲端大模型。
• 熟悉應用場域後，建立公司專用模型。
• 區分「廠端大模型」與「個人端/裝置端專用模型」（如瑕疵檢測）。
• 國際趨勢參考：
• 歐洲 (AI Foreign)：強調原生 LLM 僅預測下一個字，本質不可控，需靠明確目標、防護欄及評測才能上產線。
• 新加坡：國家 AI 策略強調全面匯入與場景盤點，培養懂領域又懂 AI 的雙語人才。
• ASML：製造業正常是工業 AI，擁有的世界級製造資料是最大資產，需從需求驅動匯入。

IV. 決策圖與總結

• 避開地雷：
• 為做而做。
• Demo 很美，上線就垮。
• 無資料治理（資料亂七八糟的 PDF）。
• ROI 說不清。
• AI 匯入決策流程：

1. 盤點適合場景。
2. 建立 Benchmark。
3. 使用 RAG 快速建立可回本的應用（90天內）。
4. 轉為專屬模型或地端部署以深化應用。

• 核心結論：AI 匯入 = 你的資料 × 對的方法。
• 選對大腦 (LOM)。
• 給知識 (RAG)。
• 驗測表現 (Benchmark)。
• 地端保護資料。
• 不追更大的 AI，打造更懂你的 AI。

工具 / 模型 / 名詞整理

• TIDE：臺灣最大規模生成式 AI 專案，研發臺灣自有大型語言模型。
• AI 華語拍檔：協助華語老師生成教材的專案。
• Write AI：針對學測作文評分與批改的模型/專案。
• ChatGPT：通用大型語言模型，講者指出其改作文時容易給出虛高分數。
• 臺德模型：國科會推出的基座模型。
• Gimini：Google 推出的模型（提及於榜單討論）。
• MMLU：大型語言模型評測榜單/題庫。
• RAG (Retrieval Augmented Generation)：檢索增強生成技術。
• Graph RAG：基於圖結構的 RAG 技術。
• 臺湖系統：臺大系統，將臺灣史資料作為知識庫。
• 國圖：國家圖書館，升級博碩士論文網為 AI 搜尋。
• ASML：歐洲最大半導體製造商。
• AI Foreign：歐洲舉辦的 AI 相關活動/論壇。
• LOM：講者提及「選對 AI 的大腦 (LOM)」，疑為 LLM (Large Language Model) 之聽寫錯誤。
• RIG：講者提及「用 RIG 來給它知識」，疑為 RAG 之聽寫錯誤。
• Graph Rack：講者提及「Graph Rack」，疑為 Graph RAG 之聽寫錯誤。
• Rack：講者提及「透過這個 Rack 的方式」，疑為 RAG 之聽寫錯誤。
• Yana Khun：被提及為 AI 大神（講者口述名稱，疑點見下）。

操作流程整理

1. 盤點場景：識別適合導入 AI 的企業應用場景。
2. 建立評測標準 (Benchmark)：

• 收集公司內部使用者實際提問與標準答案。
• 驗證 AI 表現，防止 Demo 很神、上線就崩。

1. 選擇基座模型 (LOM/LLM)：

• 不盲目追求最大模型，選擇適合的基座。
• 進行專才訓練（後訓練 Post-training），將通才訓練為專才。

1. 導入檢索增強生成 (RAG)：

• 將生產資料、SOP、維修紀錄、規格書等知識庫整合進 AI。
• 解決幻覺問題，防止知識隨老師傅退休而流失。
• 可處理文字、表格、圖片、工程圖及手寫批註。

1. 地端部署：

• 將成熟任務移至本地伺服器執行。
• 確保資料不出場、自主可控。
• 區分廠端大模型與個人端/裝置端專用模型。

值得注意的限制或風險

• 專案失敗率高：約 40% 的 AI 專案預計在 2027 年被取消。
• 資料外洩風險：使用雲端服務時，核心配方、客戶資料可能外洩，即便有保證，仍存在駭客風險。
• 公開榜單局限性：如 MMLU 等榜單題庫已外洩，新模型分數必然高於舊模型，且廠商會控制分數增長幅度以維持競爭敘事，與實際應用場景差距大。
• Demo 與上線落差：若無自建評測標準，易出現 Demo 很神、上線就崩的情況。
• 成本與 ROI：選錯模型可能導致成本失控，價值（ROI）說不清。
• 資料治理問題：資料亂七八糟的 PDF 等無效資料治理會導致專案失敗。
• 技術本質限制：原生 LLM 僅預測下一個字，本質不可控，需靠明確目標、防護欄及評測才能上產線。

逐字稿辨識疑點

• 能工智慧學會：講者自稱代表「中華民國能工智慧學會」，疑為「人工智慧」之聽寫錯誤或口誤。
• 和平：講者提到在中英院「來做和平」，疑為「來做研究」或特定職位名稱之聽寫錯誤。
• 生成4A：講者提到「生成4A的專案」，疑為「生成式 AI」之聽寫錯誤。
• 歐基電：講者提到台積電帶領廠商前往歐洲變成「歐基電」，疑為「歐洲」或特定公司/組織名稱之聽寫錯誤。
• 鼎泰峰式小籠包：講者提到「來臺灣這個鼎泰峰式小籠包」，語意稍顯突兀，疑為口誤或特定比喻。
• 北域女：講者提到「我跟北域女的國文學科中心的老師」，疑為「北一女」（北一女中）之聽寫錯誤。
• Chair GBT / ChairGPT：講者多次提到「Chair GBT」或「ChairGPT」，疑為「ChatGPT」之聽寫錯誤。
• 五倍女：講者提到「我跟北域女的...大概一般北域女大概只會有一個20分」，語意重複且「北域女」疑為「北一女」。
• 大考中心：講者提到「由這個大考中心的教授親自帶領」，指臺灣大學學科能力測驗中心。
• post training：講者提到「做一些post training後訓練」，為英文術語混用。
• run AI 的專案：講者提到「run AI 的專案」，疑為「進行」或「執行」之口語化表達或聽寫錯誤。
• 3721：講者提到「不管3721先把最大的模型給上去」，為成語「不管三七二十一」之聽寫錯誤。
• 樂樂等：講者提到「講一大堆樂樂等」，疑為「囉哩囉唆」或「零零落落」等形容冗長之聽寫錯誤。
• 自成配方：講者提到「問他自成」，疑為「上下文」或「資料」之聽寫錯誤。
• 公司賴企業賴：講者提到「防止你的這個你這個公司賴企業賴生存的機密」，疑為「公司、企業賴以生存」之聽寫錯誤。
• 通才訓練成一個專才：語意通順，但「通才」與「專才」為對比概念。
• 簡合方式：講者提到「定義了一個簡合方式 Benchmark」，疑為「結合方式」或「檢驗方式」之聽寫錯誤。
• TrackGPT：講者提到「改用TrackGPT來改」，疑為「ChatGPT」之聽寫錯誤。
• 製程的know how：講者提到「製程的know how」，為英文術語混用。
• 斷掰：講者提到「他不知道他就開始斷掰」，為台語口語，意指胡亂編造。
• 升一些墨水分數：講者提到「想辦法升一些墨水分數」，疑為「生一些沒有的東西」或「編造」之聽寫錯誤。
• interview：講者提到「如果去interview」，為英文術語混用。
• 大型元模型：講者提到「大型元模型的生成能力」，疑為「大型語言模型」之聽寫錯誤。
• S光片：講者提到「工程圖 S光片」，疑為「手寫片」或特定文件類型之聽寫錯誤。
• 手寫批著：講者提到「手寫批著都可以看得懂」，疑為「手寫批註」之聽寫錯誤。
• Graph Rack：講者提到「Graph Rack」，疑為「Graph RAG」之聽寫錯誤。
• Rack：講者提到「透過這個Rack的方式」，疑為「RAG」之聽寫錯誤。
• 量子：講者提到「我們要自己去建這個量子」，疑為「題庫」或「量測標準」之聽寫錯誤。
• demo很神上線就崩：講者提到「防止demo很神上線就崩」，為口語化表達。
• 五十倍的錢：講者提到「選錯模型多少五十倍的錢」，疑為「省掉」或「省下」之聽寫錯誤。
• 地端：講者多次提到「地端模型」、「地端部署」，疑為「端端」或「本地端 (On-premise)」之聽寫錯誤。
• loading：講者提到「他自己的loading就增加了」，為英文術語混用，意指負擔。
• AI foreign：講者提到「歐洲的AI foreign」，疑為活動名稱或特定術語。
• Yana Khun：講者提到「邀請AI大神Yana Khun」，疑為特定講者姓名，需查證。
• LOM：講者提到「選對 AI 的大腦 (LOM)」，疑為「LLM (Large Language Model)」之聽寫錯誤，因前文多次使用 LLM。
• RIG：講者提到「用RIG來給它知識」，疑為「RAG」之聽寫錯誤。
• 兩尺：講者提到「裝上兩尺」，疑為「兩側」或特定術語之聽寫錯誤，或為「兩全」之誤。

可延伸追問

• 如何