影片筆記:AI 程式開發不只寫 Code!7 大實戰應用完整解析|RAG、MCP、Tool Calling、AI Agent 一次看懂
一句話總結
影片由小雲大叔與凱文大叔主持,闡述 AI 在企業級程式開發中應從單純寫碼轉向「導航員」角色,並詳細解析 AI 輔助開發、工具呼叫、資料總結、多模態 OCR、RAG 知識庫、Text to SQL 及自動化測試等七大實戰應用場景。
核心重點
- 角色轉變:AI 不僅是寫程式工具,更應視為企業應用的關鍵。開發者角色從「取代程式設計師」轉變為「AI 輔助開發」,人類擔任導航員與架構師,負責規劃架構與驗證,AI 執行細節。
- 七大實戰應用場景:
AI 輔助開發:避免「Vibe Coding」帶來的不可維護性,強調模組化、分群分塊,由人類決定架構與方法。
工具呼叫與能力擴展:透過 Tool Calling、NCP 或 Skill 讓 AI 具備執行外部動作能力(如讀寫檔案、發信)。企業應用原則為 AI 提供建議與分析,不完全控制既有核心系統。
資料總結與異常檢測:應用於 Log 檢測、財務報告、股票數據分析,結合 Notebook LN 等工具進行資料輸出與摘要。
多模態 OCR 解析:利用多模態 LLM 解析圖片、表格、發票、名片,解決傳統 OCR 在字跡潦草或複雜圖形上的不足。
RAG 知識庫應用:利用向量索引與 API 整合企業私有資料,應用於客服 AI、產品知識檢索,無需模型微調 (Tuning) 即可獲取企業內部資訊。
Text to SQL:將自然語言轉換為 SQL 查詢語句,簡化 BI 分析流程,可能取代部分傳統 BI 系統功能。
自動化測試與壓力測試:讓 AI 生成測試資料與腳本,模擬瀏覽器操作,自動化驗證程式結果,提升測試效率。
- 開發核心技能:規劃、架構設計、驗證與回顧。人類需給予明確方向,控制 AI 的機率性輸出。
詳細大綱
前言與觀念轉變
- AI 不僅是寫程式工具,更是企業應用的關鍵。
- 從「取代程式設計師」轉變為「AI 輔助開發」,人類擔任導航員與架構師。
七大實戰場景詳述
AI 輔助開發 (AI-Assisted Development)
- 避免 Vibe Coding 帶來的不可維護性。
- 強調模組化、分群分塊,由人類決定架構與方法。
工具呼叫與能力擴展 (Tool Calling / NCP / Skill)
- 讓 AI 具備執行外部動作能力(讀寫檔案、發信)。
- 企業應用原則:AI 提供建議與分析,不完全控制既有核心系統。
資料總結與異常檢測 (Data Summarization & Log Detection)
- 應用於 Log 檢測、財務報告、股票數據分析。
- 結合 Notebook LN 等工具進行資料輸出與摘要。
多模態 OCR 解析 (Multimodal OCR)
- 解析圖片、表格、發票、名片。
- 解決傳統 OCR 在字跡潦草或複雜圖形上的不足。
RAG 知識庫應用 (RAG Knowledge Base)
- 利用向量索引與 API 整合企業私有資料。
- 應用於客服 AI、產品知識檢索,無需模型微調 (Tuning)。
Text to SQL
- 自然語言轉為 SQL 查詢,簡化 BI 分析流程。
- 可能取代部分傳統 BI 系統功能。
自動化測試與壓力測試 (Automated Testing)
- 生成測試資料與腳本。
- 模擬瀏覽器操作,自動化驗證程式結果。
總結與建議
- AI 開發的核心技能:規劃、架構設計、驗證與回顧。
- 人類需給予明確方向,控制 AI 的機率性輸出。
- 後續課程規劃與問卷調查推廣。
工具 / 模型 / 名詞整理
- AI 相關技術/概念:
- AI 應用
- 智能化工作流程
- Vibe Coding (或寫作 Viber Coding / Vibro-Coding)
- Agent
- Tool Calling
- NCP
- Skill
- LLM (大型語言模型)
- OCR (光學字元辨識)
- 多模態 LLM
- RAG 知識庫 (或寫作 RIG 知識庫 / REG 知識庫 / IG 知識庫)
- 向量化 (Vectorization)
- API
- Tuning / 訓練模型
- Text to SQL
- SQL
- BI (商業智慧)
- 自動化測試
- 壓力測試
- 軟體/平台/產品:
- OpenAI
- Notebook LN
- DV
- 政府采购网
- 名片網
- 騰文券
- 好好上面
- 程式語言/技術:
- Python
- LowesJS
- 後端
- 前端
- 資料庫
操作流程整理
- AI 輔助開發流程:
人類規劃架構與方法。
將任務模組化、分群分塊。
AI 執行細節撰寫。
人類驗證與回顧。
- 工具呼叫流程:
定義外部動作(如發信、讀檔)。
透過 Tool Calling、NCP 或 Skill 連接 AI。
AI 執行動作並提供建議。
人類監控核心系統控制權。
- 資料總結與檢測流程:
輸入 Log、財務報告或股票數據。
結合 Notebook LN 等工具。
AI 進行資料摘要與異常檢測。
- 多模態解析流程:
輸入圖片、表格、發票或名片。
多模態 LLM 解析文字與結構。
輸出解析結果,克服傳統 OCR 限制。
- RAG 知識庫應用流程:
建立向量索引。
透過 API 整合企業私有資料。
應用於客服 AI 或內部知識檢索。
無需重新訓練模型即可獲取資訊。
- Text to SQL 流程:
輸入自然語言查詢。
轉換為 SQL 查詢語句。
執行 BI 分析。
- 自動化測試流程:
AI 生成測試資料與腳本。
模擬瀏覽器操作。
自動化驗證程式結果。
值得注意的限制或風險
- Vibe Coding 的風險:單純的 Vibe Coding 可能導致程式碼不可維護,需轉向模組化與框架化引導。
- 核心系統控制權:在企業應用中,AI 應提供建議與分析,不完全控制既有核心系統,以確保安全與穩定。
- 傳統 OCR 的限制:傳統 OCR 在處理字跡潦草或複雜圖形時存在不足,需依賴多模態 LLM 解決。
- AI 機率性輸出:AI 的輸出具有機率性,人類需給予明確方向並進行驗證與回顧,以控制風險。
逐字稿辨識疑點
- Viber Coding / Vibro-Coding:逐字稿中多次出現此詞,推測應為 Vibe Coding,但依規則標為疑點。
- NCP:與 Tool Calling 並列提及,推測可能為 Function Calling 或特定框架名稱,但依規則標為疑點。
- Skill:指代一種讓 AI 呼叫外部程式的功能,可能為特定平台(如 LangChain 等)的術語,但依規則標為疑點。
- Notebook LN:推測可能為 Notebook LM (Google 推出的工具),但依規則標為疑點。
- High-Driven 資料:語意不明,推測可能為聽寫錯誤,但依規則標為疑點。
- Tool of Coli / 2colin:推測應為 Tool Calling,但依規則標為疑點。
- RIG / REG / IG 知識庫:逐字稿中交替出現 RAG、RIG、REG、IG,推測均指 RAG (Retrieval-Augmented Generation),但依規則標為疑點。
- DV:提及「DV 有一個內建的 RIG 知識庫」,指代不明,推測為特定軟體縮寫,但依規則標為疑點。
- LowesJS:推測應為 JavaScript 或 Node.js,但依規則標為疑點。
- 騰文券:推測為課程平台或活動名稱,但依規則標為疑點。
- 好好上面:推測為課程平台名稱,但依規則標為疑點。
- 牙槍:推測應為 研商 或 研擬 或 加強 的聽寫錯誤,但依規則標為疑點。
可延伸追問
- 在企業環境中,如何具體界定 AI 提供建議與完全控制核心系統的界線?
- 針對「Vibe Coding」帶來的不可維護性,有哪些具體的模組化或架構設計最佳實踐?
- 多模態 LLM 在處理特定行業(如醫療、法律)的複雜文件時,其準確性與傳統 OCR 相比有何具體優勢與數據支持?
- RAG 知識庫在整合企業私有資料時,如何處理資料權限與隱私保護問題?
- Text to SQL 在處理複雜關聯式資料庫查詢時,目前的準確率與局限性為何?
- 自動化測試中,AI 生成的測試腳本在長期維護與更新頻繁的專案中,其穩定性與維護成本如何評估?
逐字稿時間軸
右側可一路往下捲;左側影片框會固定。點擊時間戳會讓左側影片跳到對應秒數。