# 影片筆記：DeepSeek V4正式版+Codex工业Agent开发实战！从零手搓AI数据分析Agent，Responses API调用流程与Codex核心功能详解！ p06 06.【实战】AI数据分析系统开发实战（上）

## 一句話總結

本集介紹了基於 DeepSeek V4 Flash 模型與 Codex 開發的「DS4-AI 數據分析系統」實戰，詳細拆解了從數據接入、技能中心（Skills）配置、FastAPI 後端架構到前端可視化渲染的完整開發鏈路，並強調了業務場景理解與技術選型在 Agent 開發中的核心地位。

## 核心重點

1.  **模型與工具選型**：
    *   使用 **DeepSeek V4 Flash** 搭配 **Codex** 進行開發。
    *   講者認為，儘管 V4 Flash 是「小號」模型，但其性能優於早期版本（甚至提及比 Opera 4.5 更強，疑點），且響應速度快，與 Codex 兼容性穩定，適合多數開發任務。
    *   架構基於 **Deep Agents**（LongChain Deep Agents）與 **FastAPI**。

2.  **DS4-AI 系統核心功能**：
    *   **數據資產管理**：支持接入本地 Excel/CSV、MySQL、SQLite 等多種數據源，管理數據權限、臨時存儲及結論。示例數據規模為 300 多萬行。
    *   **技能中心（Skills Center）**：通過 Skill 灌輸領域知識。內置 4 個 Skill：生成數據摘要、數據檢查、異常值檢查、生成數據分析報告。覆蓋數據清洗、探索、可視化、特徵工程等全流程。
    *   **安全與隔離**：採用沙盒環境隔離 Python 代碼運行，數據庫設置只讀權限，確保原始數據安全。
    *   **對話與 Agent 運行時**：每次對話視為獨立項目，支持工具調用、跨線程記憶與持久化。

3.  **開發難點與架構設計**：
    *   **難點不在代碼編寫**：核心難點在於對業務場景的理解、技術選型以及功能鏈路的梳理（數據接入、清洗、可視化、建模等）。
    *   **功能鏈路規劃**：多元數據接入 -> 只讀查詢引擎 -> 數據清洗/特徵工程 -> 探索與可視化 -> 異步訓練/建模 -> 模型融合 -> 生成報告。
    *   **層級劃分**：底層支撐（數據庫、隔離倉、血緣梳理）、上層業務（指標定義、報告質量）、智能編排（模型路由、Skill 披露）。

4.  **用戶體驗與交互**：
    *   前端渲染為 **E-charts**（疑點，應為 ECharts）圖表，支持實時生成表格與圖表。
    *   具備數據血緣追溯功能，可確認提取結果可信度。
    *   支持生成 HTML 報告並本地保存。

## 詳細大綱

### 1. 開發背景與模型評估
*   **學習建議**：基礎學習後應圍繞具體項目進行開發試錯，提取經驗並優化，完成全鏈路開發。
*   **模型對比**：
    *   DeepSeek V4 Flash 性能優於上半年或年初的模型。
    *   提及與 Opera 4.5 的性能比較（疑點）。
    *   優勢：響應速度快，Codex 兼容性穩定。

### 2. DS4-AI 數據分析系統功能詳解
*   **系統定位**：適配 2026 下半年，適合用於履歷項目，功能齊全。
*   **模塊一：數據資產管理**
    *   接入渠道：本地 Excel/CSV、MySQL、SQLite、分佈式數據庫。
    *   功能：維護數據中台/存儲，處理權限，管理臨時數據及結論。
    *   數據規模示例：300 多萬行，分散在 MySQL、CircleLite（疑點）、Excel、CSV。
*   **模塊二：技能中心（Skills Center）**
    *   通過 Skill 灌輸領域知識和分析偏好。
    *   內置 Skill：生成數據摘要、數據檢查、異常值檢查、生成數據分析報告。
    *   覆蓋流程：數據清洗、探索、指標計算、可視化、特徵工程、模型融合。
*   **模塊三：系統設置與安全**
    *   模型 API 設置、沙盒環境配置（隔離 Python 代碼）。
    *   安全措施：數據庫只讀、最小上下文披露、CPU 腳本沙盒。
    *   界面：支持 Web Design 風格，內置多種頁面外觀。
*   **模塊四：對話與 Agent 運行時**
    *   每次對話為獨立數據分析項目，擁有獨立空間。
    *   底層使用 Deepseek Flash 模型，架構基於 Deep Agents。
    *   功能：工具調用、系統設置、Skill 加載、跨線程記憶、持久化。

### 3. 系統架構與技術選型
*   **技術棧**：
    *   前端：流式對話工具台。
    *   後端：FastAPI 封裝模塊 + SSE 網關。
    *   Agent 運行時：Deepseek V4 Flash + OpenAI ChatComplations API（疑點） + Deep Agents。
*   **FDE（前沿部署工程師）視角**：
    *   難點在於結合業務分析目標，確定業務目標、适配穩健開發方案、梳理功能鏈路。
*   **數據分析功能鏈路**：
    1.  多元數據接入。
    2.  只讀數據查詢引擎。
    3.  數據清洗與特徵工程。
    4.  數據探索與可視化分析。
    5.  異步訓練進程管道（畫圖、機器學習建模預測）。
    6.  機器學習與模型融合。
    7.  生成分析報告。
*   **開發層級**：
    *   底層：本地數據庫、項目隔離倉、血緣關係梳理、SQLite/CircleLite 存儲、獨立項目空間。
    *   上層：業務指標定義、功能完成程度。
    *   智能編排：模型路由、最小工具路由、Skill 披露。

### 4. 用戶體驗與交互細節
*   **前端渲染**：
    *   系統讀取特定 Message，在前端渲染為 E-charts 圖表。
    *   支持實時生成表格、圖表，提升觀感。
    *   類似 Cloud Cowork 或 ChatGPT Sheet 的執行思路。
*   **數據血緣追溯**：
    *   追溯數據生成過程，確認提取結果可信度。
    *   支持關聯分析，點擊查看產物血緣。
*   **報告生成**：
    *   綜合結論生成可視化報告。
    *   支持生成 HTML 並本地保存。

## 工具 / 模型 / 名詞整理

*   **模型/技術名稱**：
    *   DeepSeek V4 Flash
    *   Codex
    *   Deep Agents (LongChain Deep Agents)
    *   FastAPI
    *   SSE (Server-Sent Events)
    *   OpenAI ChatComplations API (原文拼寫，疑點)
    *   Responses API (前文提及)
    *   E-chats (原文，疑點，可能指 ECharts)
    *   SQLite
    *   MySQL
    *   CircleLite (原文提及數據載體，疑點)
    *   Cloud Cowork (原文，疑點)
    *   ChatGPT Sheet (原文，疑點)
    *   Opera 4.5 (原文提及模型性能比較，疑點)

*   **概念/術語**：
    *   NL2色刻画 (疑點，可能為 NL2SQL 或類似術語)
    *   Skill (技能)
    *   Agent (智能體)
    *   Sandbox (沙盒)
    *   Subagents (子智能體)
    *   States (狀態)
    *   Innet (疑點，可能為 Intent 或 Internal)
    *   FDE (前沿部署工程師)
    *   數據血緣 (Data Lineage)
    *   模型融合 (Model Fusion)
    *   特徵工程 (Feature Engineering)
    *   持有机 (原文，疑點，可能為持久化 Persistence)
    *   软投票模型 (原文，疑點，可能為 Soft Voting)
    *   一步训练进程 (原文，疑點，可能為異步訓練進程)

## 操作流程整理

1.  **環境與數據準備**：
    *   配置 FastAPI 後端與 SSE 網關。
    *   接入多元數據源（Excel, CSV, MySQL, SQLite 等），建立數據資產管理系統。
    *   設置數據庫只讀權限與沙盒環境，確保安全。

2.  **技能中心配置**：
    *   定義並灌輸 Skill（數據摘要、檢查、異常值檢查、報告生成）。
    *   將 Skill 與 Deep Agents 框架綁定，實現代讀取加載。

3.  **Agent 運行與編排**：
    *   初始化 DeepSeek V4 Flash 模型，配置 API 調用。
    *   建立獨立項目空間，處理跨線程記憶與持久化。
    *   執行功能鏈路：數據接入 -> 清洗/特徵工程 -> 探索/可視化 -> 異步訓練/建模 -> 模型融合。

4.  **前端交互與輸出**：
    *   通過流式對話工具台進行交互。
    *   解析模型輸出，在前端渲染 E-charts 圖表與表格。
    *   生成數據血緣追溯鏈，確認結果可信度。
    *   最終生成 HTML 格式的分析報告並保存。

## 值得注意的限制或風險

1.  **數據安全風險**：
    *   雖然設置了沙盒和只讀權限，但仍需確保 Python 代碼在沙盒內嚴格隔離，防止影響原始數據或系統資源。
    *   最小上下文披露原則需嚴格執行，避免敏感數據泄露。

2.  **模型性能與兼容性**：
    *   使用「小號」模型（DeepSeek V4 Flash）可能在處理極複雜邏輯或超大規模數據時存在性能瓶頸，需依賴 Codex 的輔助。
    *   與 OpenAI API 的兼容性（ChatComplations API 拼寫疑點）可能帶來集成風險。

3.  **業務場景適配難度高**：
    *   開發難點不在於 Agent 代碼編寫，而在於對業務目標的理解和功能鏈路的梳理。若業務邏輯梳理不清，系統可能無法生成高質量的分析報告。

4.  **數據質量與多樣性**：
    *   系統需處理分散在不同載體（MySQL, Excel, CSV 等）的數據，數據清洗與特徵工程環節可能因數據質量問題而變得複雜。

## 逐字稿辨識疑點

*   **Responsees API**：原文拼寫，疑點，可能為 Responses API。
*   **Opera 4.5**：原文提及模型性能比較，疑點，Opera 通常為瀏覽器，此處指代不明，需查證。
*   **NL2色刻画**：原文，疑點，可能為 NL2SQL 或其他數據分析術語。
*   **States / Innet**：原文提及 Codex 功能，疑點，Innet 可能為聽寫錯誤，需查證。
*   **CircleLite**：原文提及數據載體，疑點，可能為 SQLite 或其他數據庫名稱。
*   **ChatComplations API**：原文拼寫，疑點，可能為 Chat Completions API。
*   **e-chats**：原文，疑點，可能為 ECharts。
*   **Cloud Cowork**：原文，疑點，可能為 GitHub Copilot Workspace 或其他協作工具。
*   **持有机**：原文，疑點，可能為持久化（Persistence）或類似術語。
*   **软投票模型**：原文，疑點，可能為 Soft Voting。
*   **一步训练进程**：原文，疑點，可能為異步訓練進程。

## 可延伸追問

1.  DeepSeek V4 Flash 模型在處理 300 多萬行數據時，具體的性能表現如何？是否存在延遲或準確度下降的情況？
2.  「Deep Agents (LongChain Deep Agents)」框架與標準的 LangChain 或 LlamaIndex 相比，在 Skill 加載和狀態管理上有何具體優勢？
3.  系統中提到的「數據血緣追溯」技術實現細節是什麼？如何確保追溯鏈的準確性和完整性？
4.  對於「小號」模型，Codex 在其中具體承擔了哪些輔助角色？是代碼生成、調試還是邏輯糾正？
5.  系統如何處理多數據源之間的數據衝突或格式不一致問題？在數據清洗環節有哪些具體的自動化策略？