# 影片筆記:哦吼!PP-OCRv6全场景实测|本地部署 训练格式 对比PaddleOCR-VL文本识别模型 ## ⚠️ 可先使用,仍有待修正項目 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:逐字稿來源選擇未完全通過,仍先生成筆記(no_trustworthy_transcript_source;原始逐字稿保留;請進入精進模式確認來源。) - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) - 待修正:逐字稿可先使用,但有待校正清單(segment=44 adjacent_duplicate: 與前一段完全重複,可能是滾動字幕或 ASR 重複;segment=60 sentence_boundary_unclear: 長段落沒有自然句尾,斷句位置待人工確認) - 待修正:逐字稿品質檢核未完全通過({'stage': 'canonical_transcript_quality', 'action': 'published_with_warning', 'signals': ['canonical_hallucination_detected', 'extreme_long_sentence_units', 'transcript_selection_not_resolved']}) ## 一句話總結 本影片實測 PP-OCRv6 模型,展示其本地部署、推理速度及對複雜排版(如電路板 CAD、手寫體)的支援能力,並詳細演示了從環境配置、模型下載推理到使用 COCO 格式進行數據標註與微調(Fine-tuning)的完整流程,同時對比了 PP-OCRv6 與 PP-V5、GPT 及 MinerU 2.5 等模型的識別效果。 ## 核心重點 * **PP-OCRv6 特性**:已開源,支援 50 種語言,具備處理複雜場景(雜誌排版、手寫體、電路板 CAD)的能力。 * **性能表現**:Medium 模型在本地 CPU 環境下推理速度較快。 * **技術定位**:屬於 CN 模型技術路線,是 PiDoc2 全流程的第一步,用於識別文檔所有內容(包含文本位置檢測、裁剪、文字識別)。 * **微調流程**:當識別效果不佳時,可透過截取錯誤圖片,使用 COCO 格式進行標註,並利用官方命令進行一鍵訓練與微調。 * **對比測試**:與 PP-V5、GPT 以及基於 VRM 技術路線的 MinerU 2.5、PiDoc2 1.6 進行對比,指出不同模型在特定文字識別上可能出現的錯誤(如「中国沙」或「中国蓝」)。 ## 詳細大綱 ### 1. PP-OCRv6 介紹與特性 * **開源與語言支援**:PP-OCRv6 已開源,支援 50 種語言。 * **複雜場景支援**:能夠處理雜誌排版、手寫體、電路板 CAD 等複雜排版情況。 * **模型版本**:提供 Tiny、Smoth(疑點)、Medium 等版本。 * **本地測試結果**:Medium 模型在 CPU 上運行速度較快。 ### 2. 技術路線與定位 * **技術路線**:PP-OCRv6 屬於 CN 模型技術路線。 * **對比 VRM 技術路線**:與 MinerU 2.5、PiDoc2 1.6 等基於 VRM 技術路線的模型進行區別。 * **產品定位**:作為 PiDoc2 全流程的第一站,用於識別文檔所有內容。 * **基礎流程**:文本位置檢測(第一 T 模型,疑點)-> 裁剪 -> 文字識別。 ### 3. 格式與環境配置 * **支援格式**:支援 PiDoc2 原生格式、SafeTensors(面向 Hugging)。 * **安裝環境**: * 使用康達(疑點,應指 Conda)進行環境管理。 * 使用褲打 13.0(疑點,應指 PyTorch 或相關版本)框架。 * 使用官方命令安裝工具。 ### 4. 實測與對比 * **模型下載與推理**: * 自動下載模型。 * 指定輸出位置進行推理。 * **速度測試**:PP-V6 Medium 模型處理三頁內容的速度很快。 * **識別對比**: * 對比 PP-V6、PP-V5 與 GPT。 * 對比 MinerU 2.5 Pro:指出兩者均可能出現識別錯誤,例如將特定文字識別為「中国沙」或「中国蓝」。 ### 5. 模型微調(Fine-tuning)流程 * **適用情況**:當模型表現不好時。 * **方法**:使用 PP-OCRv6 支援的舊模型進行訓練。 * **數據準備**: * 使用 COCO 格式。 * 截取處理不好的圖片(如符號:立方米、平方米、Ad、復權號等)。 * **標註與訓練**:進行圖片標註,使用官方命令進行一鍵訓練。 ## 工具 / 模型 / 名詞整理 * **PP-OCRv6**:本次實測的主要模型。 * **PP-V5 / PP-V6**:用於對比的老版本或同系列模型。 * **Tiny / Medium 模型**:PP-OCRv6 的不同參數規模版本。 * **Smoth 模型**:逐字稿提及的版本名稱,疑點待查。 * **GPT**:用於對比的大型語言模型。 * **MinerU 2.5 / PiDoc2 1.6**:基於 VRM 技術路線的對比模型。 * **PiDoc2**:PP-OCRv6 所屬的全流程產品。 * **CN 模型**:PP-OCRv6 所屬的技術路線分類。 * **VRM**:MinerU 等模型所屬的技術路線分類。 * **SafeTensors**:模型權重格式,面向 Hugging。 * **Hugging**:模型託管平台。 * **COCO 格式**:用於數據標註的格式標準。 * **康達**:逐字稿提及的環境管理工具,疑點待查。 * **褲打 13.0**:逐字稿提及的框架版本,疑點待查。 * **第一 T 模型**:逐字稿提及的檢測模型名稱,疑點待查。 ## 操作流程整理 1. **環境準備**: * 使用康達(疑點)建立環境。 * 安裝褲打 13.0(疑點)框架。 * 使用官方命令安裝必要工具。 2. **模型下載與推理**: * 執行命令自動下載 PP-OCRv6 模型。 * 指定輸出位置。 * 進行推理測試,觀察處理三頁內容的速度。 3. **識別效果評估**: * 對比 PP-V5、GPT 及 MinerU 2.5 Pro 的識別結果。 * 記錄識別錯誤案例(如「中国沙」、「中国蓝」)。 4. **模型微調(Fine-tuning)**: * 針對識別效果不佳的情況,截取相關圖片。 * 使用 COCO 格式對圖片進行標註(包含符號如立方米、平方米等)。 * 使用官方命令進行一鍵訓練與微調。 ## 值得注意的限制或風險 * **識別錯誤風險**:PP-OCRv6 與 MinerU 2.5 Pro 在特定文字識別上均可能出現錯誤,需人工校對。 * **技術路線差異**:PP-OCRv6 屬於 CN 模型技術路線,與 VRM 技術路線(如 MinerU、PiDoc2)在處理邏輯上存在區別。 * **環境依賴**:本地部署依賴特定的環境配置(康達、褲打 13.0 等),需確保環境正確安裝。 ## 逐字稿辨識疑點 * **Smoth**:逐字稿提及模型版本為 "Tiny, Smoth, Medium",疑為 "Small" 或 "Smaller" 之聽寫錯誤。 * **康達**:逐字稿提及 "實驗的是康達",疑為 "Conda" 之聽寫錯誤。 * **褲打 13.0**:逐字稿提及 "我的是褲打13.0",疑為 "PyTorch" 或相關框架版本之聽寫錯誤。 * **第一 T 模型**:逐字稿提及 "第一T的模型",疑為 "Detection"(檢測)或特定技術術語之聽寫錯誤。 * **罗望性的最高**:逐字稿提及 "罗望性的最高",語意不明,疑為聽寫錯誤。 * **优秘**:逐字稿提及 "在词还是比较优秘",語意不明,疑為 "優異" 或 "秘密" 之聽寫錯誤。 * **Ad**:逐字稿提及 "像一些Ad",語意不明,疑為特定符號或單詞之聽寫錯誤。 * **復權號**:逐字稿提及 "復權號",疑為 "複合號"、"破折號" 或其他符號名稱之聽寫錯誤。 * **試取模型**:逐字稿提及 "試取模型的一個效果",疑為 "測試" 或 "推理" 之聽寫錯誤。 * **PED OCR**:逐字稿提及 "之前的PED OCR的VR模型",疑為 "PP OCR" 之聽寫錯誤。 ## 可延伸追問 * PP-OCRv6 的 Medium 模型在 CPU 上的具體推理速度數據為何? * CN 模型技術路線與 VRM 技術路線在架構上有何具體差異? * 使用 COCO 格式標註時,對於特殊符號(如立方米、平方米)的標註規範為何? * 微調後的模型在特定領域(如電路板 CAD)的識別準確率提升幅度如何?