# 影片筆記:7份PDF实测:MarkItDown、Docling、Marker、MinerU 到底怎么选? ## ⚠️ 可先使用,仍有待修正項目 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) - 待修正:逐字稿可先使用,但有待校正清單(segment=88 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=89 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語) ## 一句話總結 本影片重新進行了四款 PDF 轉 Markdown 工具(MarkItDown、Docling、Marker、MinerU)的實測,核心觀點在於**「工具不是答案,可靠的質檢流程才是關鍵」**。測評目標並非尋找單一最佳工具,而是評估轉換後的輸出是否足以放心交付給 AI 處理(進入 AI 上下文)。結果顯示各工具在速度、結構穩定性及適用場景上各有優劣,建議使用者根據文件類型(如普通文本、複雜表格、掃描件)選擇合適工具,並建立包含檢查文本層、閱讀順序、表格結構及圖片公式抽樣的標準作業流程。 ## 核心重點 1. **測評核心目標**: * 評估同一份 PDF 轉換為 Markdown 後,其輸出內容是否足以放心交給 AI 處理(進入 AI 上下文)。 * 分數僅是「質檢信號」,用於判斷輸出是否有資格進入下一步,而非絕對真理。 2. **測評方法論**: * **樣本設計**:涵蓋七類樣本(原生文本報告、可填寫表單、雙欄論文、財報表格、長技術手冊、專利 PDF、幻燈片 PDF)。 * **策略**:每類僅切代表頁,避免直接整本跑長文檔(如 Apple 10K, NASA 手冊),以免測到的是壓力測試而非抽取質量。 * **腳本功能**:切樣本頁、運行四個工具、檢查關鍵詞/標題/表格型/圖片引用和可讀摘錄。 3. **工具特性與推薦場景**: * **MarkItDown**:速度極快(平均 1.23 秒),適合快速預覽普通 PDF。 * **Docling**(筆記中稱 Darklin/Duckling):結構感最穩(平均 88.9 分),適合需要結構、表格和知識庫候選的場景。 * **Marker**:在無 OCR、無圖片提取的文本層快速配置下表現良好(平均 88.1 分),但需明確邊界,適合確認 PDF 有文本層且不需要 OCR 的場景。 * **MinerU**:屬重型管線(平均 79.1 分),適合願意為複雜版面承擔配置成本的場景,面對掃描件或複雜版面值得保留。 4. **可靠流程建議**: * PDF 入庫前應執行四個檢查: 1. 有沒有文本層。 2. 閱讀順序有沒有亂。 3. 表格行列有沒有保住。 4. 圖片、公式、掃描頁有沒有抽樣。 ## 詳細大綱 ### 一、 測評目標與方法論 * **核心問題**:同一份 PDF 變成 Markdown 後,能否放心交給 AI? * **測評範圍**:僅比較成功輸出的效果。 * **環境說明**:運行環境、設備選擇、依賴細節僅作為內部診斷,不作視頻結論。 * **樣本設計細節**: * 共七類:原生文本報告、可填寫表單、雙欄論文、財報表格、長技術手冊、專利 PDF、幻燈片 PDF。 * 策略:每類只切代表頁。避免直接整本跑長文檔(如 Apple 10K, NASA 手冊),以免測到的是壓力測試而非抽取質量。 * **腳本功能**: 1. 切樣本頁。 2. 跑四個工具。 3. 檢查關鍵詞、標題、表格型、圖片引用和可讀摘錄。 * **分數定義**:非絕對真理,僅為質檢信號,判斷輸出是否有資格進入下一步(AI 上下文)。 ### 二、 配置邊界設定 * **MarkItDown**:使用預設離線轉換。 * **Docling**(筆記中稱 Darklin):輸出 Markdown,並將圖片設為 Placeholder。 * **Marker**:使用 No OCR、No Image Extraction 的文本層快速配置(不代表預設 OCR 能力)。 * **MinerU**:使用 Pipeline,保留表格,但本輪不評估公式解析。 ### 三、 總覽結果與工具特性 * **MarkItDown**: * 七個樣本全部完成。 * 平均規則分 83,平均耗時 1.23 秒。 * 特點:速度非常快。 * **Docling**(筆記中稱 Darklin): * 平均 88.9 分,平均 9.31 秒。 * 特點:不是最快,但結構感最穩。 * **Marker**: * 平均 88.1 分,平均 36.2 秒。 * 特點:邊界需寫清楚,適合有文本層、不需要 OCR 的場景。 * **MinerU**: * 平均 79.1 分,平均 27.79 秒(註:逐字稿中出現兩次 27.7 分/秒,後修正為 27.79 秒)。 * 特點:更像重型管線,適合願意為複雜版面多付配置成本的場景。 ### 四、 案例詳細分析 1. **Nest 報告**: * 四個工具都能讀到目錄和 Executive Summary,但結構不同。 * MarkItDown:將目錄更像普通文本串出來。 * Docling 和 Marker:更容易形成表格化目錄。 * MinerU:保留了標題,但表格結構弱一些。 2. **W 四表單**: * 重點不在有沒有字,而在 Step 1 姓名、地址、Worksheet 等字段是否在同一個語意塊裡。 * Docling 和 Marker:結構最完整。 * MinerU:給出 HTML Table。 * MarkItDown:很快,但更像線性文本。 3. **雙欄論文**: * 論文最怕閱讀順序飄移。 * MarkItDown:開頭會帶一些 AR 14 頁面噪聲。 * Docling, Marker, MinerU:都能穩定抓到標題和作者,但後續圖表位置仍需抽樣檢查。 4. **財報表格**: * 三家都拿到高分,但真實輸出有差異。 * Docling:年份列、指標行更規整。 * Marker:也能保留多列表格。 * MarkItDown:可用,但有些列被拆得更碎。 * MinerU:輸出 HTML Table,不過個別行會有重排噪聲。 5. **長技術手冊**: * 建議:長文檔不要一上來整本入庫,先抽目錄、圖表說明和章節頁。 * Docling 和 Marker:目錄結構最清楚。 * MarkItDown:適合快速預覽。 * MinerU:保留部分圖像線索。 6. **專利 PDF**: * 看起來像掃描件,但實際帶有可抽取文本層。 * 因此,No OCR 配置也能拿到內容。 * 啟示:PDF 製簡第一步,先判斷有沒有文本層,不要只憑頁面長相決定要不要 OCR。 7. **幻燈片 PDF**: * 所有工具都不算輕鬆。 * 問題不在讀不到字,而在語意藏在佈局裡(大標題、箭頭、左右分組、圖形關係)。 * 轉成 Markdown 後,這些關係很容易被壓平成段落。 ### 五、 結論與建議流程 * **工具選擇建議**: * 快速讀普通 PDF:MarkItDown 適合做第一刀。 * 要結構、表格和知識庫候選:Docling 更穩。 * 確認 PDF 有文本層且不需要 OCR:Marker 的快速配置表現很好,但一定要注明邊界。 * 面對掃描件或複雜版面:MinerU 值得保留,但要接受更重的依賴和參數成本。 * **可靠流程**:PDF 入庫前做四個檢查: 1. 有沒有文本層。 2. 閱讀順序有沒有亂。 3. 表格行列有沒有保住。 4. 圖片、公式、掃描頁有沒有抽樣。 * **核心觀點**:工具不是答案,質檢流程才是答案。 * **未來展望**:下一期可能將測評變成批量 PDF 入庫工作流,不僅看 Markdown 好不好看,還看能否引用、追溯、查錯。 ## 工具 / 模型 / 名詞整理 * **MarkItDown**:測評工具之一,以速度見長。 * **Docling**(筆記中亦稱 Darklin、Duckling):測評工具之一,結構穩定性佳。 * **Marker**:測評工具之一,文本層配置表現良好。 * **MinerU**:測評工具之一,重型管線,適合複雜版面。 * **Apple 10K**:作為長文檔壓力測試的反面例子提及。 * **NASA 手冊**:作為長文檔壓力測試的反面例子提及。 * **Nest 報告**:測評樣本之一,用於測試目錄與摘要結構。 * **W 四表單**:測評樣本之一,用於測試表單字段語意塊完整性。 * **AR 14**:雙欄論文案例中提及的頁面噪聲來源,具體指代不明。 * **HTML Table**:MinerU 輸出格式之一。 * **Markdown / MarkDone / Mark it down / MarkDown**:逐字稿中對同一工具名稱拼寫不一。 * **Minor U**:雙欄論文案例中出現,疑為 MinerU 的聽寫錯誤。 * **盡 Rack hole**:結尾處出現,疑為聽寫錯誤,具體指代不明。 ## 操作流程整理 1. **樣本準備**: * 從七類 PDF(原生文本、表單、雙欄論文、財報、技術手冊、專利、幻燈片)中各切取代表頁。 * 避免整本長文檔直接運行,以確保測試的是抽取質量而非壓力測試。 2. **工具配置**: * **MarkItDown**:預設離線轉換。 * **Docling**:輸出 Markdown,圖片設為 Placeholder。 * **Marker**:關閉 OCR 與圖片提取,僅使用文本層快速配置。 * **MinerU**:使用 Pipeline,保留表格,暫不評估公式解析。 3. **執行與檢查**: * 運行腳本對四個工具進行轉換。 * 檢查關鍵詞、標題、表格結構、圖片引用及可讀摘錄。 4. **質檢評估**: * 根據分數(質檢信號)判斷輸出是否合格。 * 針對不同案例(如雙欄論文的閱讀順序、財報的表格完整性、專利的文本層存在性)進行具體分析。 5. **最終篩選與入庫**: * 根據文件類型選擇合適工具。 * 執行四項檢查(文本層、閱讀順序、表格結構、圖片公式抽樣)。 * 將通過質檢的內容進入 AI 上下文或知識庫。 ## 值得注意的限制或風險 1. **工具非萬能**:沒有單一工具在所有場景下都是最佳選擇,需根據文件類型(普通文本、複雜表格、掃描件)匹配工具。 2. **結構丟失風險**: * **MarkItDown**:可能將目錄轉為普通文本,或將表格列拆得太碎。 * **MinerU**:雖保留表格但可能產生重排噪聲,且為重型管線,配置成本高。 * **幻燈片 PDF**:語意藏在佈局(箭頭、分組、圖形關係)中,轉 Markdown 後易被壓平成段落,導致語意丟失。 3. **OCR 依賴誤區**:專利 PDF 看似掃描件但可能有文本層,若盲目進行 OCR 可能浪費資源;反之,若無文本層則必須依賴 OCR。第一步應判斷是否有文本層。 4. **閱讀順序飄移**:雙欄論文等複雜版面容易出現閱讀順序錯誤,需特別檢查標題、作者及圖表位置的穩定性。 5. **數據一致性問題**:MinerU 的速度數據在逐字稿中存在單位混亂(分與秒混用),最終雖修正為 27.79 秒,但原始數據存在矛盾。 ## 逐字稿辨識疑點 * **MarkDone / Mark it down / MarkDown**:逐字稿中對該工具的稱呼不一致,分別出現「MarkDone」、「Mark it down」、「MarkDown」。 * **Duckling / Darklin / Docling**:逐字稿中交替出現「Duckling」與「Darklin」,指代同一個測評對象,疑為聽寫錯誤或模型名稱混淆。根據標題應為 Docling,但筆記中暫保留 Darklin/Duckling 之稱呼並列疑點。 * **Miner U / Miner U / Minor U**:逐字稿中出現「Miner U」與「Miner U」,以及雙欄論文案例中的「Minor U」,疑為同一工具名稱的聽寫差異或錯誤。 * **W 四表單**:具體名稱不明,疑為特定表單名稱或聽寫錯誤。 * **AR 14**:在雙欄論文案例中出現「AR 14 頁面噪聲」,具體指代不明,疑為特定術語或聽寫錯誤。 * **盡 Rack hole**:在結尾處出現「盡 Rack hole 能不能引用」,疑為聽寫錯誤,具體指代不明。 * **著名邊界**:在 Marker 建議中出現「一定要著名邊界」,疑為「注明邊界」或「明確邊界」的聽寫錯誤。 * **27.7分 / 27.7分 / 27.79秒**:Miner U 的數據在逐字稿中重複且單位混亂(分與秒混用),最後修正為 27.79 秒,但原始數據存在矛盾。 ## 可延伸追問 1. 對於「W 四表單」這類複雜表單,是否有特定的 Markdown 結構建議來保留語意塊? 2. 在雙欄論文測評中,「AR 14 頁面噪聲」具體是指什麼內容?如何有效過濾? 3. 若 PDF 確實無文本層且為掃描件,MinerU 的公式解析能力在後續版本中是否有改進? 4. 如何自動化執行「檢查文本層、閱讀順序、表格行列、圖片公式抽樣」這四個質檢步驟? 5. 下一期提到的「批量 PDF 入庫工作流」中,如何具體實現引用、追溯與查錯功能?