MinerU

MinerU は人間向けに書かれた文書を、モデルが読める形に変換します。入力は PDF、Office ファイル、画像。出力はレイアウト、読み順、数式、表を保った構造化 Markdown です。ライブラリ、CLI、サービスとして動作し、バックエンドを切り替えられます。ONNX や Torch 上の小型モデル、あるいは llama.cpp、vLLM、LMDeploy で供する VLM です。ページとブロックの位置情報も保持するため、下流のエージェントが記述の出所を引用できます。

ここは検索品質が決まる、地味な工程です。理由は PDF そのものにあります。PDF が記述しているのは「インクがどこに置かれるか」であり「文字が何を意味するか」ではありません。二段組の論文、ページをまたぐ表の行、グリフの寄せ集めになった数式、テキスト層のないスキャンページ。下流の分割戦略はすべてこの段階の結論の上に成り立ち、行の途中で切れた表は後からどう調整しても取り返せません。だから解析は、通常は埋め込みモデルに費やされる注意を受ける価値があります。留保は、品質が領域に強く依存することです。学術論文で調整した処理系は、請求書やスキャンした帳票では違う挙動をします。試すべきは自社の文書種別です。