OpenDataLoader

従来のパーサーはマルチカラムレイアウトでテキストの順序を乱しがちですが、XY-Cut++アルゴリズムはページ領域をインテリジェントにセグメント化し、論理的な読み取りフローを維持します。これにより、LLMは正しい順序でテキストを受け取ることができ、複雑な技術文書や財務文書で検索精度を低下させる「テキストの混在」現象を防ぎます。

境界線を検出し、テキストをリレーショナルな行と列にクラスタリングすることで、表解析において93%の精度を達成します。結合セルや複雑なヘッダーにも対応し、視覚的な表を機械可読なJSONに変換します。これは、表内のデータ整合性が正確なクエリ応答に不可欠な、財務や科学分野のRAGにおいて極めて重要です。

抽出されたすべての要素は、ソースページ上の元の[x1, y1, x2, y2]座標にマッピングされます。これにより、開発者は引用機能を作成でき、AIが元のPDF内の正確なソース位置をハイライトできるようになります。これは、エンタープライズAI導入における検証および監査の必須要件です。

高速な従来のOCRと、複雑な文書構造向けのLLMベースの拡張機能を組み合わせたハイブリッドアプローチを採用しています。これにより、パフォーマンスと高精度な抽出を両立し、法務契約書やエンジニアリング図面などの専門的な文書に必要な精度を維持しながら、処理をスケールさせることが可能です。

隠しテキスト、ページ外のコンテンツ、PDFメタデータに埋め込まれた潜在的なプロンプトインジェクション攻撃に対するネイティブフィルタリングを備えています。解析段階で入力をサニタイズすることで、悪意のある攻撃者がRAGパイプラインを悪用するのを防ぎ、クリーンで検証済みのデータのみがLLMのコンテキストウィンドウに到達するようにします。