tech

从原始资料到可检索的知识

从文档解析与结构恢复出发,比较 RAG-Anything 的双图检索、ColPali 与 VisRAG 的页面视觉检索,看看不同表示保留了什么,又付出了什么代价。

我们在讨论 RAG 时,通常会从 Embedding 开始。文档被拆成 Chunk,经过 Embedding 模型转换为向量,存入向量数据库。用户提问时,检索相似内容,再交给大模型生成答案。

这个流程默认我们已经拥有质量足够好的文本数据。

拿到真实资料时,情况往往更复杂。知识可能藏在 PDF、Word、EPUB、Excel、网页、扫描图片里,也可能存在于一张流程图、一段录音或者一段视频中。

不同资料有不同的数据结构。即使是 PDF,原生数字文档和扫描件的处理方式也不完全一样。文字和图片的对应关系、表格的行列结构,以及图表中的数据关系,本身也承载着知识。只提取文字,可能会漏掉这些信息。

这些资料进入检索之前,有一个问题需要先解决。

如何将不同形式的原始资料,转换成机器能够定位、关联、检索和验证的知识?

这也是我读 MinerU、Docling 和 RAG-Anything 的论文与项目文档时,最感兴趣的问题。

把文件读出来,并不等于理解了文件

假设我们上传一本 PDF,解析器很快将它转换成 Markdown。里面有标题、段落、图片链接,甚至表格,肉眼看起来很完整。但如果把它直接交给 Embedding,可能仍然会遇到问题。

例如,正文写着“如图 3 所示”,后面是一张实验图。Markdown 保留了正文和图片引用,却没有明确告诉系统这段话和哪张图存在怎样的关系。

表格也类似。即使所有文字都被 OCR 识别了,只要行列对应关系出错,检索到的数字就可能失去原来的含义。

在这种情况下,信息在解析时就已经被破坏,换一个 Embedding 模型也很难补回来。

Markdown 是很好的文本表示格式,但它不一定适合作为复杂文档唯一的底层数据结构。

这里需要把解析、结构恢复和索引构建分开看。解析器识别文件里有哪些内容,结构恢复保住阅读顺序、标题层级、表格行列和图文对应关系。到了索引阶段,系统才决定用什么粒度和表示来检索这些内容。

三者会互相影响,但出错的位置不同,修法也不同。比如表格识别错了,优先要检查解析结果;已经读对的内容没有被检索到,才需要继续检查切块和检索策略。

不同资料,为什么需要不同的解析方式?

PDF 的主要目标是保持视觉布局。文字可能只是被放置在某个页面坐标上的对象,文档不一定包含完整的标题层级和阅读顺序。

DOCX 往往拥有更明确的段落、样式和表格结构,EPUB 通常基于 HTML 和目录文件组织章节。

网页虽然有 DOM,但正文与导航、广告、推荐内容可能混在一起。

图片则可能只有像素,需要 OCR、版面识别或视觉语言模型(VLM)才能提取内容。

视频更加复杂。除了语音转写,还需要时间戳、关键帧,有时还需要关联某段语音与某个画面。

因此,比较合理的系统会先根据文件类型选择解析方式,再把结果转换成相对统一的数据表示。

以 PDF 为例,解析过程中可能需要先识别正文、标题、图像、表格等区域,再恢复阅读顺序。

一篇双栏论文,如果简单按照页面坐标提取文字,可能把左右两栏交叉拼接。后续切块再精细,也无法保证恢复原本的论述。

这正是 MinerU、Docling、PaddleOCR PP-StructureV3 等工具主要解决的问题。

这些工具把文档版面分析、文本识别、表格结构恢复、公式识别等能力组合起来,尽可能重建文件内部的内容组织。OCR 负责识别文字,阅读顺序和表格行列还需要其他处理。

例如 MinerU 不只支持输出 Markdown,还可以输出结构化内容列表,让下游程序继续访问图片、表格、页面位置等信息。

Docling 则通过 DoclingDocument 这样的统一模型表示文档内容,后续可以直接在结构化对象上进行 Chunking。

页码、页面坐标、所属章节和原图位置,都值得与提取出的内容一起保存。检索命中一段描述后,系统才能回到原文件核对。只留下导出的 Markdown,下游就可能再也拿不到这些信息。

OCR 加多模态大模型,其实并不难想到

研究到这里,我产生了另一个疑问。

如果把技术方案简化,不就是先使用 MinerU 之类的工具识别页面内容,然后让多模态大模型理解图片、图表和表格吗?

这条管线可以拆成下面几步。

TEXT
PDF / 图片
    ↓ 解析
正文、图片、表格、公式
    ↓ 为非文本内容生成描述
正文 + 描述
    ↓ 切块、Embedding
向量索引
    ↓ 检索,按来源记录取回原图
LLM / VLM 回答

这里先让文字描述参与检索,同时保留描述与原始图片的对应关系。描述命中以后,再把原图交给回答模型。

对于很多简单文档问答任务,这条路线已经可能足够有效。

例如,用户询问某张图片展示了什么,我们可以先检索图片描述,再把对应原图传给 VLM。

既然这些步骤并不难想到,香港大学 HKUDS 团队的 RAG-Anything 到底有什么值得研究的地方?

重新阅读它的原始论文后,我发现值得关注的是多模态内容的知识表示方式和检索机制。

RAG-Anything 真正不同的地方

RAG-Anything 基于 LightRAG,利用 MinerU 等解析工具提取文档中的文本、图片、表格和公式。

在解析和生成描述之后,它继续把不同模态中的内容组织成可以关联的知识对象。

同一个非文本内容单元,在这里可以产生两种不同用途的表示。

一种是较详细的内容描述,主要服务于语义检索;另一种是实体表示,主要服务于知识图谱构建。

以一张系统架构图为例,为什么要区分这两种表示?

为了让用户通过一句问题找到图,描述需要交代它整体画了什么。如果要从某个模块查找相关内容,还需要知道图里有哪些实体、它们怎样连接。两种表示服务于不同的查询方式。

例如,检索描述可以写成下面这样。

“这张图展示了客户端通过 API 网关访问多个后端服务的系统架构。”

实体抽取则把其中的关系拆开。

TEXT
客户端 → 请求 → API 网关
API 网关 → 转发至 → 后端服务

前者适合语义匹配,后者提供了关系查询的入口。系统找到“API 网关”后,可以继续查与它相连的客户端和后端服务。不过,这些关系由模型抽取,仍然可能出错。

它为什么要构建两张图?

这是 RAG-Anything 论文中的双图构建,Dual-Graph Construction。

它分别构建文本知识图谱与跨模态知识图谱,再通过实体对齐将两者融合。

例如,原始资料中有这样一段文字。

“模型 A 使用检索模块来获取外部知识。”

同一页的架构图又展示了模型 A、检索模块和向量数据库之间的连接。

传统做法可能让正文和架构图各自成为一个 Chunk,两者之间的关系仍需要额外建立。

如果正文与图中的“检索模块”指向同一个对象,图谱就有机会把两处信息连起来。

TEXT
正文       模型 A → 使用 → 检索模块
架构图     检索模块 → 查询 → 向量数据库

两处“检索模块”若指向同一个实体,就可以连接两条关系。

这样,从正文里的模型 A 出发,系统也能沿关系找到图中的向量数据库,并保留回到相关内容单元的路径。

这只是用于解释机制的例子,不是一次实际抽取的结果。

RAG-Anything 会为非文本内容建立锚点节点,再把从其描述中抽取出的实体通过 belongs_to 等关系连接到原始内容单元。

这样当系统找到某个实体时,就有机会沿关系找到相关图片、表格或公式。

论文中的实体融合主要使用实体名称作为匹配依据。这种方法比较直接,但同名未必是同一个对象,同一个对象也可能在正文里用全称、在图里用缩写。上面那条关系能否连对,取决于实体是否匹配正确。

双图设计提供了组织和关联内容的方法,关系来源和实体匹配的可靠性仍需单独检查。

检索时怎样利用这些关系

RAG-Anything 会同时利用两类检索信号。

一类是语义相似度。例如用户问“模型 A 的实验结果如何”,系统可以通过 Embedding 找到相关的文字描述、实体或内容块。

另一类是图结构关联。系统可以根据“模型 A”这个实体,沿关系找到对应实验、表格、图片和其他关联内容。

检索阶段先从问题中识别相关实体和语义,分别查找向量候选与图上的关联内容,再融合、排序,并定位原始证据。两条路径提供的内容可能重合,也可能互相补充;找到更多候选以后,仍要判断哪些与当前问题有关。

RAG-Anything 在检索时可以通过文本化表示定位图片,再把原始图片交给视觉模型生成答案。入库时的描述不可能预先覆盖所有问题,问到具体曲线、坐标或单元格时,重新读取原图仍然有必要。

到这里,解析出的多模态内容已经有了实体、关系和来源路径。系统用向量与图关系共同查找证据,再按需要读取原始模态。这样才能把前面构建的关系真正用到问答里。

这些思想各自已有相关研究。RAG-Anything 值得研究的地方,是把它们组合成一套统一的多模态检索框架,并给出了开源实现。

论文中的优势到底有多大?

架构看起来合理,不代表结果一定更好。

RAG-Anything 的论文在 DocBench 和 MMLongBench 等多模态文档问答基准上进行了实验。

其中 DocBench 的消融实验比较有参考价值。它分别去掉图构建及相关检索机制、重排序,再与完整方案比较。

方案总体准确率多模态问题准确率
Chunk-only60.0%66.2%
移除 Reranker62.4%74.7%
完整 RAG-Anything63.4%76.3%

数据来自 RAG-Anything 原始论文表 4↗,下文的不可回答问题比较来自表 2↗。

在其测试条件下,引入图结构与相应检索机制后,完整方案相对 Chunk-only 的总体准确率提高了 3.4 个百分点,多模态问题提高了 10.1 个百分点。

而移除 Reranker 后,总体准确率只下降了 1 个百分点。

在这组消融实验里,去掉图构建及相关检索机制带来的准确率下降,大于单独去掉重排序。

Chunk-only 消融同时移除了与图有关的多项机制,因此并不能把全部收益精确归因于“双图构建”中的某一个模块。

另外,论文使用 GPT-4o-mini 作为生成模型,也使用它进行答案准确性评估。这种 LLM-as-Judge 设置可以提高实验效率,但不能完全等同于独立人工评估。

论文也没有证明它能击败所有经过良好优化的自建多模态检索系统。

在 DocBench 的不可回答问题上,RAG-Anything 的准确率为 46.0%,低于 MMGraphRAG 的 60.5%。

这说明它的优势并不覆盖所有任务类型。

在论文的指定基准和对比条件下,RAG-Anything 尤其在多模态问题上表现出优势。这足以成为继续测试图检索的理由,但不足以认定它在所有实际文档系统中都是最佳方案。

如果我们自己搭建一条 MinerU + VLM + 混合检索的管线,是否比它差,还需要直接实验。

另一条路线,直接检索页面图像

研究多模态文档时,ColPali 和 VisRAG 也值得放在一起看。

它们提供了另一种思路。

既然把复杂文档转换成文字容易损失信息,为什么不直接把页面当成图像进行检索?

传统路线通常先进行 OCR 或版面解析,将页面变成文字与图片描述,再建立文本向量索引。视觉检索则先把 PDF 页面渲染成图像,为页面建立视觉索引。两种路线交给检索器的资料形态不同。

TEXT
解析路线
页面 → OCR / 版面解析 → 文字与图片描述 → 检索

页面视觉路线
页面 → 渲染为图像 → 视觉索引 → 检索相关页面

两条路线都可以在检索后回到原始页面取证。页面视觉路线省去了必须先把内容完整转写成文字的要求,但仍然需要页面渲染、索引与检索。

这相当于把一部分复杂的文档解析问题,转移给视觉模型和视觉检索系统。

ColPali 怎么实现?

普通向量检索往往把一段文本表示成一个向量。

ColPali 的思路不同。

它使用视觉语言模型,为页面图像产生一组向量表示,而不是简单地把整个页面压缩成一个向量。

查询也会产生多个向量。

随后使用类似 ColBERT 的 Late Interaction 机制,计算查询向量与页面向量之间的匹配关系。

省略模型细节后,匹配分数可以写成下面这样。

Score⁡(q,d)=∑imax⁡jsim⁡(qi,dj)\operatorname{Score}(q,d)=\sum_i\max_j\operatorname{sim}(q_i,d_j)

对于查询中的每个向量,在文档页面的多个向量中寻找最匹配的部分,然后汇总匹配分数。

这样,检索器不必完全依赖 OCR 生成的文本,也有机会利用页面的视觉布局信息。

这种路线值得在图表、复杂排版和视觉信息占比较高的文档上测试。

当然,代价是多向量索引可能占用更多存储空间,检索也需要更复杂的相似度计算。

VisRAG 的想法更直接

原始 VisRAG 的核心路线是使用视觉文档检索模型索引页面图像,再将相关页面交给 VLM 生成答案。

它把页面视觉信息保留到问答阶段,避免完全依赖文本解析。

这并不意味着它不需要任何文档预处理,也不代表 OCR 路线就失去了价值。

如果需要精确全文检索、提取结构化表格、修改单元格,或沿特定实体关系查询,纯页面视觉检索未必最适合。

如果任务主要依赖页面里的图表和排版,这种路线值得与结构化解析一起测试。两者也可以配合使用,让文本检索与页面视觉检索各自提供候选证据。

还有哪些开源项目值得研究?

如果从技术思想出发,而不是只看谁的功能更多,我会把这些项目放在一起比较。

项目主要研究方向值得学习的地方
MinerU文档解析版面恢复、OCR、多格式处理、结构化结果
Docling统一文档模型DoclingDocument、结构感知 Chunking
PaddleOCR / PP-StructureV3文档视觉解析OCR、表格与公式识别、阅读顺序
RAGFlow端到端 RAG 工程解析与切块配置、检索调试、知识管理
RAG-Anything多模态图增强 RAG双图构建、实体对齐、跨模态检索
ColPali视觉文档检索页面多向量表示、Late Interaction
VisRAG视觉 RAG直接索引页面图像,保留视觉信息
M3DocRAG多页、多文档 RAG跨页证据检索与视觉问答

这些项目并不是完全相互替代。

MinerU、Docling 和 PaddleOCR 更偏向原始资料解析。

RAGFlow 更关注完整检索系统的工程实现和调试。

RAG-Anything 主要探索多模态知识关系与图增强检索。

ColPali、VisRAG 则直接利用文档的视觉形态来建立索引。

M3DocRAG 研究的是如何在多个文档、多页内容之间寻找视觉证据。其原始仓库已于 2026 年 7 月 1 日归档,适合作为论文和实现参考,但不宜直接把它视为持续维护的生产框架。

我尤其建议关注 RAGFlow。

它能让我们看到一套完整 RAG 系统如何把解析器、Chunking、混合检索、重排序和引用机制串起来。每个环节单独运行之后,还需要处理配置、调试和证据引用这些工程问题。

RAGFlow 也支持接入 MinerU、Docling 等不同解析器,其 0.22.0 官方发布说明↗介绍了这些接入方式。具体配置仍应以所用版本的文档为准。

这恰好说明,一套知识系统完全可以复用成熟解析工具,把重点放在后续数据组织与检索上。

截至 2026 年 11 月,MinerU 官方仓库已展示 4.2 版本,并在 4.x 中加入不同质量等级的解析模式以及更丰富的统一文档处理能力。研究 RAG-Anything 源码时,需要注意它所支持的 MinerU 版本和解析接口,不能默认两者最新版本直接兼容。

如果自己设计,我会怎么判断是否需要 RAG-Anything?

我不会一开始就直接引入复杂的图结构。

更合理的做法,是先准备一批真实资料,并且明确我们到底希望回答什么问题。

假设有一批 PDF,其中包含大量流程图和实验表格。

我们可以先建立一个简单、合理的基线。

先用 MinerU 或 Docling 解析文档,按标题与内容结构切块,结合 BM25 和向量检索查找证据,同时保留原始图片的回溯路径,再由 VLM 生成答案。

然后与几种不同思路进行比较。

例如增加图结构,看看跨段落、跨图片的关联问题是否改善。

或者采用 ColPali,把页面图像直接索引,看看图表类问题的检索质量是否更好。

也可以加入 Parent-Child Retrieval,让较小的 Chunk 负责检索,而较大的父级内容负责提供完整上下文。

这里必须把解析和检索分开评估。

遇到 OCR 错误,需要先回头检查解析结果,换 GraphRAG 不一定有用。

图片与正文关联错误时,单纯扩大 Chunk 可能会引入更多噪声。

相似度检索找不到跨文档关系时,图结构可能有价值。

如果主要问题是复杂图表的信息在解析时丢失,那么视觉页面检索也许更值得尝试。

比较时可以使用同一组问题,分别记录下面这些结果。

  • 证据有没有找到?
  • 找到的是不是正确页面或内容对象?
  • 图片、表格和正文的对应关系是否正确?
  • 最终回答是否准确?
  • 建索引和查询需要多少时间、Token 和存储资源?

证据有没有找到,要和最终答案对不对分开看。来源没找对而答案碰巧正确,不能算检索已经做好;证据正确而回答出错,则要继续检查生成环节。再把时间、Token 和存储开销放到一起,才能判断改善是否值得增加维护成本。

回头再看,RAG-Anything 值得学习的是什么?

读完这些项目后,我更在意它们怎样保留和使用资料里的信息。OCR、VLM 和向量数据库越来越容易接入,后面的组织方式仍然需要具体设计。

比如,一段文字和一张图都提到了“检索模块”,系统怎样知道它们说的是同一个对象?找到这个对象以后,能否回到支持答案的那张图?这两个问题连接着实体匹配与证据追溯。只抽出一个看起来合理的关系,还不足以回答它们。

关系的来源也需要分清。原文明确写出的连接,与模型根据上下文推断出的连接,可信程度可能不同。同一份文档被不同解析器重新处理时,还会遇到重复内容和错误关联。这些问题不会因为换一个更强的 VLM 就自动消失。

RAG-Anything 给出了其中一部分问题的完整设计和开源实现。实体对齐、复杂图表理解、检索偏差和跨模态关系质量,仍然是需要在实际资料上检查的地方。

ColPali、VisRAG 又把问题往前推了一步。如果关键信息就在页面的布局和图表里,先转成结构化文字是否划算?它们选择保留页面视觉表示,减少一部分转写损失,也承担了视觉索引和模型读取的成本。

因此,研究这些框架时,值得追问某种表示究竟保住了哪些信息,舍弃了哪些信息,以及后续能用什么方式把它找回来。结构恢复、图关联和页面视觉检索各有取舍。增加的复杂度能否换来更好的检索效果,需要回到同一批资料与问题上比较。


原始论文与开源实现

RAG-Anything · 香港大学 HKUDS
原始论文↗ · GitHub↗

MinerU · 文档解析
GitHub↗

Docling · 统一文档模型与 Chunking
GitHub↗ · Chunking 文档↗

PaddleOCR · PP-StructureV3
GitHub↗

RAGFlow · 端到端 RAG
GitHub↗

ColPali · 视觉文档检索
ICLR 2025 论文↗ · 模型与评估项目↗

VisRAG · 直接使用视觉表示的 RAG
ICLR 2025 论文↗ · GitHub↗

M3DocRAG · 多页、多文档视觉检索
项目介绍↗ · 归档源码↗

文章中的架构比较与技术取舍属于基于公开论文、官方文档的分析,并非对所有项目进行独立基准测试后的结论。

解析工具决定你能从原始资料中提取多少信息;知识表示和检索架构决定你能不能在需要时把这些信息正确地找回来。

授权

从原始资料到可检索的知识

2026年11月11日
5973 字 · 21 分钟

© SunkCost · CC BY-NC-SA 4.0