论文页面 - Web检索感知分块 (W-RAC)：面向高效且经济的检索增强生成系统

来源：https://huggingface.co/papers/2604.04936

摘要

Web检索感知分块（W-RAC）提出了一种经济高效的网页文档处理框架，通过结构化内容表示和检索感知分组决策，减少了LLM令牌用量并降低了幻觉风险。

检索增强生成（https://huggingface.co/papers?q=Retrieval-Augmented%20Generation）（RAG）系统高度依赖有效的文档分块（https://huggingface.co/papers?q=document%20chunking）策略，以平衡检索质量、延迟和运营成本。传统的分块方法（如固定大小、基于规则或完全自主的分块）往往存在高令牌消耗（https://huggingface.co/papers?q=token%20consumption）、冗余文本生成、扩展性有限以及可调试性差等问题，尤其适用于大规模网页内容摄入。本文提出Web检索感知分块（W-RAC），一种专为网页文档（https://huggingface.co/papers?q=web-based%20documents）设计的新型经济高效分块框架。W-RAC将文本提取与语义分块规划解耦，将解析后的网页内容表示为结构化、ID可寻址的单元，并仅利用大型语言模型（https://huggingface.co/papers?q=large%20language%20models）（LLMs）做出检索感知分组（https://huggingface.co/papers?q=retrieval-aware%20grouping）决策，而非用于文本生成。这显著降低了令牌用量，消除了幻觉风险（https://huggingface.co/papers?q=hallucination%20risks），并提高了系统可观测性。实验分析和架构比较表明，W-RAC在检索性能上与传统的分块方法相当或更优，同时将分块相关的LLM成本降低了一个数量级。

查看arXiv页面 (https://arxiv.org/abs/2604.04936)
查看PDF (https://arxiv.org/pdf/2604.04936)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.04936)

在您的Agent中获取本文：

hf papers read 2604\.04936

没有最新CLI？
curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型

0

没有模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2604.04936 以链接至此页面。

引用本文的数据集

0

没有数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2604.04936 以链接至此页面。

引用本文的Space

0

没有Space关联本文

在Space README.md 中引用 arxiv.org/abs/2604.04936 以链接至此页面。

包含本文的收藏

1