Meta的研究人员构建了一种新的RAG方法： - 在16个RAG基准测试中超越LLaMA。 - 首个令牌的时间快30.85倍。 - 处理16倍更大的上下文窗口。 - 并且使用2-4倍更少的令牌。 Meta解决的典型RAG设置的核心问题是： 在RAG设置中，我们检索的大部分内容实际上并没有帮助LLM。 在经典RAG中，当查询到达时： - 你将其编码为一个向量。 - 从向量数据库中获取相似的块。 - 将检索到的上下文输入LLM。 这通常有效，但代价巨大： - 大多数块包含无关的文本。 - LLM必须处理更多的令牌。 - 你为计算、延迟和上下文付费。 这正是Meta AI的新方法REFRAG所解决的问题。 它从根本上重新思考了检索，下面的图解说明了它是如何工作的。 本质上，REFRAG在向量级别压缩和过滤上下文，而不是将每个块和每个令牌都输入LLM： - 块压缩：每个块被编码为一个单一的压缩嵌入，而不是数百个令牌嵌入。 - 相关性策略：一个轻量级的RL训练策略评估压缩嵌入，仅保留最相关的块。 - 选择性扩展：只有RL策略选择的块被扩展回其完整的嵌入，并传递给LLM。 这样，模型只处理重要的内容，忽略其余部分。 以下是逐步的操作流程： - 第1-2步）编码文档并将其存储在向量数据库中。 - 第3-5步）编码完整的用户查询并找到相关块。同时，计算查询（第7步）和匹配块的令牌级嵌入。 - 第6步）使用相关性策略（通过RL训练）选择要保留的块。 - 第8步）将输入查询的令牌级表示与所选块的令牌级嵌入和被拒绝块的压缩单向量表示连接起来。 - 第9-10步）将所有这些发送到LLM。 RL步骤使REFRAG成为一个更具相关性的RAG管道。 根据研究论文，这种方法： - 首个令牌的时间快30.85倍（比之前的SOTA好3.75倍） - 提供16倍更大的上下文窗口 - 在使用2-4倍更少的解码器令牌的情况下，在16个RAG基准测试中超越LLaMA。 - 在RAG、摘要和多轮对话任务中没有准确性损失 这意味着你可以以30倍的速度处理16倍的上下文，且准确性相同。 Meta尚未发布代码。他们打算很快发布。

机器学习工程师必须了解的4种模型训练范式：

代理在每个任务后都会忘记一切！ Graphiti 为您的 AI 代理构建时间感知知识图谱。 将其 MCP 服务器与 Claude/Cursor 集成，为您在各个应用中的所有 AI 交互添加强大的记忆层。 100% 开源，拥有超过 18k 个星标！