RAG常见七大坑

论文题目：《Seven Failure Points When Engineering a Retrieval Augmented Generation System》?

论文地址：https://arxiv.org/pdf/2401.05856.pdf

LLM局限

????????在面临以下情况时LLM存在局限性：最新知识或者是频繁更新的知识;2.领域相关知识。

RAG的作用

? ? ? ? 1.减少LLM的幻觉问题? ? ?

????????2.链接 资源/参考 来生成回复

? ? ? ? 3.消除使用元数据注释文档的需要

RAG组成

????????检索组件：从数据存储中检索与查询相关信息

????????生成组件：使用检索到的信息作为相关上下文为用户查询生成答案

? ? ? ? LLM作用：检索器、数据生成、重写器和阅读器

案例研究

????????认知审稿人/AI教程/生物医学问答

RAG七大坑

? ? ? ? 1.内容缺失：检索内容与查询内容相关但无法回复时出错

? ? ? ? 2.遗漏排名靠前文档：答案在文档中，但文档的排名不够高

????????3.不在上下文：合并策略限制，检索到了答案相关文档，但没有合并进上下文

????????4.没有提取到：相关文档太多噪声和矛盾，LLM不能正常回答

????????5.格式错误：问题涉及特定格式，LLM忽略指令

????????6.不正确特征：答案过于具体或笼统

????????7.答案不完整：信息遗漏，答案在相关文档中没有被LLM完整提取

RAG关键因素（研究方向）

? ? ? ? 1.分块和嵌入：

????????????????分块可以分为基于启发和基于语义；

????????????????权衡方法，查询相关性、检索准确性作为指标；

????????????????多媒体和多模块的嵌入

? ? ? ? 2.RAG v.s. 微调：RAG对于微调的优势：更新相关文档，控制用户访问文档权限

? ? ? ? 3.测试/监控RAG系统：构建逼真的领域问答