LLM论文:LLatrieval (LLatrieval: LLM-Verified Retrieval for Verifiable Generation)

发布时间:2024年01月16日

地址:https://arxiv.org/abs/2311.07838

时间2023.11.14提交到arxiv
背景检索器检索到的文章,拿去给大模型生成,大模型是被动接受。如果检索质量不行,大模型就发挥不了它的强大能力。
解决提出LLatrieve?, 由LLM参与判断所检索出来的文章是否支持答案
创新点

LLM参与评判检索结果

这是一篇文章的思想很容易理解,用下面这一张图就可以讲清楚,而这几乎是本文的所有思想了。本文的价值在于完成了这个简单的思想,并开源了代码,为以后的研究做打基础。

Retrieval Verification

这是用来判别所给文档能否支持回答问题的组件。

有两种判别方式,分类式直接给LLM指令,让它输出是或否

打分过滤式,现让大模型打一个分数,再人为设置一个门槛,分数比门槛高就是支持否则不支持。

Progressive Selection

滑动窗口, 每次滑进来几个候选文档,由LLM觉得去留。

Missing-Info Querying

就是让LLM去问,要回答问题,现有的参考文档中还缺什么。

整体步骤:

  1. miss-info query去问是否有缺失信息(一开始肯定是有缺失,因为参考文档集一开始初始化是空的)
  2. 通过上一步得到候选参考文档D,使用Progressive Selection选择能够支持的文档。
  3. 使用Retrieval Verification判断是否能够支持,如果不能返回第一步;否则结束。
文章来源:https://blog.csdn.net/major_in_data_/article/details/135602450
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。