地址:https://arxiv.org/abs/2311.07838
时间 | 2023.11.14提交到arxiv |
背景 | 检索器检索到的文章,拿去给大模型生成,大模型是被动接受。如果检索质量不行,大模型就发挥不了它的强大能力。 |
解决 | 提出LLatrieve?, 由LLM参与判断所检索出来的文章是否支持答案 |
创新点 | LLM参与评判检索结果 |
这是一篇文章的思想很容易理解,用下面这一张图就可以讲清楚,而这几乎是本文的所有思想了。本文的价值在于完成了这个简单的思想,并开源了代码,为以后的研究做打基础。
这是用来判别所给文档能否支持回答问题的组件。
有两种判别方式,分类式直接给LLM指令,让它输出是或否
打分过滤式,现让大模型打一个分数,再人为设置一个门槛,分数比门槛高就是支持否则不支持。
滑动窗口, 每次滑进来几个候选文档,由LLM觉得去留。
就是让LLM去问,要回答问题,现有的参考文档中还缺什么。