《向量数据库指南》让「引用」为 RAG 机器人回答增加可信度

在之前的文章中，我们已经介绍了如何用 Milvus 向量数据库以及 LlamaIndex 搭建基础的聊天机器人《Chat Towards Data Science ｜如何用个人数据知识库构建 RAG 聊天机器人？》《书接上回，如何用 LlamaIndex 搭建聊天机器人？》。

本文将继续使用 LlamaIndex，并在前两篇文章的基础上，修改代码来为我们的结果添加引用。TruEra 在他们的一篇?RAG 评估博客介绍了结果依据（Groundness），有兴趣的朋友可以点击链接查看。
?

• 准备步骤

首先，安装?llama-index、python-dotenv、pymilvus?和?openai
?。

! pip install llama-index python-dotenv openai pymilvus

接着，设置 OpenAI 和 Zilliz Cloud (全托管的 Milvus 向量数据库)，用?load_dotenv?函数拉取存储在.env?文件中的环境变量。随后，传入环境变量，使用os获取变量值。我们用 OpenAI 作为 LLM，Zilliz Cloud(https://zilliz.com.cn/cloud)?作为向量数据库。本例中，我们用 Zilliz Cloud 及 Collection 实现数据持久化。

import osfrom dotenv import load_dotenv
import openai
load_dotenv()
openai.api_key = os.getenv("OPENAI_API_KEY")
zilliz_uri = os.getenv("ZILLIZ_URI")
zilliz_token = os.getenv("ZILLIZ_TOKEN")

• 设置参数

接下来，定义 RAG 聊天机器人的参数。我们必须设置 3 个参数：Embedding 模型、Milvus向量数据库和 LlamaIndex 数据传入。

首先，设置我们的 Embedding 模型。在本例中，我们用在之前的文章中用到的HuggingFace MiniLM L12 模型来抓取数据并转换为 Embedding 向量，同时可以通过 LlamaIndex 使用?HuggingFaceEmbedding?模块来加载这些数据。
?

from llama_index.embeddings import HuggingFaceEmbedding
embed_model = HuggingFaceEmbedding(model_name="sentence-transformers/all-MiniLM-L12-v2")

其次，设置向量数据库。由于 Zilliz Cloud 可以提供全托管的 Milvus 服务，我们可以使用MilvusVectorStore模块来连接 Zilliz Cloud。在此过程中，需要提供 URI、token 并定义 Collection名称、相似度类型和文本键。

此前，我们已经通过环境变量获取了 Zilliz Cloud URI 和 token，Collection 名称、相似度类型和文本键则沿用之前文章中的设置。

from llama_index.vector_stores import MilvusVectorStore
vdb = MilvusVectorStore(
    uri = zilliz_uri,
    token = zilliz_token,
    collection_name = "tds_articles",
    similarity_metric = "L2",
    text_key="paragraph"
)

最后，整合 LlamaIndex 数据抽象。我们需要的两个原生组件是服务上下文（service context）以及向量存储索引（vector store index），服务上下文用于传入一些预定义的服务，向量存储索引用于从向量数据库创建一个 LlamaIndex “索引”。在本例中，我们用服务上下文来传入 Embedding 模型，用现有的 Milvus 向量数据库和创建的服务上下文来创建向量索引。

from llama_index import VectorStoreIndex, ServiceContext
service_context = ServiceContext.from_defaults(embed_model=embed_model)
vector_index = VectorStoreIndex.from_vector_store(vector_store=vdb, service_context=service_context)

• 为聊天机器人回答添加引用

引用和注释（Citation and attribution)能够进一步优化我们的 RAG 应用，可以通过引用和注释，了解回答的数据来源，并依此评估获得的回答有多准确。

LlamaIndex 通过其CitationQueryEngine模块提供了一种实现引用的简便方法，这个模块非常容易上手。用from_args并传入向量索引，便可创建一个引用查询引擎。由于之前在向量索引中定义了文本字段，所以不需要再额外添加任何东西。

from llama_index.query_engine import CitationQueryEngine
query_engine = CitationQueryEngine.from_args(
    vector_index
)

搭建了查询引擎后，便可以开始发送查询问题了。例如，我们向聊天机器人提问：“What is a large language model?（什么是大语言模型？）”。预期中，我们应该可以从 Towards Data Science 数据集中获取这个问题的答案。

res = query_engine.query("What is a large language model?")
from pprint import pprint
pprint(res)

下图为响应示例，响应中包含了回答和来源文本，我们可以根据来源判断得到的回答的准确性。

• 总结

本文采用了引用和注释的方法来为机器人的回答增加可信度。可以说，引用和注释解决了 RAG 的两个常见问题，通过引用和注释，我们能够知道数据来源。同时，我们还能根据数据来源评估获得的回答有多准确。此外，我们在文章中还使用了 LlamaIndex 和 Zilliz Cloud，LlamaIndex 能帮我们轻松创建获取来源的引擎，而 Zilliz Cloud 帮我们轻松实现数据持久化。