WikiChat是基于英文维基百科信息的聊天模型。其工作原理是,在回答问题之前,先在维基百科上查找相关且准确的信息,确保提供的答案既有用又可靠。在混合人类和语言模型的评估中,WikiChat实现了97.3%的事实准确性,这一结果普遍高于其他模型。该模型几乎不会产生虚构的信息,同时具有高度对话性和低延迟的特点。
GitHub:GitHub - stanford-oval/WikiChat: WikiChat stops the hallucination of large language models by retrieving data from Wikipedia.
论文:https://arxiv.org/abs/2305.14292
在线体验:https://wikichat.genie.stanford.edu
更多消息:AI人工智能行业动态,aigc应用领域资讯
由于不知名原因,给出的在线测试地址都没响应,等修复吧
主要特点:
- 高度准确:WikiChat以维基百科为依托,直接获取权威、更新频繁的信息源,因此在提供事实和数据时表现异常准确。
- 减少“幻觉”:相较于语言模型在处理最新事件或不太流行话题时可能出现错误信息,WikiChat通过整合维基百科数据有效减少了这类虚构信息的发生。
- 对话性强:虽然强调准确性,WikiChat仍能保持流畅、自然的对话风格。
- 适应性强:WikiChat具备良好的适应性,能够应对各种查询和对话场景。
- 高效性能:通过优化措施,WikiChat在回答问题时更为迅速,同时降低了运行成本。
工作原理:WikiChat采用模型蒸馏技术,将基于GPT-4的模型压缩为更小、更高效的LLaMA模型(70亿参数),以提高响应速度和降低成本。其工作流程包括检索、摘要、生成和事实核查等多个阶段,经过精心设计以确保整体对话的准确性和流畅性。
- 信息检索:在与用户进行对话时,WikiChat首先判断是否需要获取外部信息。例如,当用户提出具体问题或需要更详细的回答时,WikiChat会创建一个搜索查询,以捕捉用户的兴趣,并从知识库(如维基百科)中检索相关信息。
- 摘要与过滤:检索到的信息可能涵盖相关和非相关内容。WikiChat会提取相关部分,将其摘要为要点,并同时过滤掉无关内容,确保用户得到精炼的回答。
- LLM回应生成:接下来,利用大型语言模型(例如GPT-4)生成对话历史的回应。这一步骤产生的内容通常既有趣又相关,但其可靠性有限,因为可能包含未经验证或错误的信息。
- 事实核查:WikiChat将LLM的回应分解为多个声明,并对每个声明进行事实核查。使用检索系统从知识库中获得每个声明的证据,并基于这些证据验证每个声明。只有得到证据支持的声明才会被保留。
- 回应形成:最后,WikiChat使用经过筛选和验证的信息来形成引人入胜的回应。这个过程包括首先生成草稿回应,然后根据相关性、自然性、非重复性和时间正确性对其进行优化和改进。这次重写涉及更换词汇和调整语序,以提高表达的准确性和流畅性。
在混合人类和大语言模型(LLM)评估方法下,WikiChat的表现如下:
- 高水平的事实准确性:在模拟对话场景中,WikiChat的最佳系统展现出97.3%的事实准确性,这表明它在提供信息和回答问题时,绝大部分的回应都是基于真实数据和事实的。
- 与GPT-4的比较:在涉及头部知识、尾部知识和最新知识的测试中,WikiChat在事实准确性上相对于GPT-4分别提高了3.9%、38.6%和51.0%。这表明WikiChat在处理各类信息时均表现出显著的优势,尤其是在处理不常讨论的主题和最新事件方面。
- 与基于检索的聊天机器人的比较:与之前最先进的基于检索的聊天机器人相比,WikiChat不仅在事实准确性上表现更出色,而且更能提供丰富、有趣的信息,吸引用户参与对话。这表明WikiChat能够提供更具吸引力和深度的对话体验。
WikiChat聊天模型具有显著的潜力,未来可能在多个领域发挥重要作用。以下是一些可能的领域:
- 教育与培训:由于WikiChat能够提供权威、准确的信息,它可以用作教育工具,为学生或学习者提供实时、互动的学习体验。例如,它可以作为在线课程的辅助工具,提供与课程内容相关的详细信息,或者作为教师和学生的互动平台,促进讨论和问题解答。
- 客户服务:在客户服务领域,WikiChat可以作为自动问答系统,快速、准确地回答用户的问题。通过整合企业的知识库和常见问题解答,WikiChat可以帮助企业提高客户满意度,同时降低人工客服的成本。
- 内容创作与媒体:在内容创作和媒体领域,WikiChat可以作为生成高质量文本的辅助工具。例如,它可以为新闻报道提供背景信息和数据支持,为文章提供有趣的对话片段,或者为社交媒体帖子生成引人入胜的标题和摘要。
- 健康与医疗:在健康和医疗领域,WikiChat可以作为患者教育和健康咨询的工具。它能够提供关于疾病、治疗方法、药物等方面的准确信息,帮助患者更好地理解自己的状况,同时为医生提供可靠的参考资料。
- 游戏与娱乐:在游戏和娱乐领域,WikiChat可以用于创建更具吸引力和互动性的虚拟角色。通过与玩家的对话,WikiChat可以帮助虚拟角色展现出更真实、更有趣的性格特点,增加游戏的可玩性和吸引力。
- 智能助手与个人助理:在智能助手和个人助理领域,WikiChat可以作为个人用户的查询工具,帮助他们快速获取信息、安排日程、进行购物等。通过与用户的日常互动,WikiChat可以帮助用户节省时间、提高工作效率。