Jan AI本地运行揭秘:首次体验,尝鲜科技前沿

发布时间:2024年01月21日

🌟🌌 欢迎来到知识与创意的殿堂 — 远见阁小民的世界!🚀
🌟🧭 在这里,我们一起探索技术的奥秘,一起在知识的海洋中遨游。
🌟🧭 在这里,每个错误都是成长的阶梯,每条建议都是前进的动力。
🌟🧭 在这里,我们一起成长,一起进步,让我们在知识的世界里畅游无阻,共同创造一个充满智慧和创新的明天。
🌟📚 点击关注,加入我们的技术探索之旅吧!??📖?
?博客主页:远见阁小民的主页
📕本文专栏: AI专栏
📕其他专栏:后端专栏 Python专栏 其他专栏 Linux专栏

1 简介

?? IT之家1 月 20 日发布消息称,Jan AI 是一款免费的 ChatGPT AI 替代软件,可以在 Mac、Windows 或 Linux PC 上本地运行。

👇那么今天我们就来在Windows 11操作系统上亲自搭建一下试试效果,尝尝鲜👇

2 Jan AI本地搭建

官方网站:Open-source ChatGPT Alternative | Jan
开源代码:https://github.com/janhq/jan
模型地址:TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF at main

2.1 下载安装包

官网首页👇

在这里插入图片描述

2.2 安装Jan

直接双击运行即可,下载完成的安装包👇

在这里插入图片描述

安装完成界面👇

在这里插入图片描述

2.3 下载模型

??众所周知,在Hugging Face上想直接下载模型的话,还是比较费劲的

在这里插入图片描述

??这个时候可以看一下Hugging Face镜像站有没有收录我们想要下载的模型

??Hugging Face镜像站地址:hf-mirror.com - Huggingface 镜像站

在这里插入图片描述

??现在我们开始实操如何从Jan AI上下载我们想要使用的模型,可以按照以下步骤操作👇

打开Jan AI程序的安装目录,编辑model.json文件👇

在这里插入图片描述

点击open后可以看到如下界面👇

在这里插入图片描述

打开models文件夹,这里比方说我想要下载llama2-chat-7b-q4模型👇

在这里插入图片描述

打开llama2-chat-7b-q4文件夹,编辑model.json文件👇

model.json文件的位置

我们把Hugging Face的下载地址改成http://hf-mirror.com镜像站的地址👇

修改模型下载地址

然后重启Jan AI 程序,再次进入到Hub页面去下载llama2-chat-7b-q4模型,此时发现可以下载模型了
如果没有把模型地址改成镜像站地址,使用Hugging Face的地址一般情况下是下载不动的哦

模型下载过程

下载完成

2.4 本地运行

2.4.1 运行效果

在这里插入图片描述

在这里插入图片描述

?? 随着本次的实操演示落下帷幕,我们对Jan AI在本地运行的效果有了一个初步的认识。

?? 确实,从我们的体验中可以看出,尽管这种模式带来了更加直接和个性化的交互体验,但它对CPU的高消耗也是不可忽视的。这种情况可能会在长时间运行或进行复杂任务时成为一个挑战。

?? 我们希望通过今天的演示,大家能更加全面地了解Jan AI本地运行的特点与局限,以及如何更有效地利用这一技术。未来,我们期待看到更多优化,旨在提升性能和减少资源消耗,从而使Jan AI成为更加强大和易于使用的工具。

?? 感谢大家的关注,让我们继续关注Jan AI的发展,共同探索人工智能技术的无限可能。

文章来源:https://blog.csdn.net/Flemming323/article/details/135725608
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。