AI套壳千千万万,你最喜欢哪一款?现在各种ChatGPT替代品层出不穷,但是大部分都是使用OpenAI的API,也就说离不开网络。
今天我们推荐的开源项目它就是要帮你100%在本地运行大模型,进而构建一个属于自己的ChatGPT,本项目目前在GitHub已超过6K Star,它就是:Jan。
Jan 是一个开源 ChatGPT 替代品,可以在您的计算机上 100% 离线运行。
Jan支持从 PC 到多 GPU 集群的各种类型环境,以下是Jan支持运行环境类型:
下面是它的GitHub star历史,进入2024年,Jan就像坐上了火箭,一下子就起飞了。
对比与同类产品,我们整理了一下Jan具备的特点:
安装包安装:
我的电脑是Mac,可以通过主页https://jan.ai/下载对应的安装包,当然GitHub的release里面也可以下到。
下载完成,只需要点击安装,就可以安装好了。
源码安装:
源码安装首先要确定2个前提:
Node.js 版本: 20.0.0 +
Yarn 版本 1.22.0 +
接下来下载源码:
git clone <https://github.com/janhq/jan>
git checkout DESIRED_BRANCH
cd jan
使用yarn来安装依赖:
yarn install
# Build core module
yarn build:core
# Packing base plugins
yarn build:plugins
# Packing uikit
yarn build:uikit
最后启动项目:
yarn dev
打开Jan之后,我们首先要安装模型。Jan里面自带了hub,可以直接找到各种模型。
我直接安装了推荐的Mistral 7B,最近也很火的。
Jan里面thread就相当于是会话。在右侧区域可以快速新建thread开始使用,还可以配置预设参数,以及切换模型等。
Jan当中支持灵活的编辑,比如想针对thread进行编辑,点三个点,就可以直接到JSON里编辑修改。
对于扩展来说,目前除了安装自带的,我还没看到能安什么,看来要等等。
Jan 附带了一个内置 API 服务器,可以用作 OpenAI API 的直接本地替代品。可以在设置中启用API server,默认会在1337端口。这是文档中说的,我装的stable版本里面没找到。
使用上其他就没有,大家自己试试,可以多交流。