6K star! 100%本地运行LLM的AI助手

发布时间:2024年01月15日

AI套壳千千万万,你最喜欢哪一款?现在各种ChatGPT替代品层出不穷,但是大部分都是使用OpenAI的API,也就说离不开网络。

今天我们推荐的开源项目它就是要帮你100%在本地运行大模型,进而构建一个属于自己的ChatGPT,本项目目前在GitHub已超过6K Star,它就是:Jan。

Jan是什么?

Jan 是一个开源 ChatGPT 替代品,可以在您的计算机上 100% 离线运行。

Jan支持从 PC 到多 GPU 集群的各种类型环境,以下是Jan支持运行环境类型:

  • Nvidia GPU(快速)
  • Apple M 系列(快速)
  • 苹果英特尔
  • Linux Debian
  • Windows x64

下面是它的GitHub star历史,进入2024年,Jan就像坐上了火箭,一下子就起飞了。

为什么用 Jan

对比与同类产品,我们整理了一下Jan具备的特点:

  • 支持广泛:支持各种开源的LLM(GGUF ,TensorRT)
  • 跨平台支持:Windows、Mac、Linux,并通过Llama.cpp使用GPU加速。从本质上讲,Jan 是一个跨平台、本地优先的 AI 原生框架,可用于构建任何东西。在开发中Jan努力遵循 Clean Architecture,努力去构建一个跨平台的应用。

  • 本地数据存储:数据存在本地,没有安全风险,并可以导出和迁移。
  • 提供本地API server,可以快速提供本地服务。
  • 支持扩展,可以自己开发扩展。

安装 Jan

安装包安装

我的电脑是Mac,可以通过主页https://jan.ai/下载对应的安装包,当然GitHub的release里面也可以下到。

下载完成,只需要点击安装,就可以安装好了。

源码安装:

源码安装首先要确定2个前提:

Node.js 版本: 20.0.0 +
Yarn 版本 1.22.0 +

接下来下载源码:

git clone <https://github.com/janhq/jan>
git checkout DESIRED_BRANCH
cd jan

使用yarn来安装依赖:

yarn install

# Build core module
yarn build:core

# Packing base plugins
yarn build:plugins

# Packing uikit
yarn build:uikit

最后启动项目:

yarn dev

使用Jan

打开Jan之后,我们首先要安装模型。Jan里面自带了hub,可以直接找到各种模型。

我直接安装了推荐的Mistral 7B,最近也很火的。

Jan里面thread就相当于是会话。在右侧区域可以快速新建thread开始使用,还可以配置预设参数,以及切换模型等。

Jan当中支持灵活的编辑,比如想针对thread进行编辑,点三个点,就可以直接到JSON里编辑修改。

对于扩展来说,目前除了安装自带的,我还没看到能安什么,看来要等等。

Jan 附带了一个内置 API 服务器,可以用作 OpenAI API 的直接本地替代品。可以在设置中启用API server,默认会在1337端口。这是文档中说的,我装的stable版本里面没找到。

使用上其他就没有,大家自己试试,可以多交流。

项目信息

  • 项目名称:Jan
  • GitHub 链接:https://github.com/janhq/jan
  • Star 数:6.3K+

文章来源:https://blog.csdn.net/weixin_64096908/article/details/135596868
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。