大模型学习与实践笔记（十二）

将RAG生成模型部署到openxlab 平台

代码仓库：https://github.com/AllYoung/LLM4opencv

1：创建代码仓库

在 GitHub 中创建存放应用代码的仓库，其代码大致目录树如下：

├─GitHub repo
│  ├─app.py                       # 应用代码相关的文件，包含模型推理，应用的前端配置代码，默认应用的启动脚本为根目录下的app.py文件
│  ├─requirements.txt             # 安装运行所需要的 Python 库依赖（pip 安装）
│  ├─packages.txt                 # 安装运行所需要的 Debian 依赖项（ apt-get 安装）
│  └─... 
copy

2：编写应用代码

基础代码构建方法参考 ：大模型学习与实践笔记（五）-CSDN博客

这里需要注意的是，GitHub 根目录下的 `app.py` 文件会作为应用的启动的脚本，请务必在根目录下创建 `app.py` 的文件。

若有自定义启动文件，也可以在创建过程中选择自定义启动文件

我的代码仓库中，通过start.py 文件进行启动。

设置如下：

3：配置应用环境

配置应用所需的运行环境,如有 Python 依赖项（ pip 安装）可写入requirements.txt中，Debian 依赖项（ apt-get 安装）可写入 packages.txt 中，并存放至代码仓库的根目录下。

requirement.txt示例

numpy                             # 默认（存在不替换，不存在安装最新版）
numpy==1.19.5                     # 指定版本 (最日常的写法)
numpy>=1.19.2                     # 大于某个版本

packages.txt示例

tmux                              #默认最常用的写法
tmux=3.3                          #安装指定版本的包

若需要安装除了python以外的包，如需要通过 mim 安装 mmcv，您可先在 requirement.txt 中填写 mim，然后在 app.py 中写入以下代码，即可完成相关包的安装：?

import os
os.system("mim install mmcv-full")

4.启动特定的脚本的方式

若需要启动特定的脚本，您可在app.py 代码中通过import os的方式进行启动，例如：

import os
os.system("bash webui.sh")
os.system("python -u launch.py")

5: 创建应用仓库

填写应用基础信息，包括应用的名称、应用所属任务类型、标签、关联的模型和关联的论文信息，以及上传合适的应用封面，填写完成后，点击立即创建

6：完成应用构建和启动