使用opencompass验证模型效果

准备环境

使用fastchat部署的openai api server模型

官方仓库：https://github.com/open-compass/opencompass

1、git clone https://github.com/open-compass/opencompass opencompass
2、cd opencompass
3、pip install -e .
4、wget https://github.com/open-compass/opencompass/releases/download/0.1.8.rc1/OpenCompassData-complete-20231110.zip
5、unzip OpenCompassData-complete-20231110.zip

按照官方给的例子搭就好了

搭好环境后，使用官方给的demo验证一下环境是否有问题：

python run.py configs/eval_demo.py