OpenCompass大模型测评

一、笔记

为什么大模型需要开展测评?

大模型测评有以下原因：

1、让普通用户了解大模型的能力和特点，选择合适的大模型

2、让开发者了解大模型的能力边界，找到提升的地方

3、让管理机构更了解大模型，减少大模型带来的社会风险

4、让产业界找到最合适的大模型，在真实场景中赋能

OpenCompass是一个开源的大模型测评能力框架，从学科、语言、知识、理解、推理、安全等6个维度，100+测试集，对大模型进行综合测评。

二、作业

基础作业

• 使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

测评运行脚本：

python run.py --datasets ceval_gen --hf-path /share/model_repos/internlm2-chat-7b --tokenizer-path /share/model_repos/internlm2-chat-7b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 2048 --max-out-len 16 --batch-size 4 --num-gpus 1 --debug