大模型学习第一课

学习目标：

• 大模型开源体系

学习内容：

1. 大模型简述
2. 大模型性能
3. 开源体系

学习时间：

• 周四上午 10点

学习记录：

• 大模型简述
  • 大模型是发展通用人工智能的重要途经
  • 专用模型到通用大模型
  • 实验室开源历程，大模型系列7B-20B-123B
• 大模型性能
  • 达到Llama2-70B
  • 大模型应用：智能客服，个人助手，行业应用
  • 从模型到应用：
  • 
  • 数据，预训练，微调，部署，评测，应用
• 开源体系
  • 数据：文本数据，图像-文本数据，视频数据。2TB
  • opendatalab
  • 预训练：高扩展性，极致性能优化，兼容主流，开箱即用
  • 微调：增量续训，有监督微调（全参数，部分参数）。框架XTuner适配多种生态，多种硬件
  • 评测：OpenCompass评测平台
  • 部署：大模型语言特点，技术挑战，部署方案。LMDeploy
  • 智能体：Lagent，多模态智能体工具箱AgentLego