【课程简介】
本课程介绍了chatGPT相关模型的具体案例实践,通过实操更好的掌握chatGPT的概念与应用场景,可以作为chatGPT领域学习者的入门到进阶级课程。
【课程时长】
1天(6小时/天)
【课程对象】
理工科本科及以上,且至少了解一门编程语言。
【课程大纲】(培训内容可根据客户需求调整)
时间 | 内容 | 案例实践与练习 |
Day1上午 | Transformer 1、你需要的仅仅是“注意力” 2、Transformer中的block 3、自注意力机制 4、多头注意力 5、位置编码(抛弃RNN) 6、Batch Norm与Layer Norm 7、解码器的构造 初代GPT
| |
Day1下午 | GPT的演进 1、GPT2 2、GPT3 3、InstructGPT chatGPT的原理实践 1、指示学习(Instruct Learning) 2、相关数据集 3、有监督微调(SFT) 4、从人类反馈中RL的思路 5、奖励建模(RM) 6、PPO 7、chatGPT的应用领域 8、chatGPT引发的讨论 chatGPT的国内替代品 1、问东风AI 2、其他替代品 |