目录
前言
一、llama.cpp是什么?
二、使用步骤
1.下载编译llama.cpp
2. 普通编译
3. BLAS编译
3.1、OpenBLAS 编译 CPU版
3.2 cuBLAS 编译GPU版本
4. 模型量化
4.1、模型文件下载: