【LLM】“PDF阅读小助手”学习笔记

1 模型部署

在InternStudio平台中选择A100 (1/4)的配置，镜像选择Cuda11.7-conda，可以选择已有的开发机langchain；

1.1 创建工作空间

mkdir /root/pdf_project

1.2 Clone项目

git clone https://gitee.com/tcexeexe/pdf-reading-assistant.git

1.3 创建虚拟项目空间

mkdir -p /home/tcexeexe/data

1.4 创建虚拟项目空间并生成软链接

mkdir -p /home/tcexeexe/data && ln -s /root/pdf_project/data /home/tcexeexe/data

1.5 安装PyPDF2库

pip install PyPDF2

1.6 建立分词程序的软链接

mkdir -p /home/tcexeexe/data/model && ln -sf /root/data/model/sentence-transformer /home/tcexeexe/data/model/sentence-transformer

1.7 建立分词数据目录

mkdir -p /root/pdf_project/data/pdf-reading-assistant/data_base/vector_db/pdf

1.8 生成PDF知识库

python /root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py