在 Raspberry Pi 上运行本地 LLM 和 VLM 使用 Ollama 在 Raspberry Pi 上本地运行 Phi-2、Mistral 和 LLaVA 等模型

有没有想过在自己的设备上运行自己的大型语言模型 (LLM) 或视觉语言模型 (VLM)？您可能做到了，但是从头开始设置、必须管理环境、下载正确的模型权重以及对您的设备是否可以处理模型的挥之不去的怀疑可能让您犹豫了一些。

让我们更进一步。想象一下，在一个不比信用卡大的设备（Raspberry Pi）上运行您自己的 LLM 或 VLM。不可能的？一点也不。我的意思是，毕竟我正在写这篇文章，所以这绝对是可能的。

有可能，是的。但你为什么要这么做呢？

目前，处于边缘的法学硕士似乎相当牵强。但随着时间的推移，这个特定的利基用例应该会成熟，我们肯定会看到一些很酷的边缘解决方案与在边缘设备上运行的全本地生成人工智能解决方案一起部署。

它还在于突破极限，看看有什么可能。如果它可以在计算规模的这个极端上完成，那么它可以在 Raspberry Pi 和强大的服务器 GPU 之间的任何级别上完成。

传统上，边缘人工智能一直与计算机视觉紧密联系在一起。探索 LLM 和 VLM 在边缘的部署为这个刚刚兴起的领域增添了令人兴奋的维度。

最重要的是，我只是想用我最近购买的 Raspberry Pi 5 做一些有趣的事情。

那么，我们如何在 Raspberry Pi 上实现这一切呢？使用奥拉玛！

奥拉玛是什么？

Ollama已成为在您自己的个人计算机上运行本地法学硕士的最佳解决方案之一，而无需处理从头开始设置的麻烦。只需几个命令，一切就可以毫无问题地设置。根据我的经验，一切都是独立的，并且在多种设备和型号上运行得非常好。它甚至公开了用于模型推理的 REST API，因此您可以让它在 Raspberry Pi 上运行?