最大化大型语言模型（LLM）推理速度：验证策略和最佳实践

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

大型语言模型（LLM）具有在各行业中引发革命的潜力。然而，运行这些模型也面临挑战——从自回归生成导致生成时间逐渐增长，到当前的GPU对于大批量处理的VRAM不足。幸运的是，随着新模型的发布，加速LLM推理的技术也在迅速发展。以下是一些你可以在应用中探索的LLM推理加速策略，分为算法层面优化和运行时层面优化：

算法层面优化

1. 开发更高效的模型：

   • MQA/GQA vs MHA： 用多查询或群组查询机制替换多头注意机制。
   • 减少变压器层数： 用更少的层数保持模型准确性。实际上应该有更少的参数，但达到相同的准确度。
   • QAT（量化感知训练）： 以更智能的方式量化你的模型；不仅仅是减少一半的权重。这包括在架构层面和正确训练层面的算法或高效模型方法。

2. 探索变压器替代品：

   • 当前对变压器替代品，如状态空间模型和卷积语言模型（如Mamba和Hyena）的讨论也越来越多。然而，它们在准确度和性能上仍未能达到变压器的水平。

运行时层面优化

1. KV缓存： KV缓存实际上是缓存键和值，可以认为是每个令牌的代表性向量。一个令牌可能是一个单词或半个单词。平均而言，一个词中有1.3个令牌。当你通过模型运行这些令牌时，你会积累键和值，这些键和值是你的令牌的一种投影。你希望你的模型在生成下一个令牌时考虑所有这些之前看到的令牌。因此，有两种方法可以做到这一点。你要么在每次前向传递时重新计算每个令牌的键和值，要么只是缓存它们。

2. 定制（融合）内核： 看看如何优化、融合围绕你的GPU的功能，并使其更好地适应不同的注意机制或变压器层的不同部分。

3. 连续批处理： 探索如何热交换不同的批次，而不是等待一个客户或用户的提示结束后再返回另一个可能更短的客户。

4. 管道编排： 监控整个LLM推理。尝试找出如何在正确的时间进行标记化和去标记化，以免累积性能损失。此外，了解如何在GPU工作时赚取空闲的CPU周期。