生成式 AI 系统是否需要 GPU？

我经常通过寻找记者向我提出的问题中的共同模式来了解趋势。在很多情况下，他们比我更了解市场，他们是一个很好的数据点。接听我接到的电话，询问如果图形处理单元 (GPU) 短缺可能会出现什么问题。

首先，如果这种情况真的发生，它也不会持续太久。其次，应考虑其他可行的选择。当然，这个角度是悲观的，人们担心，如果企业无法获得这些处理器，无论是用于本地系统还是在云中，他们将无法利用生成式人工智能革命。

假问题？

我是第一个承认生成式人工智能系统非常复杂且需要大量处理器的人。因此，我们的假设是，它们必须依赖高度专业化的硬件来执行曾经是人类想象力专有领域的任务。人们认为生成式人工智能需要 GPU 甚至更专业的处理，例如量子计算。

这些假设总是正确的吗？这是另一个需要以非常专业的价格提供专业组件的专业系统吗？

GPU 最初是为在视频游戏中渲染图形而开发的，但由于其高度并行的结构而在人工智能中发挥了重要作用。他们可以同时执行数千项操作。这与神经网络（生成人工智能的关键技术）所需的任务完美契合。这是一个技术事实，设计和构建生成人工智能系统的人们（就像你真正的系统一样）应该仔细考虑。

另一方面，张量处理单元 (TPU) 是 Google 专门为 TensorFlow 设计的定制开发、特定应用的集成电路。TensorFlow 是一个开源机器学习框架，已经存在了一段时间。TPU 有助于机器学习过程，因为它们专为前向和后向传播而定制。这些是用于训练神经网络的过程。在成本方面，我认为 TPU 不像 GPU 那样是一个大问题。然而，它们经常绑定在一起，所以这里值得一提。

构建和部署这些系统的人都知道，无论使用什么人工智能框架，大部分处理和时间都花在从大量数据中训练模型上。例如，考虑 OpenAI 的 GPT-4 或 Google 的 BERT 模型，它们拥有数十亿个参数。在没有专门处理器的情况下训练此类模型可能会花费不切实际的时间。

是否总是需要专门的处理器？

GPU 极大地提高了性能，但成本也很高。此外，对于那些追踪碳点的人来说，GPU 会消耗大量电力并产生大量热量。性能提升是否值得成本？

CPU 是计算机中最常见的处理器类型。它们无处不在，包括您用来阅读本文的任何内容。CPU 可以执行多种任务，并且与 GPU 相比，它们的核心数量较少。

然而，它们具有复杂的控制单元并且可以执行广泛的指令。这种多功能性意味着他们可以处理人工智能工作负载，例如需要利用任何类型人工智能（包括生成式人工智能）的用例。

CPU 可以构建新的神经网络架构原型或测试算法。它们足以运行较小或不太复杂的模型。这是许多企业现在正在构建的（并且将持续一段时间），CPU 足以满足我目前听到的用例。

您真正需要支付多少钱？

对于资源有限的小型组织或个人来说，CPU 在初始投资和功耗方面更具成本效益。然而，即使对于拥有许多资源的企业来说，它们仍然可能是更具成本效益的选择。

此外，人工智能正在不断发展。随着人工智能算法的最新进展，出现了像 SLIDE（次线性深度学习引擎）这样的新发展。该技术声称在某些条件下，在 CPU 上训练深度神经网络的速度比在 GPU 上更快。他们正在使用散列技术并降低内存访问成本。

另外，请考虑现场可编程门阵列 (FPGA)。这些处理器可以在制造后进行编程，以更有效地执行特定任务，例如人工智能。此外，联想处理单元（APU）专门从事模式识别，可以处理联想记忆任务，使某些类型的神经网络应用程序运行得更快。

在许多情况下，非 GPU 处理器更具成本效益。那么，为什么当谈到生成式人工智能或一般的人工智能时，答案总是 GPU？我不确定是否需要如此。

我怀疑企业会花费比他们需要的更多数百万美元，因为他们认为成本证明了性能收益的合理性。这将是公共云、本地以及边缘计算机内的一些 GPU 处理消耗。

这里的要求并不是限制 GPU 的使用，而是考虑您的特定用例真正需要什么。大多数生成式人工智能应用程序都是小型战术部署，实际上不需要 GPU 的成本和碳影响。

系统架构师、云架构师以及现在的生成式人工智能架构师的核心工作是找到成本最优化的解决方案。哪种技术配置成本最低，同时提供最大的商业价值？也许生成式人工智能是即将到来的新发展领域，我们可以在其中做出更好、更务实的选择。不要只跟随炒作。