?Portkey AI网关:一个用来连接多种人工智能模型的开源工具

发布时间:2024年01月17日


5d299f09cee1dc810ee79969a297ba89.jpeg

简介

它允许开发者通过一个简单的API接口来访问超过100种不同的大语言模型。包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等。

安装体积只有45kb,处理速度提升了9.9倍,可以在多个不同的AI模型中来回切换。

可以根据自己的需要进行灵活配置。

Portkey AI Gateway就像是一个AI模型的交换站,让开发者可以方便地使用和切换多种AI服务。

主要功能

  • 高速性能和小体积:Gateway相比于其他方法有着更快的处理速度(速度提升了9.9倍),同时安装体积小(约45kb)。
  • 同时连接多个AI模型:可以同时连接多个不同的AI服务,比如谷歌和OpenAI的不同AI模型。
  • 具备故障转移功能:如果一个AI模型出现问题,它会自动切换到另一个模型,确保服务的稳定性。
  • 自动重试:自带自动重试机制,采用指数回退策略,减少网络负载。
  • 可定制配置:用户可以根据自己的需要调整设置,比如如何分配请求到不同的AI模型。
  • 语义缓存:加速重复查询,提高响应时间,降低成本。
  • 实战测试:已经在超过1000亿个令牌上进行了测试。

项目地址

GitHub:https://github.com/Portkey-AI/gateway官网:https://portkey.ai/features/ai-gateway

文章来源:https://blog.csdn.net/specssss/article/details/135644711
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。