OpenAI Load Balancer:Open AI API 负载均衡

OpenAI Load Balancer:Open AI API 负载均衡

它是一个Python库,用于在多个端点之间分配API请求(支持OpenAI和Azure)。它实现了轮询负载平衡机制,并包括每个API调用的指数回退

它支持OpenAI的ChatCompletion、Embedding和Completion功能。特点包括:轮询负载平衡、指数回退重试、故障检测、灵活的配置、易于集成、回退支持。

它很简单就可以集成到使用OpenAI API的项目中。通过配置端点、失败阈值、冷却期间和更多设置进行自定义。它还提供了OpenAI模型到Azure引擎的映射,以在OpenAI和Azure之间切换。
7gy0u6x6.webp

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun268060.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月27日 下午9:00
下一篇 2023年11月27日 下午9:03

相关推荐