产品简介
概述
腾讯云 EdgeOne AI 网关实现了对大语言模型（LLM）服务商访问的安全性、可见性和请求行为控制管理。
目前已支持配置缓存等能力，正在开发中的能力：速率限制、请求重试、LLM 模型回退和虚拟秘钥等，能力的组合使用可有效保证访问 LLM 服务商的安全性和稳定性，同时可降低访问成本。
适用场景
企业办公：适用于企业管理者通过在员工和 LLM 服务商的访问中间搭建 AI 网关，管控员工对 LLM 服务商的安全访问和成本控制。
个人开发：适用于 AIGC 个人开发者通过在消费者用户和 LLM 服务商访问的中间搭建 AI 网关，管控消费者用户的请求行为。
功能优势
降低成本：利用缓存技术，针对重复的 Prompt 请求，将直接从缓存中提供响应，无需再次调用 LLM 服务商，有效避免不必要的重复费用，从而显著降低您的运营成本。
配置灵活：通过配置请求重试、速率限制、LLM 模型回退等能力可应对各种异常和复杂的场景，确保服务的可用。
数据监控：通过数据大盘，您可以获得关于 AI 网关请求的详尽统计信息。这些数据将帮助您洞察流量模式，优化业务流程，并做出更加精准的业务决策。
高安全性：采用虚拟秘钥技术，为您提供了一层额外的安全保障。此机制可确保您 LLM 服务商的访问密钥不会被泄露，从而保护了您的数据安全和商业隐私。
警告：
上述能力目前并未全部就绪，如果您对某部分能力很关注，请反馈给产品方。
LLM 服务商
现已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包。