概述

下载

聚焦模式

字号

最后更新时间： 2026-09-22 18:43:14

操作场景
智能路由策略是 AI 网关在多模型服务场景下的流量分发能力。通过配置智能路由策略，您可以：
实现多模型服务的负载均衡和流量分配。
根据模型名称自动匹配对应的后端服务。
基于权重配置灵活控制流量比例。
根据用户请求的语义内容自动分发到最优模型。
根据请求参数（如 Header）将不同租户/环境的流量隔离路由。
通过服务标签筛选可用服务，实现模型过滤。
根据实时延迟情况自动选择响应最快的服务。
支持 A/B 测试、灰度发布等场景。
配合 Fallback 机制实现高可用。
本文档指导您如何在 AI 网关控制台配置和使用智能路由策略。
前置条件
已创建 AI 网关实例；
已创建至少一个模型服务(内置供应商或自定义模型服务)；
已创建模型 API。
路由策略概述
AI 网关支持多种智能路由策略：
路由策略
使用场景
决策依据
适用范围
按模型名称路由
多模型服务精确匹配
请求中的 model 字段与模型服务配置的模型名称匹配
单模型 API 需访问不同供应商的相同模型
权重路由
负载均衡、A/B 测试、灰度发布
按配置的权重比例随机分配流量
同一模型的多实例部署或多供应商混合部署
意图识别路由
按语义内容分类分发
调用意图识别模型分析请求语义，识别意图后路由
多任务模型分发、按问题复杂度分级服务
参数路由
多租户隔离、环境隔离、用户分流
根据请求 Header 参数值匹配路由规则
需按租户/环境/用户类型将流量路由到不同服务
基于标签路由
模型标签筛选
通过模型服务标签（Key-Value）自动筛选可用服务
模型众多，需要通过标签筛选
延迟优先路由
跨地域多线路选路、响应体验优化
根据模型服务实时延迟监测数据选择最优路径
多地域部署、多 IDC 接入场景
﻿

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

tencent cloud

云原生智能网关

概述

操作场景

前置条件

路由策略概述

帮助和支持

路由策略	使用场景	决策依据	适用范围
按模型名称路由	多模型服务精确匹配	请求中的 model 字段与模型服务配置的模型名称匹配	单模型 API 需访问不同供应商的相同模型
权重路由	负载均衡、A/B 测试、灰度发布	按配置的权重比例随机分配流量	同一模型的多实例部署或多供应商混合部署
意图识别路由	按语义内容分类分发	调用意图识别模型分析请求语义，识别意图后路由	多任务模型分发、按问题复杂度分级服务
参数路由	多租户隔离、环境隔离、用户分流	根据请求 Header 参数值匹配路由规则	需按租户/环境/用户类型将流量路由到不同服务
基于标签路由	模型标签筛选	通过模型服务标签（Key-Value）自动筛选可用服务	模型众多，需要通过标签筛选
延迟优先路由	跨地域多线路选路、响应体验优化	根据模型服务实时延迟监测数据选择最优路径	多地域部署、多 IDC 接入场景