模型与网关

管理员更新于 2026-10-20v3.0

本册的截图和说法以 2026-10-20 的界面为准;之后上线的变化见「新功能」。 新功能

前言这本手册讲什么

这一页回答两个问题:每类任务实际由哪个模型在服务,以及这些调用花了多少钱。前者决定质量与数据去向,后者决定还能不能继续用下去。

出问题时按症状查故障排查表,要确认上限与配额查限制与配额速查表,遇到不认识的词查全套共用的术语表——三张表都在首页「随时可查」里。

第 1 章每类任务走哪个模型 — 打开页面,先把四张卡和一张表读明白

这一页回答的第一件事:一共有几条模型通道、每类任务实际由哪一条在服务、这条通道当下健不健康。页面把它们分在「模型通道」「运行状态」「预算与并发」「选择记录」「用量」几个页签里,主通道和健康情况都在「运行状态」页签。

进入「设置 > 模型与预算保护」。页头第一行是三个计数:通道(一共登记了几条)、可用真实通道(其中几条当前可用,内置兜底不计入)、触发保护(几条因为连续失败被保护挡住)。这三个数是整页的体检报告——「触发保护」不是 0,就先按第 6 章处理,不用往下读。

每类任务的主通道

切到「运行状态」页签,并排四张卡,对应四类任务:对话、工具调用、图片理解、长文。每张卡右上角都标着自动按优先级——没有为这类任务单独指定路线时,系统按各条通道声明的能力和优先级自己挑。卡里有通道时,显示的是顺位序号、通道标识、模型名,后面跟一枚「主用·对话」这样的徽章和一枚健康徽章。同一条通道可以同时是好几类任务的主用,这在卡里和状态表里都能看出来。

模型与预算保护页
图 1-1每类任务的主通道分开列。对话与工具调用由当前配置的主通道承担;图片理解和长文都还没有声明该能力的通道,页面直说「暂无支持该任务的模型通道」,并告诉你下一步是新增或启用一个声明了该能力的通道。

两句不同的话,说的是两件不同的事

「暂无支持该任务的模型通道」是说这类任务没有任何通道声明了这项能力;「暂无真实模型通道,当前由内置兜底 (Mock) 占位回复」是说有兜底但没有真模型。内置兜底始终在链尾,不能被设为任何任务的主通道——它不是模型。

这条规则页面自己写在卡片组下面:内置兜底始终在链尾,无真实通道时占位回复;它不是真实模型,不能被设为任何任务的主通道。所以看到某类任务只剩兜底在答,就等于这类任务现在没有真模型在服务,员工拿到的回复也不是模型生成的。

通道状态表怎么读

同一页签里再往下是「模型通道状态(只读)」。它是结论,不是编辑入口——要改配置去第 4 章。九列各自回答一个问题:

列它回答什么
模型通道这条通道的标识。页面其他几处(主通道卡、通道管理表、路线表单)都按它对齐
主/备用它当前被哪几类任务用作主用或备用;写「—」表示没有被任何任务指定
模型真正被调用的模型名
成本档这条通道按哪一档估算成本,第 2 章的估算用的就是它
数据去向请求内容会离开你的网络还是留在内网,见第 3 章
自动巡检有没有被后台定期探测过;没探测时会把原因一起写出来
能力它声明了自己能承接哪些任务。没有对应标签,这类任务就不会派给它
状态已启用还是停用
健康判断综合最近的失败情况给出的判断

「能力」这一列是四张主通道卡的来源。图片理解和长文之所以显示空态,就是因为现有两条通道的能力标签里没有这两项——不是通道坏了,是没人声明能干这件事。

另外三个页签的空态

「预算与并发」「选择记录」「用量」这三个页签在还没有真实调用、也没有设上限时都是空态文案。它们不是坏了,各自在等一件不同的事:

  • 预算与并发保护——写着「暂未确认预算与并发保护」,并直说少量内部试用可以继续观察,但扩大到更多员工或客户前,需要先确认请求量、字数用量和同时处理上限。怎么处理见第 2 章。
  • 模型选择记录——写着「有真实模型调用后,会在这里显示系统为什么选择某个模型、是否按规则拦截、是否走了备用模型」。它在等第一次真实调用,是事后复盘「这次为什么走了这条路」的唯一地方。
  • 用量——页面上的一个标签页,打开后第一行就是当前的调用次数。这个数是 0,说明当前统计窗口内还没有调用过。(图上是改版前的样子:当时它是一个折叠条。)

页头标题旁是一枚试用判断标记,右上角更多模型操作菜单里有复制模型试用判断,只复制当前判断文本,不调用模型、不改配置、不改预算。按下去不会有任何副作用,可以放心把判断贴进工单或群里。这个「说清楚自己不做什么」的写法在第 2 章和第 5 章还会遇到两次。

右上角更多模型操作菜单里还有「试用建议明细」,点开是一个侧边抽屉。它把页面上这些通道、任务卡与保护设置读一遍,给出「现在这套配置适合放多大范围试用」的建议与理由。它是只读的——只读取当前配置与用量,不改模型路线、不动通道。扩大使用范围之前展开看一眼,比逐张卡片自己推更快。

第 2 章花了多少钱,有没有上限 — 成本管理页与预算保护

第二件事:这些调用花了多少。成本页给的是内部估算,页头副标题就写着「内部估算 · 非对外报价」——用来做内部判断,不是账单,也不会因为你在这一页做了什么就改变计费。

切到「设置 → 订阅与成本」的「成本」页签。右上角是一个「估算参数」按钮和四个时间窗按钮:今日 / 近 7 天 / 近 30 天 / 全部。选中的时间窗决定下面所有数字的口径,页面各处都会把时间窗带在标题里,不容易看串。

成本管理页
图 2-1估算成本、预算已用、预计本月花费、日趋势。页面自述:只读取用量与策略,不会改模型路线、调用配额、真实计费或预算保护。

页头下方的四个数

字段含义
估算成本当前时间窗内的估算总额,标题后缀会写明是哪个时间窗
日成本趋势与前一日相比的升降方向和差额
预算已用没设观察线时直接显示「未设观察线」——页面不会替你猜一个预算出来
预计本月花费按所选时间窗的日均估算成本乘以本月天数推算;ROI 估算挪到了下方「用量明细」的「ROI 估算 · 假设系数」页签

判断条把自己的边界写在正文里:这个判断只读取用量、估算策略、预算观察线和预算保护水位,不会改变模型路线、调用配额、真实计费或预算保护。右上角「更多成本操作」菜单里的「复制试用检查单」同样只是复制文本。

用量明细拆到人和模型两个维度

「用量明细」标题后面直接跟着这个时间窗内的调用次数和模型用量总数。下面并排两张表:按用户按调用方标识列出模型用量、估算成本、占比;按模型按模型名列同样三列。要回答「这笔钱是谁花的」看左表,要回答「花在哪个模型上」看右表。两张表的估算成本加起来应该对得上上方的估算成本,对不上说明你正在看两个不同的时间窗。

按时间窗筛选
图 2-2时间窗可切到今日 / 近 7 天 / 近 30 天 / 全部;换一个窗口,估算成本、用量明细的调用次数与模型用量、成本趋势页签里的天数会一起变。用量明细同时按用户和按模型两个维度拆开。

「用量明细」里除了「按用户与模型」,还有三个页签:成本趋势 · 按天(UTC · 估算 ¥)右侧标着这个时间窗里有数据的天数(有数据的天数少于时间窗长度是正常的);ROI 估算 · 假设系数放着折算用的假设;实时预算保护水位(全局)是当前生效的保护水位。

成本页只报账,不设限

真正的上限不在成本页,而在「模型与预算保护」页的预算与并发保护区。那一块当前写的是「暂未确认预算与并发保护」,并说明:少量内部试用可以继续观察,但扩大到更多员工或客户前,需要先确认请求量、字数用量和同时处理上限三件事。出厂默认取值和谁能改,见限制与配额速查表。

先设预算观察线

未设观察线时,成本页只报当前用量,不判断预算余量。设好观察线后,接近阈值会在这里直接给出提示。

观察线和配额是两个不同的闸门

预算观察线是提醒:越线只是在成本页给出提示,调用照常。按员工或部门设的调用配额是硬闸门:用满了会直接拒绝新调用。两者的可填范围、生效时机和超限后的行为,都在限制与配额速查表里列了实际取值。

第 3 章数据去向 — 这次调用把内容送到哪里

第三件事,也是合规上最要紧的一件:一条通道被选中之后,员工输进去的问题和大脑取到的资料片段会去哪。答案就在通道状态表的「数据去向」一列,只有两种写法。

数据去向含义
出网/公有云请求会离开你的网络,发到外部服务商的接口
内网/私有请求留在内网,不出网

这一列的依据在「模型通道管理」表里能对上号:那张表有一列连接地址,写的是这条通道实际要访问的接口地址。指向外部服务商域名的,就是出网通道;内置兜底那一行的连接地址是「—」,因为它根本不发请求,所以标的是内网/私有。先看连接地址,再看数据去向,两者能互相印证。

出网通道不做自动巡检

通道状态表的自动巡检列,对出网通道写的是「未巡检」,并且把原因一并写出来:该通道不在自动巡检范围内(出网通道不巡检),或刚刚添加还未探测。这是设计,不是故障——产品不会替你定期往外部服务商打探测请求,那既花钱也会把流量记在你的账上。

所以确认它此刻通不通,靠的是按需探测:在「模型通道管理」里点这一行的测试连接,操作列会给出结果,通过时显示绿色的连接成功。

通道连通性测试
图 3-1「测试连接」按需探测。出网通道不在自动巡检范围内,表里会直说「未巡检」及其原因,而不是留一个含糊的绿点。

同一张表里还有三列值得看

  • 凭据——标记这条通道是否绑定了凭据。这一列只回答有没有,不展开内容。
  • 状态——通道自身是否就绪。它和「健康判断」不是一回事:就绪说的是配置齐不齐,健康说的是最近调用成不成功。
  • 运行观察——把这条通道的近况汇成几行:运行状态、最近有没有连续失败、成本档,以及有没有调用数据。「暂无调用数据」意味着健康判断目前是基于「没有失败」得出的,不是基于「跑通过很多次」。

出网就是内容离开你的网络

一条通道被标成出网/公有云,意味着员工问的问题、以及大脑为了回答而取到的资料片段,都会发到外部服务商。哪些内容可以出网、出网前要不要处理,属于数据主权范畴,见数据主权与合规。在通道状态表里逐行看一遍「数据去向」,是回答这个问题最快的方式。

通道表上方的「模型配置试用判断」一行,后面直接标着当前判断结论,点开在侧边抽屉里看详情。它回答的是「这套通道配置现在能不能撑起试用」,而不是「某一次调用成功没有」——后者看操作列的连接测试结果,两者不要混着看。

第 4 章改一条路线 — 新增通道、覆盖任务路线,以及怎么验证改对了

前三章都是读。这一章是改:通道从哪来、哪些能在控制台改、怎么把某类任务钉到某条通道上,以及改完之后怎么确认它真的生效了。

通道从哪来,决定了你能不能改

「模型通道管理」表的第一列是来源,它直接决定这条通道在控制台上是可改还是只读:

  • 部署配置——来自服务端配置。操作列写着「部署配置只读」,控制台上只能点「测试连接」;要改连接地址、模型名或凭据,得找部署负责人改服务端配置。
  • 内置——就是内置兜底那一条,操作列写着「内置兜底 · 不可删改」。它不占用你的任何配置动作,也不需要维护。

右上角的+ 新增模型通道用来登记一条新的通道。新增之后,它会以新的一行出现在这张表里,同时进入第 1 章的通道状态表参与主通道选择。

任务类型到模型通道

表格下面是「任务类型到模型通道」,它先把默认行为讲清楚:未配置明确模型路线时,系统会按支持的任务类型和优先级自动选择模型通道;也可以为某类任务明确指定主用和备用通道。展开+ 新增 / 覆盖模型路线,做的就是后面这件事。

新增或覆盖模型路线
图 4-1路线可以按任务类型覆盖。改动会进入「模型选择记录」,事后能查是谁在什么时候把哪类任务改到了哪条通道。

表单上能看到两个字段。任务类型是一个下拉,字段说明写着「如对话问答 / 工具调用,或自定义能力名」——除了内置的几类任务,这里还能填自定义能力名,这也解释了通道的「能力」列为什么允许出现内置四类之外的标签。模型通道是一个逗号分隔的列表,按主→备顺序填:第一条是主用,后面的依次是备用,主用不可用时按这个顺序往下走。

右上角更多模型操作菜单里还有模型路线试算,打开的抽屉标着本地试算,不调用模型。改路线之前先在这里试算一遍,可以在不产生任何真实调用、也不花钱的前提下,看清某类任务会被派到哪条通道。

端到端:确认一类任务确实由你以为的那条通道在服务

读主通道卡核对通道状态表测试连接发一次真实对话看模型选择记录成本页按模型核对
  1. 进入「设置 > 模型与预算保护」,先读页头的通道 / 可用 / 触发保护三个计数。触发保护不为 0,先按第 6 章处理,不要往下走。
  2. 切到「运行状态」页签,在「每类任务的主通道」里找到要确认的那一类。看到通道标识、模型名和健康徽章,说明这类任务有真模型在服务;看到「暂无支持该任务的模型通道」,说明没有任何通道声明了这项能力,先去新增或启用一条再回来。
  3. 按同一个通道标识,在「模型通道状态(只读)」里找到那一行,核对模型、成本档、数据去向、能力四列。能力列里没有这类任务对应的标签,就说明它承接不了这类任务,卡上显示的主通道也不会是它。
  4. 切到「模型通道」页签,在「模型通道管理」的同一行点测试连接。操作列出现绿色「连接成功」算这一步通过;出现失败文案就照第 6 章对号入座,修完再点一次。
  5. 让一个员工在工作台发一次真实对话,走的正是你要确认的那类任务。
  6. 回到本页切到「选择记录」页签看模型选择记录。这里出现记录算成功——它会写明系统为什么选择某个模型、是否按规则拦截、是否走了备用模型。这是唯一能证明「真实流量确实走了这条通道」的地方,测试连接证明不了这件事。
  7. 切到「成本」页签,时间窗选今日,在「用量明细」的按模型表里确认这次调用记到了预期的模型名下,按用户表里出现了那位员工。两张表都对得上,这条路线就算确认完成。

这条流程里有两段本版手册没覆盖

点开「+ 新增模型通道」之后的表单字段、以及设定预算观察线的入口,本版手册都没有覆盖。前一段如果卡在连接失败,可以按排查手册里的失败文案对号;后一段在观察线设好之前,成本页的「预算已用」会一直显示「未设观察线」,这不是故障。

第 5 章系统整体还好吗 — 监控大盘

前面几章都在看一条通道、一类任务。监控大盘是反过来的:它把模型通道、调用量和异常汇到一处,先给一句能直接复制走的运行判断,再把依据摊开让你自己核。

页头是一枚系统健康徽章和一行「N/N 个模型通道可用」,右上角有一个直达「模型与预算保护」的入口。徽章下面是整页最重要的一块——试用运行判断:一句结论、一段说明,以及一行把结论拆开的小标签(可用通道数、调用次数、异常结果数、健康提示)。右上角两个按钮:复制运行判断和查看验收证据。

和成本页一样,这一块也把自己的边界写在正文里:这个判断只读取运行状态和用量摘要;不调用模型、不改模型路线、不删除通道、不启动同步或数字员工。「复制运行判断」也注明只复制当前判断文本。看大盘不会改变任何东西,可以随时刷。

监控大盘
图 5-1判断连同它的依据一起给出,并写明这次判断读了什么、没做什么:不调用模型、不改模型路线、不删除通道、不启动同步或数字员工。

LLM 关键指标

五个格子并排:总调用、成功、异常、平均延迟、网关可用性。它们统计的是当前窗口,不是全部历史——总调用格子下面会另外标一个历史累计,两个数字差很多是正常的,说明近期没有新调用而历史上跑过。没有调用时,异常格显示「无异常」,网关可用性显示「暂无调用」而不是 0%:没有样本就算不出可用性,页面选择直说而不是填一个假数。

别拿「0 次调用」当故障

当前窗口 0 次调用、平均延迟 0.00 秒、网关可用性「暂无调用」,这三件事通常是同一件事——最近没人用。要判断通道通不通,回第 3 章用「测试连接」;要判断历史上跑通过没有,看总调用下面的历史累计,或去第 2 章把时间窗切到「全部」。

系统健康摘要

摘要带一枚总体徽章和一个判断时间,下面按卡片列出需要关注的项。每张卡的结构是固定的三段:发生了什么 / 影响 / 建议下一步,第三段后面跟一个直达对应页面的按钮,卡片最下面列出这次判断读到的计数。这个结构的好处是判断和依据在一起——你不必信那句结论,可以直接看它读到了什么,再自己决定要不要按建议做。

卡片下面还有一个正常检查明细折叠区,右侧标着通过的项数。需关注的项摊在外面,正常的项收起来——不用逐条翻,也能知道这次一共查了多少项、其中多少项没问题。

「需关注」不等于坏了

每张卡的「影响」一段会说清严重程度,有的卡片还会在底部标明它不阻断交付。照每张卡的「建议下一步」逐个处理即可,处理入口就在卡片自带的按钮上,不需要自己找路。

这一页有两个出口按钮。「模型与预算保护」回到第 1 章与第 2 章那两页去改配置;「查看验收证据」跳到验收证据,那里放的是「凭什么说这套系统可以交付」的材料。监控大盘自己只报状态,不做处置——要动手都得从这两个出口出去。

第 6 章出问题时对着这张表查

「症状」一列用的是控制台上的原话。先在页面上找到这句话,再横着读过去。

症状可能原因去哪看怎么处理
暂无支持该任务的模型通道现有已启用的通道,没有一条在「能力」里声明了这类任务第 1 章新增或启用一条声明了该能力的通道,再回主通道卡确认这类任务不再是空态
暂无真实模型通道,当前由内置兜底 (Mock) 占位回复只剩内置兜底在链上,没有真实通道第 4 章在「模型通道管理」里新增并启用一条真实通道;内置兜底不能被设为主通道
通道状态显示「未巡检」出网通道不在自动巡检范围内,或这条通道刚添加还没被探测过第 3 章这是设计不是故障。需要确认时点「测试连接」按需探测,看操作列是否出现「连接成功」
连接失败:这条通道还没配置完整通道处于停用状态,或地址、模型名等必填项没填完排查手册补全必填项并启用通道,再点一次「测试连接」
模型通道不可用/异常保护中这条后端连续失败达到阈值,触发保护并进入冷却限制与配额速查表修好后端后等冷却结束自动放行一次探测;页头「触发保护」计数回到 0 才算恢复
模型选择记录一直是空的还没有产生过真实模型调用;测试连接不算真实调用第 4 章按端到端流程让员工发一次真实对话,再回本页看记录
预算已用显示「未设观察线」没有设预算观察线,成本页只能报当前用量第 2 章设一条预算观察线;设好之后接近阈值会在成本页直接提示
暂未确认预算与并发保护出厂默认没有请求量、字数用量和同时处理上限限制与配额速查表小范围内部试用可以继续观察;扩大到更多员工或客户前,先把三项上限确认出来
网关可用性显示「暂无调用」,平均延迟 0.00 秒当前统计窗口内没有调用,算不出可用性第 5 章看总调用下面的「历史累计」判断历史上有没有跑通;要判断此刻通不通用「测试连接」
成本页两张明细表的金额对不上上方的估算成本多半是在看两个不同的时间窗第 2 章确认右上角选中的时间窗,页面各处标题里都会带上时间窗字样

表里没有的模型调用类症状,去排查手册的「模型调用与网关」;配额、预算和账务类的症状在同一本的「配额、预算与账务」。各项上限、超时和重试次数的实际取值,在限制与配额速查表的「对话与模型调用」与「配额与预算保护」两章里。