模型管理

模型管理用于查看当前自主规划式智能体中的可用模型,并配置模型的最大输出长度、最大上下文长度和推理内容转发策略。

功能入口

自主规划式智能体->设置->其它设置->模型

页面布局

  • 模型列表:模型列表中的模型来自模型中心,启用模型可供当前及其他智能体选择,以卡片形式展示模型名称、最大输出 Tokens、最大上下文长度和推理内容转发状态。
  • 模型连接测试:单击模型卡片下方的闪电图标,执行一次最小推理请求,检查模型是否可以正常连接和响应。
  • 模型配置抽屉:单击模型卡片打开配置抽屉,可修改模型配置并保存。
  • 刷新:重新加载模型列表及模型当前配置。

模型配置

在模型卡片中单击模型名称或卡片区域,即可打开“模型配置”抽屉。

配置项 说明
最大输出 Tokens 限制模型单次响应的最大输出长度。取值必须为不小于 1 的整数,具体可设置范围还应符合模型服务的限制。
最大上下文长度 设置模型上下文窗口的容量,单位为 Tokens,取值必须为不小于 1000 的整数。运行时会以该值作为上下文容量基准,并结合“运行时配置”中的压缩阈值比例,在上下文接近容量上限时自动压缩较早的历史内容;调大该值会推迟压缩,调小该值会提前压缩。
转发推理内容 控制多轮对话是否将历史推理内容继续传回模型。关闭后,多轮对话不再转发历史推理内容,可减少历史上下文占用。

上下文压缩的关联配置

模型的最大上下文长度提供容量基准;上下文压缩是否启用以及何时触发,则由运行时配置中的上下文压缩参数控制。

  • 只有开启“启用上下文压缩”后,系统才会按模型最大上下文长度和压缩阈值比例执行自动压缩。
  • “压缩阈值比例”用于设置触发压缩的容量比例。例如设置为 0.8,表示上下文使用量接近模型最大上下文长度的 80% 时开始压缩。
  • 如果模型服务实际支持的上下文窗口小于此处配置值,应按模型服务的实际能力填写,避免请求超出模型限制。

使用建议

  • 配置最大上下文长度时,建议参考模型服务的实际上下文窗口,并为系统提示词、工具结果和后续输出预留空间。
  • 长规划、长会话或大量工具调用场景,建议同时开启运行时上下文压缩,并根据任务长度调整压缩阈值比例。
  • 当模型不支持或不需要推理内容传递时,可关闭“转发推理内容”以减少多轮请求中的历史上下文。
  • 修改模型配置后,建议单击模型卡片下方的闪电图标执行连接测试,确认配置可以正常使用。
注意:

最大上下文长度是模型容量配置,不等同于上下文压缩开关。未开启运行时上下文压缩时,系统不会仅因配置了最大上下文长度而自动压缩历史内容。