本地部署模型服务(可选)
如果您使用的是通义千问、文心一言、OpenAI 等在线大模型云服务(需支持Function Call功能),即可跳过此步骤,直接进行产品安装与卸载。
如果您需要在本地部署大模型服务,可参考下列文档依次完成驱动安装和模型服务的部署。
模型服务的部署方式有多种选择,支持通过 SuperMap AgentX Server 内置的模型编排文件来部署模型服务;也支持依赖推理引擎启动模型服务,如 vLLM(推荐)、Ollama、SGLang 等,可任选一种方式部署。此外,也支持基于 GPUStack 在 NVIDIA 和海光等 GPU 环境中部署模型服务。