部署模型服务

模型选择

在部署模型之前，请参考模型适配列表与选型建议，根据实际使用场景选择合适的模型进行部署。

模型下载（可选）

针对离线部署环境，您需要先在联网环境将模型文件下载到本地，并放入宿主机后，再进行模型部署。模型的下载平台选择较多，本文以魔搭平台下载 Qwen3-32B 模型为例，简要介绍模型的两种下载方式：

Git下载

使用如下命令下载，下载请确保 lfs 已经被正确安装：


# apt-get install git
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen3-32B
 

命令行下载

  1. 在安装了Python环境的机器中，使用如下命令安装魔搭（ModelScope）：


    # apt-get install python3.10
    pip install modelscope
     

  2. 使用如下命令，下载完成模型：


    modelscope download --model Qwen/Qwen3-32B
     

模型部署

SuperMap AgentX Server 支持以下模型服务部署方式，您可根据实际的部署环境与运维要求进行选择：

Docker 环境

Docker 及 Kubernetes 环境