GPUStack 是一款开源的模型服务平台，支持在 Linux、Windows 和 macOS 系统上运行，能够基于 NVIDIA、AMD、昇腾、海光、摩尔线程等 GPU 以及 Apple Silicon 芯片 构建统一的异构计算集群。平台全面支持 LLM、多模态、Embedding、Reranker 等各类模型，并集成 vLLM、MindIE、llama-box 等多种推理引擎，支持多版本引擎并行运行。

此外，GPUStack 提供包括资源自动调度、模型故障自恢复、多机分布式推理、混合异构推理、请求负载均衡、资源与模型监控、国产化环境适配、多用户管理与 API 认证授权等在内的多项企业级功能，助力高效、稳定地部署与管理模型服务。

本章节主要介绍基于GPUStack平台，在 NVIDIA、海光等 GPU 集群中部署大语言模型：

• NIVDIA环境
• 海光环境