部署模型服务

大模型本地部署依赖推理引擎，启动模型服务方式有多种选择，如vLLM、Ollama、SGLang、LLaMA、TGI等，推荐使用vLLM方式部署大模型服务。