🧠 模型推理与部署

本地跑大模型——从装 Ollama 到对外提供 API 服务

你会学到什么

• 用 Ollama 一键部署各种开源大模型
• 用 vLLM 搭建高性能推理服务
• CPU 也能跑的 llama.cpp 备选方案
• 把推理服务封装成 API，限流鉴权，安全对外提供

文章列表

• Ollama 本地推理入门
• vLLM 高性能推理
• llama.cpp CPU 推理
• 推理 API 对外部署