主题
💰 成本核算:自建 vs 云 GPU
一张 4090 两万块,租 A100 一小时二十块——哪个划算不是拍脑袋算的
先算清楚你到底需要什么
| 需求 | 最低配置 | GPU | 显存 |
|---|---|---|---|
| 跑 7B 模型推理 | 消费级 | RTX 3060 12GB | 12GB |
| 跑 14B 模型推理 | 消费级 | RTX 4070 Ti 12GB | 12GB |
| 跑 32B 模型推理 | 高端消费 | RTX 3090/4090 24GB | 24GB |
| QLoRA 微调 7B | 高端消费 | RTX 4070 Ti+ | 12-16GB |
| 全参数微调 7B | 专业卡 | A4000 或以上 | 24GB+ |
| 全参数微调 32B | 数据中心 | A100 80GB | 80GB |
自建成本
一台 AI 工作站
| 部件 | 型号 | 价格(2026 年参考) |
|---|---|---|
| GPU | RTX 4090 24GB | ¥15,000-18,000 |
| CPU | i7-14700K | ¥2,500 |
| 主板 | Z790 | ¥1,500 |
| 内存 | 64GB DDR5 | ¥1,500 |
| 存储 | 2TB NVMe SSD | ¥800 |
| 电源 | 1000W 金牌 | ¥1,000 |
| 机箱+散热 | 风冷够用 | ¥800 |
| 合计 | ¥23,000-27,000 |
电费
4090 满载功耗 ~450W,整机 ~600W:
每天跑 8 小时 × 600W = 4.8 kWh
每月电费:4.8 × 30 × ¥0.6 = ¥86
每年电费:¥86 × 12 ≈ ¥1,000自建三年总成本
硬件:¥25,000
电费:¥1,000 × 3 = ¥3,000
网络/杂项:¥2,000
────────────────
三年总成本:¥30,000
年均:¥10,000云 GPU 成本
按需租用(以腾讯云/阿里云为例)
| GPU | 显存 | 按时价格 | 包月价格 | 包年价格 |
|---|---|---|---|---|
| T4 | 16GB | ¥5-8 | ¥2,000 | ¥18,000 |
| A10 | 24GB | ¥8-12 | ¥3,500 | ¥30,000 |
| V100 | 32GB | ¥12-18 | ¥5,000 | ¥45,000 |
| A100 | 40GB | ¥20-30 | ¥8,000 | ¥70,000 |
| A100 | 80GB | ¥30-45 | ¥12,000 | ¥100,000 |
AutoDL/矩池云(GPU 共享平台,更便宜)
| GPU | 显存 | 按时 |
|---|---|---|
| 3090 | 24GB | ¥1.5-2 |
| 4090 | 24GB | ¥2-3 |
| A100 40GB | 40GB | ¥5-8 |
| A100 80GB | 80GB | ¥8-12 |
对比:自建 vs 云 GPU
以每天用 6 小时、用 3 年为标准:
| 方案 | 3年总成本 | 优缺点 |
|---|---|---|
| 自建 4090 | ¥30,000 | 随时用、无排队、数据不外流 |
| 云 T4(16GB) | ¥60,000+ | 不用维护、但显存小速度慢 |
| 云 A100(40GB) | ¥200,000+ | 算力强但贵到离谱 |
| AutoDL 3090 | ¥13,000 | 便宜但高峰排队、不能存数据 |
| AutoDL A100 | ¥55,000 | 大模型微调时临时租一下 |
决策树
你需要多少显存?
├── 24GB 够用(推理 + QLoRA微调)
│ └── 每天用 >4 小时?
│ ├── 是 → 自建 4090(3年回本)
│ └── 否 → AutoDL 按时租
│
├── 需要 40GB+(全参数微调)
│ └── 每周用 >20 小时?
│ ├── 是 → 自建 A6000(¥40,000+,贵但值得)
│ └── 否 → AutoDL 按时租 A100
│
└── 偶尔用、试试看
└── AutoDL 按时租,先用再买风哥的最优推荐
| 阶段 | 方案 | 成本 |
|---|---|---|
| 学习期(现在) | AutoDL 按时租 3090/4090 | ¥200-500/月 |
| 验证期(微调跑通) | 租用+偶尔按需 | ¥500-1000/月 |
| 产品化(客户付费) | 自建 4090 工作站 | ¥25,000 一次性 |
| 扩大规模(多客户) | 自建多卡 + 云备援 | 按需 |
核心逻辑:别一上来就买卡。先用 AutoDL 练手,跑通了、有收入了再自建。 4090 在风哥的预算范围里,3 年回本后等于白用。
隐藏成本提醒
| 项目 | 自建 | 云 GPU |
|---|---|---|
| 学习成本 | 装驱动、配环境 | 开箱即用 |
| 运维成本 | 自己修、自己管 | 平台管 |
| 噪音 | 满载像飞机起飞 | 0 |
| 数据安全 | 完全本地 | 担心上传数据 |
| 弹性 | 固定配置不变 | 临时换 A100 很方便 |
🎯 本章要点
- 24GB 以下显存需求 + 每天用 >4 小时 → 自建 4090,3 年回本
- 偶尔用或需要大显存 → AutoDL 按时租,灵活便宜
- 最优路径:先租后买,跑通了再自建
- 别忘了电费、噪音、运维这些隐性成本
加载练习题中...