如何在本地部署一个大模型呢？
看到网上那些39.9安装的就烦，在这里就教你怎么在本地安装大模型
前言:你的电脑配置适合安装什么模型？
可以参考下表
系统内存 (RAM) | 显存 (VRAM) | 存储空间 | GPU | 推荐模型规模 | 推荐场景 |
≥ 4GB - 8GB | 4GB 或 集成显卡 | ~10GB | 集显、RTX 3050及同级 | 1B - 3B | 入门体验、轻量级测试、快速响应 |
≥ 8GB - 16GB | 6GB - 8GB | ~15GB | RTX 3060 12GB及同级 | 7B - 8B | 个人日常助手、代码补全、通用对话 |
≥ 16GB - 32GB | 12GB - 16GB | ~25GB | RTX 4060 Ti 16GB、 RTX 4070 12GB及同级 | 13B - 14B | 复杂对话、中等推理任务 |
≥ 32GB - 64GB | 20GB - 24GB | ~50GB | RTX 4090 24GB及同级 | 32B - 34B | 专业研究、高质量输出 |
≥ 64GB+ | 48GB+ (或双卡) | ~100GB+ | A100 80GB 及同级 | 70B+ | 企业级、最高质量推理 |
官方模型列表：library
选择好你心仪的模型，就可以进行下一步了
安装Ollama
访问Ollama官网-下载
选择你的对应系统下载
- 作者:waterfish
- 链接:https://blog.waterfish.ren/article/3c03794e-eb27-80f9-b125-eefe4dcd97f7
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
