为什么本地部署
1. **数据隐私**:数据不离开本地
2. **离线使用**:无需联网
3. **免费使用**:无API调用费用
4. **自定义**:可以微调模型
环境准备
安装Ollama
curl -fsSL https://ollama.com/install.sh | sh
下载模型
# 7B模型(需要8GB显存)
ollama run deepseek-r1:7b
# 14B模型(需要16GB显存)
ollama run deepseek-r1:14b
# 32B模型(需要24GB显存)
ollama run deepseek-r1:32b
API服务
Ollama默认提供API服务:
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:7b",
"prompt": "你好"
}'