1. 核心结论

• 本地部署模型保护数据隐私，降低长期成本
• Ollama、vLLM、llama.cpp 是常用的本地部署工具
• 需要足够的 GPU 资源，或使用量化模型降低硬件要求

2. 基础概念

本地部署：在自有设备上运行 AI 模型 模型量化：降低模型精度以减少资源需求 推理框架：优化模型推理性能的框架 资源规划：评估和分配 GPU、内存等计算资源

3. 实战场景

• 隐私敏感应用
• 离线 AI 服务
• 开发测试环境
• 边缘计算

4. 关联笔记

• Ollama
• vLLM
• 小模型与端侧模型