1. 核心结论

• 小模型在特定任务上可以匹敌甚至超越大模型
• 端侧模型可以在手机、IoT 设备上本地运行
• 模型蒸馏和量化是小模型的核心技术

2. 基础概念

小模型：参数量在 7B 以下的语言模型 端侧模型：可在移动设备上本地运行的轻量化模型 模型蒸馏：用大模型指导小模型训练的技术 量化：降低模型参数精度以减小体积和加速推理的技术

3. 实战场景

• 移动端 AI 应用
• 隐私敏感场景
• 低延迟实时应用
• 离线 AI 功能

4. 关联笔记

• 模型选择与对比
• 推理加速
• 本地模型部署