Prompt评估
662 字约 2 分钟
domain/aiai/safety
2026-07-24
1. 核心结论
- Prompt 评估是优化 prompt 质量的关键步骤，直接影响模型输出
- 评估应该关注清晰度、完整性、约束力和可重复性
- A/B 测试是评估不同 prompt 版本的有效方法
- Prompt 评估需要覆盖多种输入场景和边界情况
- 好的 prompt 应该在多次运行中产生一致的结果
2. 基础概念
Prompt Quality：Prompt 质量，衡量 prompt 的有效性。
Consistency：一致性，相同 prompt 多次运行的输出稳定性。
Robustness：鲁棒性，prompt 对不同输入的适应能力。
A/B Testing：对比测试，比较两个 prompt 版本。
Prompt Template：Prompt 模板，可复用的 prompt 结构。
Edge Case：边界情况，极端或异常的输入。
3. 工作原理
Prompt 评估维度：
- 清晰度：
- 指令是否明确
- 是否有歧义
- 模型是否能理解意图
- 完整性：
- 是否包含必要上下文
- 是否指定输出格式
- 是否设定约束条件
- 约束力：
- 模型是否遵循指令
- 输出是否符合格式
- 是否避免不相关内容
- 可重复性：
- 多次运行结果是否一致
- 不同模型表现是否稳定
- 温度参数影响程度
- 泛化性：
- 对不同输入的适应性
- 边界情况处理能力
- 异常输入处理
评估方法：
- 人工评估：
- 专家评分
- 多维度打分
- 定性分析
- 自动评估：
- 格式检查
- 关键词匹配
- LLM-as-a-Judge
- 对比测试：
- A/B 测试
- 多版本对比
- 统计显著性
评估流程：
构建测试集（多样化输入）
↓
运行 Prompt（多次运行）
↓
收集输出
↓
评估打分（多维度）
↓
分析差异
↓
优化 Prompt
↓
回归测试4. 实战场景
- System Prompt 优化
- 任务 Prompt 对比
- 多语言 Prompt 评估
- 不同模型 Prompt 适配
- Prompt 模板验证
- 边界情况测试
5. 常见误区
- 只测试理想输入：忽视边界情况
- 不多次运行：无法评估一致性
- 只评估输出质量：忽视格式和约束
- 不记录版本：无法追踪改进
- 忽视模型差异：不同模型对同一 prompt 反应不同
6. 进阶方向
- 自动 Prompt 优化
- Prompt 版本管理
- 多变量 Prompt 测试
- Prompt 质量预测
- 领域特定评估
- Prompt 安全测试
7. 推荐资料
- OpenAI Evals - https://github.com/openai/evals
- LangSmith Prompt Hub - https://docs.smith.langchain.com/
- DSPy Evaluation - https://github.com/stanfordnlp/dspy
- Promptfoo - https://www.promptfoo.dev/