1. 核心结论

• 幻觉（Hallucination）是 LLM 生成看似合理但事实上错误的内容的现象
• 幻觉是 LLM 的固有特性，无法完全消除但可以显著降低
• 幻觉产生的原因包括训练数据噪声、过度泛化、上下文不足等
• RAG、事实检查、约束生成是减少幻觉的有效手段
• 关键场景必须设计幻觉检测和人工审核机制

2. 基础概念

Hallucination：幻觉，模型生成与事实不符但看似合理的内容。

Intrinsic Hallucination：内在幻觉，输出与输入上下文矛盾。

Extrinsic Hallucination：外在幻觉，输出与外部事实矛盾。

Factuality：事实性，输出与事实的一致程度。

Grounding：接地，将输出锚定在可靠来源上。

Self-Consistency：自洽性，多次输出的一致性。

3. 工作原理

幻觉产生原因：

1. 训练数据问题：
   • 数据包含错误信息
   • 数据过时
   • 数据偏见
2. 模型特性：
   • 概率生成，不保证事实
   • 过度泛化
   • 模式匹配而非理解
3. 使用方式：
   • 上下文不足
   • Prompt 模糊
   • 温度过高

幻觉检测策略：

1. 基于 RAG：
   • 要求模型基于提供的上下文回答
   • 检查输出是否与上下文一致
   • 添加引用要求
2. 基于验证：
   • 使用外部知识源验证
   • 多模型交叉验证
   • 事实检查工具
3. 基于自洽：
   • 多次生成对比
   • 自问自答验证
   • 逻辑一致性检查
4. 基于约束：
   • 降低 temperature
   • 限制输出范围
   • 要求引用来源

减少幻觉的 Prompt 技巧：

请基于以下提供的信息回答问题。
如果信息不足以回答问题，请明确说明"根据提供的信息无法回答"。
不要编造任何信息。
请在回答中标注信息来源。

[提供相关信息]

问题：[用户问题]

4. 实战场景

• 医疗问答幻觉检测
• 法律咨询事实核查
• 金融报告准确性验证
• 新闻生成事实检查
• 学术研究引用验证
• 客服回答准确性保证

5. 常见误区

• 认为幻觉可以完全消除：只能降低不能消除
• 不验证关键信息：直接使用模型输出
• 忽视上下文质量：垃圾上下文导致垃圾输出
• 过度依赖单一检测：应该多层检测
• 不告知用户风险：用户可能不知道幻觉存在

6. 进阶方向

• 实时幻觉检测
• 自动化事实核查
• 可验证生成
• 知识增强训练
• 不确定性量化
• 用户信任管理

7. 推荐资料

• Anthropic Reducing Hallucinations - https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/reducing-hallucinations
• OpenAI Hallucination Guide - https://platform.openai.com/docs/guides/prompt-engineering
• RAGAS Faithfulness - https://docs.ragas.io/en/stable/concepts/metrics/faithfulness.html
• Self-Consistency Paper - https://arxiv.org/abs/2203.11171

8. 关联笔记

• AI评估体系
• RAG基础
• 安全边界
• Prompt评估