注意力机制

233 字小于 1 分钟

domain/aiai/foundations

2026-07-24

1. 核心结论

注意力机制让模型能够动态关注输入中最相关的部分
Self-Attention 是 Transformer 的核心组件
多头注意力能从不同角度捕获信息

2. 基础概念

注意力机制：根据相关性动态分配权重的计算方法 Self-Attention：序列内部元素之间的注意力计算 Multi-Head Attention：并行运行多个注意力头，捕获不同子空间的信息 位置编码：为序列中的每个位置提供唯一的位置信息

3. 实战场景

机器翻译
文本摘要
代码理解与生成
图像理解

4. 关联笔记