论文阅读清单

596 字约 2 分钟

domain/aiai/resources

2026-07-24

1. 核心结论

阅读论文是深入理解 AI 技术的有效方式
从经典论文开始，逐步追踪最新研究
不需要读懂所有数学推导，理解核心思想即可
结合代码实现理解论文更有效
关注顶级会议（NeurIPS、ICML、ACL、CVPR）的论文

2. 基础概念

Attention Is All You Need：Transformer 原始论文，2017 年。

BERT：双向编码器表示，2018 年。

GPT：生成式预训练 Transformer 系列。

RLHF：基于人类反馈的强化学习。

RAG：检索增强生成，2020 年。

ReAct：推理与行动结合，2022 年。

3. 工作原理

推荐论文清单：

基础架构

Attention Is All You Need (2017)
- Transformer 架构
- https://arxiv.org/abs/1706.03762
BERT: Pre-training of Deep Bidirectional Transformers (2018)
- 预训练语言模型
- https://arxiv.org/abs/1810.04805
Language Models are Few-Shot Learners (GPT-3, 2020)
- 大模型涌现能力
- https://arxiv.org/abs/2005.14165

对齐与训练

Training Language Models to Follow Instructions with Human Feedback (InstructGPT, 2022)
- RLHF 方法
- https://arxiv.org/abs/2203.02155
Direct Preference Optimization (DPO, 2023)
- 直接偏好优化
- https://arxiv.org/abs/2305.18290

RAG 与检索

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
- RAG 原始论文
- https://arxiv.org/abs/2005.11401
Active Retrieval Augmented Generation (2023)
- 主动检索
- https://arxiv.org/abs/2305.06983

Agent 与工具

ReAct: Synergizing Reasoning and Acting in Language Models (2022)
- 推理与行动结合
- https://arxiv.org/abs/2210.03629
Toolformer: Language Models Can Teach Themselves to Use Tools (2023)
- 工具使用
- https://arxiv.org/abs/2302.04761

多模态

Learning Transferable Visual Models From Natural Language Supervision (CLIP, 2021)
- 图文对齐
- https://arxiv.org/abs/2103.00020

效率与优化

FlashAttention: Fast and Memory-Efficient Exact Attention (2022)
- 高效注意力
- https://arxiv.org/abs/2205.14135
LoRA: Low-Rank Adaptation of Large Language Models (2021)
- 高效微调
- https://arxiv.org/abs/2106.09685

4. 实战场景

技术研究
论文复现
算法优化
学术写作
技术分享
面试准备

5. 常见误区

试图读懂所有细节：理解核心思想更重要
不结合代码：纯理论理解不够
忽视经典论文：只追最新论文
不写笔记：读完就忘
不实践：论文需要代码验证

6. 进阶方向

论文复现
算法改进
学术投稿
开源贡献
技术博客
研究合作

7. 推荐资料

arXiv - https://arxiv.org/
Papers with Code - https://paperswithcode.com/
Hugging Face Papers - https://huggingface.co/papers
Semantic Scholar - https://www.semanticscholar.org/

8. 关联笔记