# AI 学习路径完整清单 > 从 LLM 原理到 Agent 应用 · Anthropic 官方 + 吴恩达 + 顶级 AI 公司精选课程 > > 本文档最后更新：**2026 年 3 月** · 共收录资源 **95 项** · 建议每 3–6 个月回顾一次，结合 🔄 标识的资源检查时效性。 > > 来源：用户提供的《AI学习路径完整清单_完整版》Word 文档，已转成学习站讲义。资源条目、链接与原文一致；未增删条目。 ## 标识说明 | 标识 | 含义 | |---|---| | ⏱ 时间戳 | 每项资源标注出版/更新时间，便于判断时效性 | | 📌 基础理论·长期有效 | 底层原理（数学、架构、系统设计），3–5 年内基本稳定，优先学习 | | 🔄 持续更新 | 随领域进展持续迭代，学习时留意最新版本 | | 🚧 撰写中·内容变动中 | 正在编写，内容尚不稳定，可跟踪但勿强依赖 | | ⚡ 快速演进 | 与模型/工具绑定紧密，半年至一年可能有重大变化 | | 🟣 Anthropic 官方 | 来源色 | | 🟢 DeepLearning.AI | 来源色 | | 🔵 Coursera / Google | 来源色 | | 🌟 ★ 强烈推荐 | 优先学 | ## 关于这份文档 ### 这是什么 这是一份 AI 学习资源的精选清单，收录了从入门到深入的 95 项资源，包含官方文档、视频课、白皮书、学术论文和教材，覆盖 Anthropic、Google/DeepMind、OpenAI 等主要机构的一手内容。 它不是一份「越全越好」的资源汇编，而是经过筛选和结构化的学习地图。每一项资源都标注了时效性和是否属于基础理论，帮助读者在 AI 这个快速变化的领域里区分「3 年内稳定的原理知识」和「需要持续追踪的工具演进」。 ### 内容的挑选逻辑 挑选时遵循三个标准： - **一手来源优先**　官方文档、原始论文、课程主讲人本人的内容，优先于二手解读和聚合平台。二手内容的质量差异极大，一手来源虽然有时候更难读，但更准确且时效性更可控。 - **原理与应用并重**　纯理论内容在 AI 领域学习曲线陡峭，纯应用内容又容易流于表面。这份清单尝试在「能理解底层为什么」和「能指导实际工作」之间保持平衡，并通过学习路径索引帮助不同背景的读者按需取用。 - **时效性分级管理**　AI 领域的工具和应用层知识更新极快，六个月前的最佳实践可能已经过时。但数学基础、架构原理、系统设计思路的半衰期要长得多。清单对每项资源都标注了 📌（基础理论·长期有效）或 🔄（持续更新）等标识，帮助读者合理分配注意力。 ### 不包含什么 这份清单不包含：中文二手解读类内容（即使质量很高）；工具评测和横向对比类文章（时效性太短）；编程实战类教程（有专门的代码学习平台更适合）；AI 行业资讯和新闻（Hacker News、Twitter 等信息流更适合追踪）。 清单的边界是：帮助读者建立能在未来 3–5 年内持续有效的认知框架，而不是追踪每一次模型更新或工具迭代。 ### 如何使用这份文档 文档分三个层次，可以按需进入： **入口层（学习路径索引）** 如果你有明确的学习目标，直接查「通用主题索引」找到对应路径。如果你是无编程背景的应用层读者，直接翻到「你的专属路径」的路径 A 和路径 B，按步骤走即可，不需要先读整份文档。 **资源层（第一至第六部分）** 六个部分分别按来源整理：Anthropic 官方文档、视频课、白皮书、36 篇论文、MLSysBook 教材。每项资源都有内容描述、链接、时效标注，以及与其他部分的关联提示（标注「↗」）。可以整体浏览，也可以根据路径索引直接跳转到具体编号。 **关联层（↗ 标注）** 清单内部有大量交叉关联——一篇论文对应一门视频课的具体章节，一个白皮书对应另一部分的实践课程。这些「↗」标注帮助你在资源之间建立连接，而不是孤立地消费每一项内容。 ### 和本站其他地图的关系 本站已有一份 [按水平分级的阅读路线](./按水平分级的阅读路线.html)，专门排 **开源 Agent 源码分析** 的阅读顺序。这份清单覆盖的是 **官方课程 / 论文 / 教材** 的外圈地图。两份可以一起用：先用这份建立 LLM / Prompt / Agent 的官方认知，再用本站的源码分析与从零构建教程动手。 ## 如果你是…… 找到最接近你情况的一种，按建议的起点进入，不要试图从头到尾线性阅读整份文档。 ### 产品经理 / 运营 / 业务决策者 **关注点：** 关注 AI 能为业务做什么、风险在哪、如何判断 AI 方案的质量 建议从「你的专属路径 B（理解应用）」开始，重点是第一部分 Anthropic 文档 No.1–4，然后是第二部分 No.1（GenAI for Everyone）和 No.3（Real-World AI）。第五部分的论文可以选读 No.12（Bitter Lesson，30分钟，建立核心直觉）和 No.24（InstructGPT，理解为什么模型会「不听话」）。第四部分的三份 Kaggle 白皮书建议全部浏览，是当前 Agent 设计的最重要参考。 ### 工程师 / 有编程背景的开发者 **关注点：** 想在现有技术基础上快速建立 AI 系统开发能力 建议直接从「通用主题索引」里的「做 Agent 开发」或「理解 AI 系统工程」路径进入。第二部分 No.9–12（Agentic AI、MCP、Claude Code、Agent Skills）是最直接的实践资源。第五部分的论文建议按顺序读 No.7（Transformer）→ No.9（LoRA）→ No.11（ReAct），这三篇直接对应工程中最常遇到的问题。第六部分 MLSysBook 的 Ch.7–11 是系统层的必读。 ### AI 方向学习者 / 转行者 **关注点：** 想系统建立 AI 知识体系，考虑在 AI 相关岗位发展 建议完整走完「你的专属路径 A（理解原理）」再接路径 B，建立认知框架之后，再根据目标岗位（算法、工程、产品）分别深入。第五部分的 36 篇论文是最有价值的长期投资，建议按编年顺序阅读，不需要一次读完，每周 1–2 篇，配合第五部分附录的视频资源（Andrej Karpathy、李沐）消化。第六部分 MLSysBook 可以作为系统性教材，补充论文之间的知识空白。 ### 研究者 / 技术写作者 / AI 内容创作者 **关注点：** 需要理解和准确表达 AI 技术细节，不一定亲自实现 第五部分的论文是核心资产，建议重点阅读每篇的「历史背景」和「核心贡献」部分，建立准确的技术叙事框架。第六部分 MLSysBook 的 Ch.15（负责任 AI）和 Ch.16（鲁棒 AI）是理解 AI 安全与伦理的系统性参考。第一部分 Anthropic 文档的 API 参考和 Claude 官方技术文档（No.2）是最权威的第一手技术资料。 ### 管理者 / 团队负责人 **关注点：** 需要在组织层面评估 AI 投入、引导团队使用 AI 工具 建议先快速浏览封面的标识说明，再看「通用主题索引」的五条路径，了解团队不同角色适合的学习方向。自己的深度阅读建议聚焦：第二部分 No.1（GenAI for Everyone）建立基本认知；第五部分 No.12（Bitter Lesson）理解为什么「人工注入规则」长期跑不赢「规模+算力」；第六部分 Ch.15（负责任 AI）和 Ch.17（可持续 AI）了解组织层面的风险和治理框架。 ## 目录 | 部分 | 内容 | |---|---| | → | **学习路径索引**
层一：5条通用主题路径（LLM原理 / Agent开发 / 效率提升 / Vibe Coding / 系统工程）；层二：针对无编程背景读者的专属路径 A（理解原理）和路径 B（理解应用），各6步 | | 一 | **第一部分　Anthropic 官方文档与自学教程**
10项 · Anthropic 官网 · 官方技术文档 · Skilljar Academy · 互动 Prompt 教程（9章）·；Claude Code 文档 · Anthropic Cookbook · MCP 基础与进阶 | | 二 | **第二部分　Coursera 与 DeepLearning.AI 视频课程**
13项 · 吴恩达系列（GenAI for Everyone / Agentic AI）· Anthropic×AWIT 应用课 ·；MCP 构建课 · Claude Code · Agent Skills · Vibe Coding · Computer Use | | 三 | **第三部分　Google · OpenAI · Cursor · Perplexity**
13项 · Gemini CLI · 多模态 Prompting · JAX 训练 · Google AI Pro Cert ·；ChatGPT Prompt Engineering · OpenAI Academy · Cursor 和 Perplexity 官方文档 | | 四 | **第四部分　Google · Kaggle 深度技术白皮书：Agent 专题**
3项 · 智能体入门 · 上下文工程（Sessions & Memory）·；Agent 工具与 MCP 互操作性 | | 五 | **第五部分　AI 演义：36 篇论文**
36项，按4条主线编年：模型范式变迁（Brook→AlexNet→Transformer→ReAct）·；Infra与数据（ZeRO→Scaling Law→MegaScale）· 语言模型（GPT系列→InstructGPT→Tulu3）·；多模态（GAN→Diffusion→CLIP→Stable Diffusion→DiT） | | 六 | **第六部分　MLSysBook.AI：机器学习系统工程教材**
23章 · 哈佛 Vijay Janapa Reddi · 即将由 MIT Press 出版 · 完全开源 ·；Volume I（19章完成）: 系统基础 / 核心技术 / 部署 / 负责任AI / 生成式AI ·；Volume II（撰写中）: 规模基础 / 构建集群 / 大规模部署 / 生产关注点 | ## 学习路径索引 本清单共六个部分，内容量较大。以下分两层整理了推荐的学习路径： - 第一层是按学习目标整理的通用主题路径，适合团队中不同背景的人按需取用； - 第二层是针对无编程背景、关注应用层的读者设计的两条专属路径，分「理解原理」和「理解应用」两条线各自展开。 ### 层一　通用主题索引 ### 原理向 理解 LLM 原理 适合所有人，想明白「ChatGPT 为什么能回答问题」 **路径：** 第二部分 No.1 GenAI for Everyone → 第五部分 论文 No.7 Transformer → No.20–23 GPT 系列论文 → 第六部分 Ch.1–3 MLSysBook 约 10–15 小时 · 全部无需编程 · 建立从数据→模型→对齐的完整认知链 ### 开发向 做 Agent 开发 适合有编程基础、想构建能自主行动的 AI 应用的工程师 **路径：** 第二部分 No.9 Agentic AI（吴恩达） → No.10 MCP / No.11 Claude Code / No.12 Agent Skills → 第四部分 白皮书 1–3 → 第五部分 论文 No.11 ReAct ### 应用向 AI 效率提升（职场应用） 适合想用 AI 工具提升日常工作效率的非技术人员 **路径：** 第一部分 No.1–4 Anthropic 入门文档 → 第二部分 No.3 Real-World AI for Everyone → 第三部分 No.4–5 Google Workspace + Gemini 约 8–12 小时 · 以视频课为主，无需技术背景 ### 实践向 Vibe Coding / AI 辅助开发 适合想用 AI 写代码、做原型的产品经理、设计师、运营 **路径：** 第二部分 No.5 Vibe Coding 101 → No.6 Building Towards Computer Use → No.11 Claude Code（DeepLearning.AI） → 第三部分 No.7 Google AI Pro Cert ### 技术向 理解 AI 系统工程 适合技术背景、需要理解 ML 基础设施与系统架构的工程师 **路径：** 第六部分 Ch.1–11 MLSysBook Vol.I → 第五部分 论文 No.2 AlexNet / No.7 Transformer / No.13 ZeRO / No.17 MegaScale → 第六部分 Vol.II（撰写中） 与前五部分论文形成理论对照，建议结合阅读 ### 层二　你的专属路径 针对无编程/软件工程背景、关注应用层的读者。两条线可以并行，也可以先 A 再 B。 #### 路径 A　「AI 为什么能这样工作」— 理解原理 目标：建立正确的直觉框架，能判断 AI 做了什么、为什么会出错、「更大更好」这个说法从何而来。 总时间估算：约 15–20 小时（含配套视频）· 建议顺序阅读，每步之间间隔几天消化 · 全程无需写代码 1. **GenAI for Everyone（吴恩达） 第二部分 No.1 [视频课]** 全局入门，建立 LLM 是什么、能做什么、不能做什么的基本认知。免费，约 5 小时，无需任何技术背景。这是路径 A 的起点。 2. **Transformer 论文（Attention Is All You Need） 第五部分 No.7 [论文精读]** 不需要读懂所有公式，重点看作者解决了什么问题、为什么这个结构适合并行计算。配合 Andrej Karpathy 的视频（第五部分附录 No.35）一起看效果最好——他用代码从零实现，直觉非常清晰。 3. **The Bitter Lesson 第五部分 No.12 [短文·30分钟]** Rich Sutton 的经典博文，解释为什么「算力 + 通用方法」长期赢过「人类知识注入」。读完之后，很多 AI 行业的争论会变得更容易理解。 4. **GPT 系列论文：GPT-1 → GPT-2 → GPT-3 第五部分 No.20–23 [论文·可配视频]** 跟着这条脉络读，能看到「预训练-微调」→「零样本」→「Prompt」这三次范式跳跃是怎么发生的。配合李沐的论文精读系列（B 站）效果更好。 5. **InstructGPT（RLHF） 第五部分 No.24 [论文]** 理解为什么「更大」还不够，还需要「对齐」。这篇解释了 ChatGPT 能听懂人话的关键技术 RLHF 是怎么工作的。读懂后对 Claude 的行为也会有更清晰的认识。 6. **MLSysBook Ch.1–3（导论、ML 系统、深度学习基础） 第六部分 No.1–3 [教材]** 用来填补「为什么需要 GPU」「什么是数据/算法/基础设施的三角」这类系统性知识空白。是路径 A 的收尾，帮助把前面散装的知识串成一个框架。 #### 路径 B　「AI 现在能做什么、边界在哪」— 理解应用 目标：能评估 AI 产品和方案，在团队中有效决策，理解 Agent / Prompt / Context 这些关键概念的实际含义。 总时间估算：约 12–18 小时 · 以 Coursera 视频课和白皮书为主，论文可快速浏览重点段落 · 全程无需写代码 1. **Anthropic 官方互动 Prompt 教程（9章） 第一部分 No.4 [互动教程]** 用 Claude 学 Claude。直接在浏览器里练习，有即时反馈。覆盖从基础 Prompt 写法到思维链、角色扮演、结构化输出的完整提示工程思路。这是路径 B 的核心实践起点。 2. **Real-World AI for Everyone（Anthropic × AWIT，Coursera） 第二部分 No.3 [视频课]** 专门为非技术背景人员设计，覆盖 AI 在实际工作场景中的落地方式、风险判断和决策框架。与路径 A 的原理课互补——这门课解决「怎么用」，原理课解决「为什么」。 3. **CoT 论文（Chain-of-Thought Prompting） 第五部分 No.10 [论文·可快速浏览]** 理解为什么给模型展示「推理步骤」能显著提升效果。读完后你写 Prompt 的方式会改变——知道什么时候应该让模型「先想再答」。 4. **Kaggle 白皮书：智能体入门 + 上下文工程（Sessions & Memory） 第四部分 No.1–2 [白皮书]** Google/Kaggle 出品，系统解释 Agent 是什么、如何工作，以及「上下文工程」（Context Engineering）——这是 2024 年后最重要的 AI 应用设计范式。配合第五部分 ReAct 论文（No.11）理解底层逻辑。 5. **Kaggle 白皮书：Agent 工具与 MCP 互操作性 第四部分 No.3 [白皮书]** 理解 MCP（Model Context Protocol）——当前 AI Agent 与外部工具集成的主流标准。搭配第二部分 No.10（MCP 课，DeepLearning.AI × Anthropic）一起看，能把协议层和使用层打通。 6. **ReAct 论文 + MLSysBook Ch.4 AI 工作流 + Ch.19 生成式 AI 第五部分 No.11 / 第六部分 Ch.4 + Ch.19 [论文 + 教材章节]** 路径 B 的收尾：ReAct 解释 Agent 的「思考-行动」循环；MLSysBook Ch.4 给出 AI 项目从数据到部署的完整生命周期视角；Ch.19 从系统工程角度看生成式 AI，帮你理解为什么 LLM 推理那么慢、那么贵。 ## 第一部分　官方文档与自学教程 Anthropic 官方技术文档、GitHub 互动课程、Academy 平台，适合自定进度学习。 ### 阶段一　理解 LLM 与 Claude 基础 ### 1. Anthropic 学习主页 *官方资源总入口 · anthropic.com/learn* > 免费 总入口 覆盖 API 指南、团队部署、个人使用三条路径。先来这里了解整体布局，选择适合自己的学习方向。 [打开资源](https://www.anthropic.com/learn) ### 2. Claude 官方技术文档 — Intro to Claude *最权威入门文档 · platform.claude.com/docs/en/intro* > 文档 免费 介绍 Claude 是什么、模型系列对比（Opus / Sonnet / Haiku）、核心能力概览，读完建立全局 AI 认知。 [打开资源](https://platform.claude.com/docs/en/intro) ### 3. Anthropic Academy（官方课程平台） *Skilljar 托管 · 多门课 · 含证书 · anthropic.skilljar.com* > ★ 强烈推荐 免费 证书 Anthropic 正式课程平台。包含 Claude 101、AI Fluency、API 开发、MCP、Claude Code 等多门课程，完成后可获证书。不需要 Anthropic 账号即可注册。 [打开资源](https://anthropic.skilljar.com/) ### 阶段二　Prompt 工程核心技巧 ### 4. 官方互动 Prompt 教程（9章） *Anthropic 官方 · GitHub + Google Sheets 双版本* > ★ 强烈推荐 完全免费 动手练习 共 9 章：基础结构 → 清晰度 → 角色指定 → XML 标签结构化 → 思维链 → 进阶技巧，每章含实际练习。Google Sheets 版适合初学者，无需任何编程环境。 [打开资源](https://github.com/anthropics/prompt-eng-interactive-tutorial) ### 5. 文档：Prompt Engineering 总览 *Anthropic 官方文档 · platform.claude.com* > 文档 免费 官方文档的 Prompt Engineering 章节，系统讲解 be-specific、use-examples、XML 结构、思维链等核心方法，是第 4 步互动教程的文字参考版。 [打开资源](https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview) ### 阶段三　API 开发与实际构建 ### 6. Anthropic 官方课程合集（GitHub） *Anthropic 官方 · github.com/anthropics/courses · 5门课* > 代码 免费 Jupyter Notebook 5 门课程：① API 基础（SDK·参数·多模态·流式输出）② Prompt 工程（代码版）③ 真实世界 Prompt 实战 ④ Prompt 评估方法 ⑤ Tool Use 工具调用。按顺序学完系统掌握 API 开发。 [打开资源](https://github.com/anthropics/courses) ### 7. 完整 API 参考文档 *Anthropic 官方 · platform.claude.com/docs/en/home* > 参考文档 免费 覆盖 Messages API、模型参数、视觉/文件输入、流式输出、Batch 处理、Token 计算等所有 API 细节。开发时随时查阅的权威参考。 [打开资源](https://platform.claude.com/docs/en/home) ### 阶段四　进阶：MCP · Agent · Claude Code ### 8. Academy：MCP 基础 & 进阶（两门课） *Anthropic Academy · Skilljar 平台* > 免费 证书 MCP ① 从零用 Python 构建 MCP 服务器和客户端，掌握 tools / resources / prompts 三大原语 ② 进阶：sampling、notifications、文件系统、生产级传输机制。各含证书。 [打开资源](https://anthropic.skilljar.com/) ### 9. Claude Code 官方文档 *Anthropic 官方 · code.claude.com/docs/en/overview* > 开发者 免费 Claude Code 完整指南：CLI 安装、VS Code / JetBrains 插件、多 Agent 并行、Agent SDK 自定义编排、Skills 创建与分发。适合想深度集成进开发工作流的开发者。 [打开资源](https://code.claude.com/docs/en/overview) ### 10. Anthropic Cookbook（代码片段库） *Anthropic 官方 · anthropic.com/learn/build-with-claude* > 代码示例 免费 官方整理的常见场景代码示例集合：RAG 检索、嵌入向量、PDF 处理、多模态等。有具体任务时直接来这里找参考实现，省去大量搜索时间。 [打开资源](https://www.anthropic.com/learn/build-with-claude) ## 第二部分　Coursera 与 DeepLearning.AI 视频课程 Coursera 上 Anthropic 官方课程、吴恩达 DeepLearning.AI 系列、Google 官方课程，含 Vibe Coding、多模态、Agent 内容。 所有标注「免费」的课程无需付费即可完整学习。Coursera Plus 课程可申请 7 天免费试用。 **学习建议** 非技术学习者：阶段一 → 阶段二（Coursera 系列）→ 阶段三（Vibe Coding 101） 开发者：阶段二（Prompt 教程）→ 阶段三（API 课）→ 阶段四（Agent + MCP + Claude Code） ### 阶段一　LLM 与生成式 AI 基础理解 ### 1. Generative AI for Everyone *吴恩达 Andrew Ng 亲授 · DeepLearning.AI · 无需编程基础* > ★ 强烈推荐 免费 非技术向 DeepLearning.AI 吴恩达亲授。从零讲清楚生成式 AI 的工作原理、能做什么不能做什么、如何影响商业和社会。整个学习路径最理想的起点，建立正确的 AI 认知框架。适合所有人。 [打开资源](https://www.deeplearning.ai/courses/generative-ai-for-everyone/) ### 2. Google AI Essentials Specialization *Google 官方出品 · Coursera · 5门课 · 含证书* > 可免费旁听 证书 Google 官方 Google 专家团队制作。覆盖 AI 基础概念、如何用 AI 工具提升日常工作效率、负责任 AI 使用准则。与 Anthropic Claude 内容形成很好互补，建立跨平台 AI 通识。 [打开资源](https://www.coursera.org/specializations/ai-essentials-google) ### 阶段二　Claude 实际使用与 Prompt 工程 ### 3. Real-World AI for Everyone Specialization（3门课） *Anthropic × AWIT 官方合作 · Coursera · 2025年11月正式上线* > ★ Anthropic 官方 Coursera Plus 证书 Anthropic 与 Coursera 官方合作课程。三门递进：① AI Fundamentals with Claude（Prompt 基础 + Artifacts）② AI Collaboration with Claude（创意写作·受众分析）③ AI Automation with Claude（项目自动化·RAG·多模态输入）。专为非开发者设计。 [打开资源](https://www.coursera.org/partners/anthropic) ### 4. Anthropic 官方互动 Prompt 教程（9章） *Anthropic 官方 · GitHub / Google Sheets · 边写边练* > ★ 强烈推荐 完全免费 动手练习 从基础结构到 XML 标签、思维链、角色指定等核心技巧，9 章循序渐进，每章都有实际练习。Google Sheets 版最适合初学者，操作门槛极低，无需配置任何环境。 [打开资源](https://github.com/anthropics/prompt-eng-interactive-tutorial) ### 阶段三　Vibe Coding · 多模态 · API 开发 ### 5. Vibe Coding 101 with Replit *吴恩达导言 · Replit 总裁 × 开发者关系负责人授课 · DeepLearning.AI · 约2小时* > ★ 吴恩达推荐 免费 Vibe Coding DeepLearning.AI 吴恩达亲自引入并讲解 Vibe Coding 理念。与 Replit 官方合作，手把手教你用 AI 代理在云端构建和部署 Web 应用，完全无需本地配置。学会如何拆分任务、精准 prompt、逐模块调试——这才是真正高效的 Vibe Coding。 [打开资源](https://www.deeplearning.ai/short-courses/vibe-coding-101-with-replit/) ### 6. Building Towards Computer Use with Anthropic *Anthropic 课程负责人 Colt Steele 授课 · DeepLearning.AI × Anthropic 合作* > ★ Anthropic 官方 多模态 Computer Use 免费 多模态核心课。从 API 基础 → 图片+PDF 多模态 Prompt → Prompt 缓存 → Tool Use，最终实现一个能操控电脑界面执行任务的 AI 助手。覆盖多模态理解与计算机使用两大热门方向。 [打开资源](https://www.deeplearning.ai/short-courses/building-towards-computer-use-with-anthropic/) ### 7. Building with the Claude API（7模块） *Anthropic 官方 · Coursera · 开发者向 · 含证书* > ★ Anthropic 官方 Coursera Plus 证书 RAG Anthropic 在 Coursera 上最完整的开发者课程。覆盖：API 基础 → Prompt 评估 → Tool Use + 多模态 + Prompt 缓存 → RAG 检索系统 → MCP → 自主 Agent 工作流。结业可构建完整 AI 应用。 [打开资源](https://www.coursera.org/learn/building-with-the-claude-api) ### 8. Google AI Professional Certificate *Google 官方 · Coursera · 含 Vibe Coding 模块 · 2025年更新* > Vibe Coding 证书 Coursera Plus Google 官方 Google 出品的 AI 专业证书，包含用 Vibe Coding 创建自定义应用的模块（无需代码经验）。涵盖 AI Studio、数据分析、内容创作、项目管理全场景。跨公司 AI 通识能力的权威认证。 [打开资源](https://www.coursera.org/professional-certificates/google-ai) ### 阶段四　Agent · MCP · Claude Code 进阶 ### 9. Agentic AI *吴恩达 Andrew Ng 亲授 · DeepLearning.AI · 2025年10月上线 · 含 Python 实战* > ★ 吴恩达亲授 Agent Python DeepLearning.AI 吴恩达最新亲授课程。系统讲解四大 Agentic 设计模式：自我反思（self-reflection）、工具调用、规划、多智能体协作。用 Python 实现可处理复杂多步骤任务的自主 AI 系统，是 Agent 领域目前质量最高的课程之一。 [打开资源](https://www.deeplearning.ai/courses/agentic-ai/) ### 10. MCP: Build Rich-Context AI Apps with Anthropic *Elie Schoppik（Anthropic 技术教育负责人）授课 · DeepLearning.AI × Anthropic* > ★ Anthropic 官方 MCP 免费 DeepLearning.AI MCP 协议官方教程。从零构建 MCP 服务器和客户端，连接文件系统、网络爬取等 Anthropic 官方参考服务器，远程部署并与 Claude Desktop 集成。同时介绍多智能体架构和 MCP 注册表 API 未来路线图。 [打开资源](https://www.deeplearning.ai/short-courses/mcp-build-rich-context-ai-apps-with-anthropic/) ### 11. Claude Code: A Highly Agentic Coding Assistant *Elie Schoppik 授课 · DeepLearning.AI × Anthropic · 吴恩达联合推荐* > ★ Anthropic 官方 Claude Code Vibe Coding 进阶 Claude Code 最权威的实战课。学会：多个子 Agent 并行处理代码库、在 GitHub Issues 中 @ Claude 自动创建并合并 PR、Jupyter Notebook 转生产仪表板、用 MCP Playwright 让 Claude 看到 UI 并自动修复。Vibe Coding 的进阶版本。 [打开资源](https://www.deeplearning.ai/short-courses/claude-code-a-highly-agentic-coding-assistant/) ### 12. Agent Skills with Anthropic *Elie Schoppik 授课 · DeepLearning.AI × Anthropic · 2026年1月上线（最新）* > ★ 最新课程 Agent Skills MCP 免费 最新课程。学习如何构建、分发、复用 Agent Skills——可跨 Claude.ai、Claude Code、Claude API、Claude Agent SDK 使用的专业化能力包。结合 MCP 和子 Agent 处理复杂工作流，是 Anthropic Skills 体系的完整实战指南。 [打开资源](https://www.deeplearning.ai/short-courses/agent-skills-with-anthropic/) ### 13. Claude Code in Action（Coursera 增强版） *Anthropic 官方 · Coursera · 含 Coursera Coach AI 辅导* > Anthropic 官方 Coursera Plus 证书 Claude Code 的 Coursera 专属版本，包含 AI 辅导、额外练习测验和实时反馈，比独立版更具互动性。学习 CLI 工具系统、上下文管理、自定义工作流、Hooks 和外部服务集成。 [打开资源](https://www.coursera.org/learn/claude-code-in-action) ## 第三部分　Google · OpenAI · Cursor · Perplexity 课程资源 ### Google · DeepMind 官方合作课程最丰富的公司。 ### 1. Gemini CLI: Code & Create with an Open-Source Agent *Google × DeepLearning.AI 官方合作 · Google DevRel 工程师授课 · 2026年1月上线* > ★ Google 官方 免费 Vibe Coding Agent 从终端使用 Gemini CLI 这个开源 Agent，协调本地文件系统与 Google Workspace、Canva、GitHub Actions 等云服务，实现 Vibe Coding、自动化开发流程、多媒体内容生成。是 Google 官方针对 Agentic Coding 最新的合作课程。 [打开资源](https://www.deeplearning.ai/short-courses/gemini-cli-code-and-create-with-an-open-source-agent) ### 2. Large Multimodal Model Prompting with Gemini *Google × DeepLearning.AI 官方合作 · 多模态核心课* > ★ Google 官方 免费 多模态 利用 Gemini 的跨模态注意力机制，融合文本、图像、视频进行复杂推理。学习 function calling 与 API 集成来扩展 Gemini 能力，构建文档理解、视频搜索、虚拟助理等真实应用。 [打开资源](https://www.deeplearning.ai/short-courses/large-multimodal-model-prompting-with-gemini) ### 3. Build and Train an LLM with JAX *Google × DeepLearning.AI 官方合作 · Google TPU 软件团队工程师授课 · 2026年3月最新上线* > ★ 最新 · Google 官方 免费 LLM 原理 进阶 用 JAX（Gemini 背后的开源计算库）从零构建并训练一个 2000 万参数的 MiniGPT 语言模型。走一遍 Google 训练 Gemini 所用的相同基础流程：架构设计、数据加载、训练循环、推理部署。想真正理解 LLM 原理的最佳实践课。 [打开资源](https://www.deeplearning.ai/short-courses/build-and-train-an-llm-with-jax) ### 4. Google AI Professional Certificate（Coursera，7门课） *Google 官方 · Coursera · 含 Gemini / NotebookLM / AI Studio / Vibe Coding* > 已收录于第二部分 Coursera Plus 证书 已在第二部分收录。含 Gemini Deep Research、Gemini Canvas、Google AI Studio 实战，以及 Vibe Coding 构建自定义应用。结业获 Google 证书，附 3 个月 Google AI Pro 免费使用权。 [打开资源](https://www.coursera.org/professional-certificates/google-ai) ### 5. Google Workspace with Gemini Specialization *Google Cloud 官方 · Coursera · 约1周完成 · 无需编程* > Google Cloud 官方 Coursera Plus 证书 无需编程 专注 Gemini 在 Gmail、Docs、Slides、Sheets、Meet、Google Vids 中的实际生产力应用。适合希望用 AI 提升日常办公效率的非技术人员，是最直接的 Gemini 上手课程。 [打开资源](https://www.coursera.org/specializations/gemini-for-google-workspace) ### 6. Gemini for Google Cloud Learning Path *Google Cloud 官方 · Coursera · 含 Qwiklabs 实操 · 面向开发者* > Google Cloud 官方 Coursera Plus 开发者向 面向开发者、数据分析师、云工程师、架构师等不同角色的 Gemini 专项课。学习在 Google Cloud 上用 Gemini 写代码、分析数据、做安全审计。含 Qwiklabs 真实云环境操作。 [打开资源](https://www.coursera.org/specializations/gemini-for-google-cloud-learning-path) ### OpenAI · ChatGPT 官方课程体系刚起步，DeepLearning.AI 合作课是核心。 OpenAI Academy（[academy.openai.com](https://academy.openai.com)）是官方学习平台，目前主要提供免费工作坊和研讨会。正式的 OpenAI Certifications 认证体系于 2025 年底开始试点，ChatGPT Foundations for Teachers 已在 Coursera 上线；面向职场人员的 AI Foundations 目前通过 Walmart、BCG、Accenture 等企业合作伙伴试点，尚未向公众全面开放。目标是到 2030 年为 1000 万人认证。目前最高质量的 OpenAI 官方合作课在 DeepLearning.AI。 ### 1. ChatGPT Prompt Engineering for Developers *Isa Fulford（OpenAI 工程师）× 吴恩达 联合授课 · DeepLearning.AI × OpenAI 官方合作* > ★ OpenAI 官方 免费 吴恩达联合授课 OpenAI 工程师 Isa Fulford 与吴恩达共同授课。讲解 LLM 工作原理、Prompt Engineering 最佳实践，以及如何用 OpenAI API 构建文本摘要、情感分析、翻译、自定义聊天机器人等应用。所有概念配有 Jupyter Notebook 实操。 [打开资源](https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers) ### 2. Building Systems with the ChatGPT API *Isa Fulford（OpenAI 工程师）× 吴恩达 联合授课 · DeepLearning.AI × OpenAI 官方合作* > ★ OpenAI 官方 免费 吴恩达联合授课 进阶实战课。学习用链式 Prompt 调用构建复杂自动化工作流：分类用户查询、评估安全性、多步骤思维链推理，最终构建完整的客户服务聊天机器人系统。 [打开资源](https://www.deeplearning.ai/short-courses/building-systems-with-chatgpt) ### 3. ChatGPT Foundations for Teachers *OpenAI 官方 · Coursera · 2025年12月正式上线 · 首门 OpenAI 认证课程* > ★ OpenAI 首门官方认证课 Coursera 证书 OpenAI 发布的首批官方认证课，目前在 Coursera 可学。专为 K-12 教育者设计，教如何在日常教学中使用 ChatGPT：提示框架（Task-Context-Expectation）、个性化设置、备课规划、批改辅助等。完成后获 OpenAI Virtual Teacher Certificate。 [打开资源](https://www.coursera.org/learn/chatgpt-foundations-for-teachers) ### 4. OpenAI Academy（官方学习平台） *OpenAI 官方 · academy.openai.com · 免费* > 官方入口 免费 持续更新 OpenAI 官方学习社区，提供工作坊、研讨会回放、实战指南（如企业 ChatGPT 部署手册）。AI Foundations 正式认证课程计划 2026 年面向公众开放，可先在此关注最新进展。 [打开资源](https://academy.openai.com) ### Cursor · Perplexity · 其他工具 暂无官方课程，但有高质量替代资源。Cursor 由 Anysphere 开发，尚未发布 Coursera 或 DeepLearning.AI 的合作课程，官方学习资源集中在文档和 YouTube 演示。Perplexity 同样没有正式课程体系。 ### 1. Vibe Coding 101 with Replit（最接近 Cursor 工作流的官方课） *吴恩达 × Replit 官方合作 · DeepLearning.AI · 已收录于第二部分* > 适合 Cursor 入门前 免费 已收录于第二部分 Cursor 和 Replit Agent 的工作流高度相似，都是用自然语言描述需求、让 AI 代理生成代码、逐模块调试。这门课是目前最权威的「AI 代理写代码」入门课，学会这套思维方式后上手 Cursor 极快。 [打开资源](https://www.deeplearning.ai/short-courses/vibe-coding-101-with-replit) ### 2. Cursor 官方文档 *Anysphere 官方 · docs.cursor.com · 免费* > 官方文档 免费 目前 Cursor 最权威的学习资源就是官方文档。覆盖 Tab Completion、Agent 模式（Plan Mode）、Rules 自定义、MCP 集成、Privacy 设置等所有核心功能。没有视频课，但文档详细清晰，建议配合实操学习。 [打开资源](https://docs.cursor.com) ### 3. Perplexity 官方 API 文档 *Perplexity AI 官方 · docs.perplexity.ai · 免费* > 官方文档 API 免费 Perplexity 目前没有课程体系。官方 API 文档是开发者学习 Sonar 系列模型（联网搜索 + 引用生成）的唯一官方入口。适合想把实时搜索能力集成进应用的开发者。 [打开资源](https://docs.perplexity.ai) **学习建议** Cursor 和 Perplexity 暂无官方课程，建议通过官方文档 + 实操学习。OpenAI 认证体系正在扩展，2026 年将面向公众开放更多课程。Google 官方合作课资源最完整，推荐从 Gemini CLI 或多模态课入手。第四部分的三份 Google·Kaggle 白皮书建议在完成视频课后按需深读。 ## 第四部分　Google · Kaggle 深度技术白皮书：Agent 专题 以下三份白皮书由 Google 研究团队发布于 Kaggle，是目前最系统、最权威的 Agent 技术深度读物。与视频课程不同，这批白皮书面向开发者和技术决策者，直接切入 Agent 架构、上下文工程与 MCP 互操作性的核心问题，是学完第一至三部分后进阶必读的参考资料。 **推荐阅读顺序** 建议在完成第二部分的 Agentic AI 视频课（吴恩达）和第三部分的 MCP 课程之后阅读。它们不是课程，而是深度参考文档：不需要从头读到尾，可以根据当前开发任务按需查阅相关章节。 白皮书 1 → 建立 Agent 整体认知框架。白皮书 2 → 解决具体开发中的 Memory 和会话状态问题。白皮书 3 → 深入 MCP 工具设计和企业级安全，与 Anthropic MCP 课程形成互补。 ### 1. 智能体入门 — Introduction to Agents *Google 研究团队 · Kaggle 发布 · 白皮书* > ★ Google 官方白皮书 免费 Agent 入门 进阶必读 系统阐述 AI Agent 的核心定义与架构：从被动模型到能自主制定计划、执行多步骤任务的完整应用程序。详解 Agent 如何将语言模型推理与行动能力结合，独立找出实现目标所需的下一步，无需人类在每个环节指导。是理解 Agentic AI 范式转变的最佳入门白皮书。 [打开资源](https://www.kaggle.com/whitepaper-introduction-to-agents) ### 2. 上下文工程：会话与记忆 — Context Engineering: Sessions & Memory *Google 研究团队 · Kaggle 发布 · 白皮书* > ★ Google 官方白皮书 免费 上下文工程 Memory 设计 深入探讨如何在 LLM 上下文窗口内动态组装和管理信息（上下文工程），使模型能够跨会话记忆、学习并个性化交互。这是构建有状态、持久 AI Agent 的关键技术挑战，直接对应实际开发中的 Memory 设计问题。 [打开资源](https://www.kaggle.com/whitepaper-context-engineering-sessions-and-memory) ### 3. 智能体工具与 MCP 互操作性 — Agent Tools and Interoperability with MCP *Google 研究团队 · Kaggle 发布 · 白皮书* > ★ Google 官方白皮书 免费 MCP 企业安全 全面讲解 Agent 工具的本质与设计最佳实践，深入剖析模型上下文协议（MCP）的基本组件、挑战与风险，以及在企业环境中将 MCP 与高价值外部系统连接时的安全挑战。与前两份白皮书形成完整的 Agent 技术三部曲。 [打开资源](https://www.kaggle.com/whitepaper-agent-tools-and-interoperability-with-mcp) ## 第五部分　AI 演义：36 篇论文开启你的探索之旅 本部分整理自谢青池（美团光年之外产品负责人，即刻/小红书 @skyxqc）的演讲「AI 演义 — 36 篇论文开启你的探索之旅」，感谢作者的系统整理与无私分享。 这 36 篇论文涵盖 AI 从深度学习开端到大语言模型、从 GPU 计算到多模态的完整历史脉络，按四条主线（模型范式变迁 / Infra 与数据 / 语言模型 / 多模态）以编年体展开。每篇论文均附标注「↗」的关联提示，指向本文档其他章节中相关的课程和白皮书资源。原文 Word 未附 arXiv / PDF 链接，条目保留英文题名，便于自行检索。 ### 第一轨：模型范式变迁（11 篇） ### 1. Brook: 用GPU进行计算 2004.08 *Brook for GPUs: Stream Computing on Graphics Hardware* > 作者：Ian Buck（后加入 NVIDIA 创立 CUDA，至今为 NVIDIA CUDA VP）；Pat Hanrahan（2019 年图灵奖、Pixar 创始员工、Tableau 联合创始人） 将底层图形硬件的复杂细节抽象化，开发者用更高级的 Brook 语言（C 语言扩展）进行跨平台 GPU 编程。引入数据并行基本框架：流（Streams）、核函数（Kernels）和规约（Reductions），是 CUDA 的前身和奠基工作。 ### 2. AlexNet: 深度学习的开端 2012.10 *ImageNet Classification with Deep Convolutional Neural Networks* > 作者：Alex Krizhevsky；Ilya Sutskever（OpenAI 联合创始人）；Geoffrey Hinton（诺贝尔奖得主、深度学习教父、2018 年图灵奖） 训练了当时最大的卷积神经网络（6250 万参数），在 ImageNet 竞赛上取得突破性成绩，支线范式首次在大规模任务上战胜手工特征方法，开启深度学习时代，间接催生了 Google Brain。 ### 3. seq2seq & Attention: 对序列建模 2014.09 *Sequence to Sequence Learning with Neural Networks* > 作者：Ilya Sutskever；Oriol Vinyals（Gemini 预训练负责人）；Quoc V. Le（Gemini 后训练负责人）；Dzmitry Bahdanau（注意力机制）；Yoshua Bengio（2018 年图灵奖） 复兴 Encoder-Decoder 结构，借助 LSTM 解决序列到序列建模问题（翻译/语音识别/问答），并引入注意力机制解决隐藏状态性能瓶颈，为 Transformer 的诞生埋下伏笔。 ↗ 关联本文档：Build and Train an LLM with JAX（Google × DeepLearning.AI） ### 4. 蒸馏: 模型能被学习吗？ 2015.03 *Distilling the Knowledge in a Neural Network* > 作者：Geoffrey Hinton；Oriol Vinyals；Jeff Dean（Google Fellow，Google Brain 创始人，MapReduce 和 TensorFlow 主导者） 开创了知识蒸馏技术，用教师模型产生的「软标签」引导学生模型学习，使大模型知识可迁移到轻量模型，奠定教师-学生学习范式。 ### 5. ResNet: 比深更深 2015.12 *Deep Residual Learning for Image Recognition* > 作者：何恺明（MIT 教授）；张祥雨（阶跃星辰 cofounder/首席科学家）；任少卿（蔚来自动驾驶负责人）；孙剑（旷视科技首席科学家） 引入残差学习，解决了深层网络的退化问题，使训练百层乃至千层神经网络成为可能。直至今天，Transformer 仍然是残差网络结构。 ### 6. 现代 MoE 的开端 2017.01 *Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer* > 作者：Noam Shazeer（Transformer 核心作者）；Geoffrey Hinton（90 年代提出 MoE 概念） 把 MoE 在深度学习领域做 work，实现超过 1000 倍模型容量提升、计算效率基本不变。解决推理成本问题，是大规模 AI 应用普及的关键架构创新。 ### 7. Transformer 来了！拉开一个时代的序幕 2017.06 *Attention Is All You Need* > 作者：Noam Shazeer；Jakob Uszkoreit（后创立 Inceptive）；Aidan N. Gomez（创立 Cohere）；Llion Jones（创立 Sakana AI）；Illia Polosukhin（创立 Near Protocol）等 8 人 完全基于自注意力机制对序列关系建模，抛弃 RNN/CNN，同时极适合并行计算（抽中硬件彩票）。建模能力增强 + 适合并行，为后面大力出奇迹的 scaling 埋下伏笔。 ↗ 关联本文档：Build and Train an LLM with JAX 用 JAX 从零实现 Transformer ### 8. AlphaGo Zero: 强化学习的突破 2017.10 *Mastering the Game of Go without Human Knowledge* > 作者：Karén Simonyan（后创立 Inflection，并入 Microsoft AI）等 DeepMind 团队 完全不依赖人类棋谱，纯粹用强化学习训练，36 小时超越 AlphaGo Lee。AlphaGo Zero 每走一步执行 1600 次 MCTS 搜索，启发了 OpenAI 开发 thinking 模式（test-time compute scaling）。 ↗ 关联本文档：吴恩达 Agentic AI 课程中的强化学习设计模式 ### 9. LoRA: 那个我们每天都在用的东西 2021.06 *LoRA: Low-Rank Adaptation of Large Language Models* > 作者：Edward Hu（Yoshua Bengio 学生，先后在微软研究院和 OpenAI 工作） 冻结原始权重，注入低秩分解矩阵 A 和 B，训练时只更新这两个矩阵，推理时合并回原权重零延迟。迅速成为高效微调领域最主流方法，在 Diffusion 上同样大放异彩。 ### 10. CoT: Prompt Engineering 的奠基之作 2022.01 *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models* > 作者：Jason Wei（本科学历研究员，后去 OpenAI 参与创立 O1 项目）；Denny Zhou（Gemini reasoning 负责人） 通过向模型展示推导的中间步骤进行 few-shot 学习，大幅提升推理任务表现。吸引 scaling 重心从预训练转向后训练，促成 thinking 模型诞生，作者后去 OpenAI 参与 O1 项目。 ↗ 关联本文档：Anthropic 互动 Prompt 教程第 6 章（思维链）；第四部分 Kaggle《上下文工程》 ### 11. ReAct: Agent 从理论到落地 2022.10 *ReAct: Synergizing Reasoning and Acting in Language Models* > 作者：姚顺雨（00后，清华姚班，普林斯顿 CS 博士，OpenAI 研究员，SWE-bench 作者） 使 LLM 以交错方式生成推理轨迹和任务特定行动（tool use），边思考边行动，形成感知-决策-执行循环。奠定了当下 Agent 基础结构，LangChain/LangGraph 对其有专门抽象。 ↗ 关联本文档：第四部分《智能体入门》Kaggle 白皮书；吴恩达 Agentic AI 课程 ### 第二轨：Infra 与数据变迁（6 篇） ### 12. The Bitter Lesson: 过去70年的教训 2019.03 *The Bitter Lesson（Rich Sutton 博文）* > 作者：Rich Sutton（强化学习领域奠基人，《Reinforcement Learning》教材作者） 70 年 AI 研究表明，利用计算的通用方法（搜索与学习）最终最有效，且优势显著。人类知识短期有效但长期阻碍进步；AI 应具备发现能力而非内置人类发现的结果。 ↗ 关联本文档：DeepLearning.AI × Google 课程 Build and Train an LLM with JAX（讲算力规律） ### 13. ZeRO: 大规模 GPU 并行计算 2019.10 *ZeRO: Memory Optimizations Toward Training Trillion Parameter Models* > 作者：微软研究院团队 在数据并行框架内对优化器状态、梯度、参数进行切分和动态管理，消除冗余内存，使可训练模型大小与 GPU 集群总显存成正比，理论上可无限扩展。成为 DeepSpeed 的核心工作。 ### 14. Scaling Law & Chinchilla: 上帝的指挥棒 2020.01 & 2022.03 *Scaling Laws for Neural Language Models* > 作者：Jared Kaplan 等（OpenAI）；Chinchilla：Jordan Hoffmann 等（DeepMind） 发现语言模型训练 Loss 遵循幂律关系，可用小模型实验预测大模型性能。Chinchilla 进一步证明：计算最优训练时，模型规模和训练 token 数应等比例扩展，数据和模型都很重要。 ### 15. LAION-5B: 开源社区的英雄主义 2022.10 *LAION-5B: An open large-scale dataset for training next generation image-text models* > 作者：Christoph Schuhmann 等（LAION 开源社区志愿者） 以开源协作方式构造含 58.5 亿图像-文本对的数据集，直接催生 AIGC 创新浪潮。Stable Diffusion 即在此数据集上训练。作者 Christoph Schuhmann 是德国高中物理和计算机科学教师。 ### 16. The RefinedWeb: 互联网数据也很够用 2023.06 *The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data* > 作者：Technology Innovation Institute（TII）团队（阿联酋） 证明仅用清洗后的 Common Crawl 网页数据训练，效果可达到甚至超越人工精选语料库，找到解决「数据墙」问题的新范式，极大推动数据工程在大模型训练中的核心地位。 ### 17. MegaScale: 万卡 GPU 集群的训练 2024.02 *MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs* > 作者：字节跳动团队 首个公开发表的生产环境万卡训练论文。采用算法-系统（Algorithm-System）Co-design 实现高训练效率，并建立深度可观测性系统，对训练进行监控可视化、自动定位故障并恢复。 ### 第三轨：语言模型的发展（8 篇） ### 18. Word2Vec: 用机器学习将单词向量化 2013.01 *Efficient Estimation of Word Representations in Vector Space* > 作者：Tomas Mikolov；Jeffrey Dean（Google Fellow） 首次找到对单词连续且包含语义的向量表示（king − man + woman ≈ queen），大幅降低计算成本，使超大规模语料库训练词向量成为可能，下游任务可借此大幅简化结构和提升效果。 ### 19. Google Translate: 神经网络的大规模线上部署 2016.09 *Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation* > 作者：吴永辉（Google Fellow，Gemini Post train 负责人，字节 seed 负责人）；Quoc V. Le；Oriol Vinyals；Jeffrey Dean 引领工业场景翻译范式转移，集成 ResNet、Encoder-Decoder、注意力机制、低精度计算/数据并行/模型并行等学术最新成果，解决了生产级 NMT 系统的工程挑战，是工程集大成者。 ### 20. GPT-1: 它来了 2018.06 *Improving Language Understanding by Generative Pre-Training* > 作者：Alec Radford；Ilya Sutskever（2015 年独立发现无监督学习数学证明，2018 年借 Transformer 实现） 提出「无监督预训练 + 监督微调」新范式，首次建立以 Transformer Decoder 为模型结构、next token prediction 为训练目标的语言模型训练范式，后来成为 LLM 的主导范式。 ### 21. BERT: 曾经的王 2018.10 *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding* > 作者：Jacob Devlin 等（Google Research） 引入深度双向预训练范式，可同时考虑一个词左右两边的上下文信息，几乎横扫当时所有主流 NLP 基准测试。提出 Next Sentence Prediction（NSP）预训练任务。 ### 22. GPT-2: 是时候告别微调了 2019.02 *Language Models are Unsupervised Multask Learners* > 作者：Alec Radford；Dario Amodei（Anthropic CEO）；Ilya Sutskever 1.5B 参数，通过爬取 Reddit 构建 WebText（~40GB），无需任何微调即可零样本泛化到多种 NLP 任务，实现前所未有的零样本学习。数据和模型规模均扩展了 10 倍。 ### 23. GPT-3: ChatGPT 来临前夜 2020.05 *Language Models are Few-Shot Learners* > 作者：Alec Radford；Dario Amodei；Ilya Sutskever（31 位作者，含数据/infra/评估等多个角色） 1750 亿参数，验证了 Scaling Law，得到强大的上下文学习能力。新 LLM 使用范式诞生：仅通过设计输入提示（Prompt）就能引导大型模型执行特定任务，进化为今天的 context engineering。 ↗ 关联本文档：Anthropic 官方 Prompt 工程课程；第四部分 Kaggle《上下文工程》白皮书 ### 24. InstructGPT: 给 LLM 以文明 2022.03 *Training language models to follow instructions with human feedback* > 作者：Long Ouyang；John Schulman（PPO 作者）；Jan Leike；Paul Christiano（Alignment 团队） 提出基于人类反馈的强化学习（RLHF）：SFT + RM + PPO。证明 1.3B InstructGPT 在遵循指令方面优于 175B GPT-3，开创后训练对齐范式。 ↗ 关联本文档：DeepLearning.AI × OpenAI《Building Systems with the ChatGPT API》 ### 25. Tulu 3: 后训练的开源 2024.11 *TULU 3: The Art and Science of Instruction Tuning at Scale* > 作者：Nathan Lambert（Allen Institute for AI，AI 新闻通讯 Interconnects.ai 作者）等 艾伦人工智能研究所完全开放的后训练模型，三阶段流程：SFT → DPO → RLVR（基于可验证奖励的强化学习）。将整个后训练流程的数据、代码、配方、评估体系完全公开。 ### 第四轨：多模态模型的发展（9 篇） ### 26. DeepVideo: 深度学习进入视频领域 2014.06 *Large-scale Video Classification with Convolutional Neural Networks* > 作者：Andrej Karpathy（斯坦福 CS 博士，导师李飞飞；后任特斯拉 AI 总监、OpenAI 创始成员）；李飞飞 构建 Sports-1M 数据集（100 万 YouTube 体育视频），借助 ImageNet 预训练 CNN 用深度学习解决视频分类。探索了 Early Fusion、Late Fusion、Slow Fusion 等不同时序融合方式。 ### 27. 双流网络: 牛津学术重镇登场 2014.06 *Two-Stream Convolutional Networks for Action Recognition in Videos* > 作者：Karén Simonyan（DeepMind 主要研究科学家，VGG 网络作者，AlphaGo Zero 一作，后创立 Inflection 并入 Microsoft AI） 提出融合空间和时间网络的双流卷积网络架构，性能与最先进手工特征模型相当，成为后来大多数视频理解方法的基础框架。作者 Karén 2017 年参与 AlphaGo Zero 工作。 ### 28. GAN: 图像生成的序章 2014.06 *Generative Adversarial Nets* > 作者：Ian J. Goodfellow（《Deep Learning》教科书作者，对抗性样本领域权威）；Yoshua Bengio（2018 年图灵奖） 提出全新范式：将生成任务建模为生成器与判别器的二人零和博弈系统。用已解决的判别问题帮助解决生成问题，是极具开创性的研究思路：训练两个网络，让一个问题辅助解决另一个。 ### 29. Diffusion: 在GAN阴影下悄然成长 2015.03 *Deep Unsupervised Learning using Nonequilibrium Thermodynamics* > 作者：Jascha Sohl-Dickstein（曾任 Google Brain/DeepMind 主任科学家，现在 Anthropic） 从物理扩散过程汲取灵感，开创生成模型全新范式：前向扩散过程逐渐破坏数据结构为噪声，再学习逆向扩散过程恢复数据。作者 Jascha Sohl-Dickstein 现任职于 Anthropic 研究团队。 ↗ 关联本文档：Large Multimodal Model Prompting with Gemini（DeepLearning.AI × Google） ### 30. DDPM: Diffusion 重回图像舞台中央 2020.06 *Denoising Diffusion Probabilistic Models* > 作者：Jonathan Ho（Google Brain，后联合创立 Ideogram）；Pieter Abbeel（Covariant 联合创始人） 简化训练目标（预测噪声而非均值），引入 U-Net 为骨干网络，将 Diffusion 从边缘范式带回主流，训练稳定、效果不输 GAN。这个做法类似 ResNet，只训练残差部分。 ### 31. ViT: 当图像遇到 Transformer 2020.10 *An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale* > 作者：Alexey Dosovitskiy 等（Google Brain）；顾问 Jakob Uszkoreit（原 Transformer 论文作者之一） 将图片拆解为 16×16 像素的 Patch，像 token 一样处理，完整享受 Transformer 的算法/infra 生态优势。推动 CV 领域范式从 CNN 迁移到 Transformer，开创大规模视觉预训练范式。 ### 32. CLIP: 文生图的奠基石 2021.03 *Learning Transferable Visual Models From Natural Language Supervision* > 作者：Alec Radford；Jong Wook Kim；Ilya Sutskever 等（OpenAI） 首次成功将对比学习用于视觉和语言两个模态，利用互联网自然语言作为监督信号，学习通用多模态表示空间。直接激发文生图新范式，Stable Diffusion 利用其文本编码能力。 ↗ 与第 33 篇 Stable Diffusion 关联密切 ### 33. Stable Diffusion: 它来了 2021.12 *High-Resolution Image Synthesis with Latent Diffusion Models* > 作者：Robin Rombach；Patrick Esser 等（德国海德堡大学 CompVis 实验室，后创立 Stability AI） 在低维潜空间中训练扩散模型，大幅提高训练和推理效率；引入交叉注意力层，使用 CLIP 文本编码器，实现文字引导的图像生成控制能力，直接催生 AIGC 产业浪潮。 ### 34. DiT: 人们期待一个融合的未来 2022.12 *Scalable Diffusion Models with Transformers* > 作者：William Peebles（后任 OpenAI Sora 核心成员）；谢赛宁（后加入 Meta AI，ResNeXt/ViT 等作者） 用 Transformer 替换 Stable Diffusion 潜空间中的 U-Net，大幅提高模型扩展性，将生成模型架构统一到 Transformer 生态。第一作者 William Peebles 后成为 OpenAI Sora 核心研发成员。 ### 附录：配套视频学习资源（2 项） ### 35. Andrej Karpathy YouTube 频道 *YouTube: @AndrejKarpathy* > 作者：Andrej Karpathy 前 OpenAI 创始成员、特斯拉 AI 总监。其 YouTube 频道包含从零实现 GPT-2、神经网络和语言模型等高质量视频（「Let's build GPT from scratch」等），是理解本论文集中 Transformer、AlexNet 等论文的最佳视频资源。 ↗ PDF 原文强烈推荐，配合第 2、7 篇论文阅读 [打开资源](https://www.youtube.com/@AndrejKarpathy) ### 36. LoRA 作者 Edward Hu 官方讲解 *YouTube: LoRA 讲解视频* > 作者：Edward Hu LoRA 第一作者 Edward Hu 的官方 YouTube 讲解视频，对理解 LoRA 的直觉和技术细节极有帮助。PDF 原文特别推荐观看。 ↗ PDF 原文推荐，配合第 9 篇 LoRA 论文阅读 ## 第六部分　MLSysBook.AI：机器学习系统工程教材 **作者：** Vijay Janapa Reddi（哈佛大学教授）· GitHub: [harvard-edge/cs249r_book](https://github.com/harvard-edge/cs249r_book) · 22,500+ Stars **定位：**「如果 ML 开发者是探索新前沿的宇航员，那么 ML 系统工程师就是设计和建造引擎的火箭科学家。」全书完全开源，即将由 MIT Press 于 2026 年出版。含 SocratiQ 互动 AI 学习助手、配套实验和习题。 **结构：** Volume I（19 章，已完成，可用于课堂）覆盖单机 ML 系统全栈；Volume II（16 章，撰写中）扩展到集群规模、大规模部署和生产关注点。本部分将 19+4 章按主题分组整理，每章均标注基础理论或撰写中状态。 标识：📌 基础理论·长期有效 = 底层原理，3–5 年内不过时；🔄 持续更新 = 随领域进展迭代；🚧 撰写中 = Volume II，内容尚不稳定。 ### Volume I — Part 1: Systems Foundations（5 章） ### 1. Ch.1 Introduction 导论 *作者：Vijay Janapa Reddi（哈佛大学）· 持续更新 · 最新：2025年* > 📌 基础理论·长期有效 🔄 持续更新 建立 ML 系统的概念框架：AI 与 ML 的关系、ML 系统的三大核心组件（数据/算法/基础设施）、从符号 AI 到统计学习再到深度学习的历史演进。是全书的理论根基和分析工具集。 [打开资源](https://mlsysbook.ai/book/contents/core/introduction/introduction.html) ### 2. Ch.2 ML Systems ML 系统概述 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 定义 ML 系统作为集成计算系统的特征，分析云端、移动端、嵌入式（TinyML）三大部署范式的差异，阐释为什么 ML 系统不能采用统一方法，以及物理和硬件约束如何驱动差异化设计。 [打开资源](https://mlsysbook.ai/book/contents/core/ml_systems/ml_systems.html) ### 3. Ch.3 Deep Learning Primer 深度学习基础 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 从感知机到 Transformer 的模型架构系统梳理，各架构针对特定任务和数据类型的适用性分析，以及模型优化对资源受限部署（TinyML/MobileNets）的必要性。 [打开资源](https://mlsysbook.ai/book/contents/core/dl_primer/dl_primer.html) ### 4. Ch.4 AI Workflow AI 工作流 *持续更新* > 📌 基础理论·长期有效 覆盖 ML 项目从数据收集、模型训练、评估到部署和持续监控的完整生命周期。强调自动化、协作和持续改进在 MLOps 中的重要性。 [打开资源](https://mlsysbook.ai/book/contents/core/workflow/workflow.html) ### 5. Ch.5 Data Engineering 数据工程 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 覆盖数据质量管理、数据漂移检测、大规模数据集构建（如 Wake Vision）、数据中心 AI 范式、自监督学习、主动学习和课程学习等数据效率技术。 [打开资源](https://mlsysbook.ai/book/contents/core/data_engineering/data_engineering.html) ### Volume I — Part 2: Core Technologies（6 章） ### 6. Ch.6 AI Frameworks AI 框架 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 从 BLAS/LAPACK 到 TensorFlow、PyTorch、JAX 的框架演进；静态计算图 vs 动态计算图的架构权衡；内存管理与设备放置的基础概念；框架选型的工程判断原则。 [打开资源](https://mlsysbook.ai/book/contents/core/frameworks/frameworks.html) ### 7. Ch.7 AI Training AI 训练 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 大规模模型训练的核心技术：分布式训练（数据并行/模型并行/流水线并行）、混合精度训练、梯度优化算法、训练稳定性。与第五部分 ZeRO、MegaScale、Scaling Law 等论文直接对应。 [打开资源](https://mlsysbook.ai/book/contents/core/training/training.html) ### 8. Ch.8 Efficient AI 高效 AI *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 效率是 AI 系统的核心约束而非奢侈品。涵盖：量化（Quantization）、剪枝（Pruning）、知识蒸馏（与第五部分 LoRA、蒸馏论文关联）、NAS 神经架构搜索等效率技术。 [打开资源](https://mlsysbook.ai/book/contents/core/efficient_ai/efficient_ai.html) ### 9. Ch.9 Model Optimizations 模型优化 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 针对资源受限部署（嵌入式系统/边缘设备）的模型优化技术：从 MobileNets 到 TinyML 模型压缩的演进，硬件感知优化，轻量级与精简网络设计方法论。 [打开资源](https://mlsysbook.ai/book/contents/core/optimizations/optimizations.html) ### 10. Ch.10 AI Acceleration AI 加速 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 硬件加速器架构原理（从 CPU → GPU → TPU → 专用 AI 芯片）；AlexNet 证明 GPU 可将深度网络训练提速 10 倍，如何奠定 NVIDIA 在 AI 硬件的主导地位；内存带宽分析与计算/内存瓶颈。 [打开资源](https://mlsysbook.ai/book/contents/core/hw_acceleration/hw_acceleration.html) ### 11. Ch.11 Benchmarking AI 基准测试 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 ML 系统性能评估的方法论：MLPerf 等标准化评估框架、训练 vs 推理评估的差异、面向移动/边缘设备的特殊评估场景、生产监控方法论。防止被精心挑选的基准数据误导。 [打开资源](https://mlsysbook.ai/book/contents/core/benchmarking/benchmarking.html) ### Volume I — Part 3: Deployment（4 章） ### 12. Ch.12 On-Device Learning 端侧学习 *持续更新* > 🔄 持续更新 在资源受限设备上进行模型训练和更新的技术，包括联邦学习（Federated Learning）、持续学习（Continual Learning）、个性化 AI。为隐私保护和去中心化 ML 应用奠定基础。 [打开资源](https://mlsysbook.ai/book/contents/core/ondevice_learning/ondevice_learning.html) ### 13. Ch.13 Embedded AIOps 嵌入式 AI 运维 *持续更新* > 🔄 持续更新 将 ML 模型部署到微控制器和嵌入式系统（<1MB 内存、<1mW 功耗）的 MLOps 实践，覆盖 TinyML 场景下的模型生命周期管理、监控和维护。 [打开资源](https://mlsysbook.ai/book/contents/core/ops/ops.html) ### 14. Ch.14 Security & Privacy 安全与隐私 *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 ML 系统面临的安全威胁（对抗攻击、数据投毒、模型提取）和隐私保护技术（差分隐私、联邦学习、安全多方计算）。防御安全威胁的系统设计原则。 [打开资源](https://mlsysbook.ai/book/contents/core/security/security.html) ### 15. Ch.15 Responsible AI 负责任的 AI *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 将伦理原则转化为可测量系统属性的工程学科：偏见检测与缓解算法、隐私保护机制、公平性-透明度-隐私的权衡关系，以及组织治理结构的必要性。 [打开资源](https://mlsysbook.ai/book/contents/core/responsible_ai/responsible_ai.html) ### Volume I — Part 4: Sustainability & Part 5: Generative AI（4 章） ### 16. Ch.16 Robust AI 鲁棒 AI *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 应对硬件故障、对抗攻击和数据分布偏移的技术，使 ML 系统在真实世界条件下保持可靠性。技术鲁棒性（系统存活）和负责任鲁棒性（行为符合人类预期）的区别。 [打开资源](https://mlsysbook.ai/book/contents/core/robust_ai/robust_ai.html) ### 17. Ch.17 Sustainable AI 可持续 AI *持续更新* > 📌 基础理论·长期有效 🔄 持续更新 AI 训练和推理的能源消耗分析，绿色 AI 设计原则，碳足迹评估方法，以及在系统层面实现高效率与环境可持续性之间平衡的工程策略。 [打开资源](https://mlsysbook.ai/book/contents/core/sustainable_ai/sustainable_ai.html) ### 18. Ch.18 AI for Good AI 向善 *持续更新* > 🔄 持续更新 AI 在医疗、教育、环保、人道主义援助等社会影响领域的系统工程挑战，包括在资源受限条件下的部署策略，以及如何评估社会影响。 [打开资源](https://mlsysbook.ai/book/contents/core/ai_for_good/ai_for_good.html) ### 19. Ch.19 Generative AI 生成式 AI *持续更新* > 🔄 持续更新 从系统工程视角审视生成式 AI（LLM、Diffusion 等）的训练和部署挑战：大规模并行训练基础设施、推理优化（KV Cache、量化、投机采样）、内容安全和合规系统设计。 [打开资源](https://mlsysbook.ai/book/contents/core/generative_ai/generative_ai.html) ### Volume II — Scale, Fleet & Production（撰写中，4 大部分） ### 20. Part I: Foundations of Scale 规模基础 *Vol.II · 撰写中（2025年）* > 🚧 撰写中·内容变动中 LLM 和大规模系统的数学与算法需求：计算复杂度分析、并行化策略的理论基础、内存层级结构（Memory Hierarchies）、可靠性数学（Reliability Mathematics）。这些基础原理是长期稳定知识。 [打开资源](https://github.com/harvard-edge/cs249r_book) ### 21. Part II: Building the Fleet 构建集群 *Vol.II · 撰写中（2025年）* > 🚧 撰写中·内容变动中 从单台机器扩展到服务器集群：分布式系统设计、网络拓扑、存储架构、互联带宽优化。对应实践：第五部分 ZeRO 和 MegaScale 论文讲述的万卡集群工程实践。 [打开资源](https://github.com/harvard-edge/cs249r_book) ### 22. Part III: Deployment at Scale 大规模部署 *Vol.II · 撰写中（2025年）* > 🚧 撰写中·内容变动中 向数十亿用户提供 AI 服务：推理服务架构、负载均衡、延迟优化（SLO）、模型版本管理、A/B 测试、灰度发布。是工程师将模型推向生产的核心运维知识。 [打开资源](https://github.com/harvard-edge/cs249r_book) ### 23. Part IV: Production Concerns 生产问题 *Vol.II · 撰写中（2025年）* > 🚧 撰写中·内容变动中 安全、可靠、负责任地运营大规模 AI 系统：数据监控、模型漂移检测、安全防护、合规要求、组织治理结构。是 LLM 生产部署中不可忽视的系统层问题。 [打开资源](https://github.com/harvard-edge/cs249r_book) ### 推荐学习路径 - **入门（非技术向）：** Ch.1（导论）→ Ch.2（ML 系统）→ Ch.4（AI 工作流）→ Ch.15（负责任 AI） - **开发者（API/应用层）：** Ch.1–4 → Ch.6（AI 框架）→ Ch.11（基准测试）→ Ch.15（负责任 AI） - **系统工程师：** 全书顺序阅读，重点 Ch.7（训练）→ Ch.8（效率）→ Ch.10（加速）→ Ch.11（基准）→ Vol.II 与前面各部分的关联：本书 Ch.7/8/10 与第五部分论文（AlexNet、Transformer、ZeRO、MegaScale）形成理论-论文对照；Ch.15/16 与第四部分 Kaggle 白皮书（MCP 安全）互补；Ch.19 与第一部分 Anthropic 文档及第二/三部分视频课程形成实践-理论闭环。