深度学习：从 d2l 到自己的数据

工具与张量

Jupyter/Colab 工作流与 d2l PyTorch 绑定

Jupyter/Colab 的单元执行模型、变量状态与重启语义、环境与 GPU 检查。重要：d2l 中文版默认显示 MXNet，必须切到 PyTorch tab，或直接用 d2l-zh-pytorch-colab 的笔记本（PyTorch 版没有独立 HTML 站点，只有 PDF 与 Colab）。

建议预留 60 分钟

学习目标

• 能在 Colab 里打开并运行 d2l 的 PyTorch 笔记本
• 能解释「重启运行时并全部运行」为什么是可复现性的前提

关键概念

• Jupyter 单元状态
• Colab 运行环境
• GPU 检查
• d2l PyTorch 绑定

为什么学习

• 这是整条 d2l 主线的工作台；不先解决「代码默认是 MXNet」这个问题，后面每节都会踩一次。

如何检验理解

• 在 Colab 跑通一个 d2l 章节的 PyTorch 笔记本并打印 torch.cuda.is_available()
• 说明你如何确保自己看的不是 MXNet 版代码

工具与张量

Tensor、dtype 与 device

Tensor 与 ndarray 的关系（共享内存、互转）、dtype 选择、device（CPU/GPU）与 .to(device)、以及张量的不可变形状语义。

建议预留 90 分钟

学习目标

• 能说明 Tensor 与 NumPy 数组的关系与转换代价
• 能按需求选择 dtype 并把张量放到指定 device

关键概念

• Tensor 与 ndarray
• dtype
• device 与 .to()
• CPU/GPU 内存

为什么学习

• Tensor 是深度学习里的「基本变量类型」，dtype 与 device 错了会直接抛错或静默降级。

如何检验理解

• 把一个 NumPy 数组转成 Tensor 再转回去并验证共享内存
• 写出一个设备不匹配报错的最小例子并修复

工具与张量

张量创建、形状与索引

张量创建（tensor/zeros/ones/randn/arange）、shape/numel、reshape/view、索引与切片，以及原地操作（下划线后缀）的陷阱。

建议预留 90 分钟

学习目标

• 能完成常见的张量形状变换并预判结果 shape
• 能解释原地操作为什么会破坏 autograd

关键概念

• 张量创建
• reshape/view
• 索引与切片
• 原地操作陷阱

为什么学习

• 形状与视图语义是后面一切模型代码的基础；原地操作会在 autograd 中直接报错。

如何检验理解

• 对同一张量做 5 种形状变换并逐个打印 shape
• 复现一个原地操作导致的 autograd 报错

工具与张量

转置、维度变换与 permute

转置/permute、squeeze/unsqueeze、cat/stack、以及维度的内存布局（contiguous）与 permute 后需要 contiguous 的场合。

建议预留 90 分钟

学习目标

• 能正确使用 permute 调整批量维度顺序
• 能解释 view 与 permute 冲突时的解决办法

关键概念

• permute/transpose
• squeeze/unsqueeze
• cat/stack
• contiguous

为什么学习

• 维度变换在 CNN 与注意力实现中密集出现，permute 后不 contiguous 是常见报错源。

如何检验理解

• 实现一个把 (N,H,W,C) 转成 (N,C,H,W) 的函数并说明内存含义
• 解释并修复 view 在 permute 之后报错的问题

工具与张量

张量运算、广播与 dim 归约

逐元素运算、矩阵乘法（mm/mv/matmul/bmm）、broadcasting 规则、归约与 axis（dim）语义及 keepdim。

建议预留 120 分钟

学习目标

• 能正确选择 mm/matmul/bmm 并解释差别
• 能在指定 dim 上归约并保持广播兼容

关键概念

• 元素运算与广播
• mm/bmm/matmul
• dim 与 keepdim
• 归约

为什么学习

• 这部分与 NumPy 同源但 API 与默认行为有差异（dim 而非 axis），需要重新对一遍。

如何检验理解

• 手写一次批量矩阵乘法并与 bmm 结果对比
• 说明 torch 的 dim 与 NumPy 的 axis 的对应关系

预备知识

引言：机器学习的关键组件

机器学习的关键组件（数据、模型、目标函数、优化）、监督/无监督/强化/自监督的任务分类、深度学习的历史与特点。d2l 第 1 章。

建议预留 90 分钟

学习目标

• 能说出机器学习的四个关键组件及各自作用
• 能判断一个新问题属于哪类学习任务

关键概念

• 四大组件
• 任务分类
• 训练与推理
• 归纳偏置

为什么学习

• 先建立术语与全局地图，后面每一章才有落点。

如何检验理解

• 用自己的话复述「数据-模型-目标函数-优化」四件套并用一个例子贯穿
• 给 3 个任务分类并说明依据

预备知识

数据操作与预处理

张量数据操作（对应 NumPy 部分）、pandas 数据预处理（读入、缺失值、类别列转数值）、以及查阅官方文档的方法。d2l 2.1/2.2/2.7。

建议预留 90 分钟

学习目标

• 能按 d2l 的方式读入并预处理一份 CSV
• 能定位官方文档中某个 API 的权威说明

关键概念

• 数据操作 API
• pandas 预处理
• 缺失值填充
• 类别编码

为什么学习

• d2l 的数据预处理写法与 Pandas 课程略有差异，需要按书里的 API 重新落地一遍。

如何检验理解

• 按 d2l 2.2 的流程处理一份含缺失值与类别列的表格数据
• 写下一个你查文档解决问题的实例

预备知识

线性代数

标量/向量/矩阵/张量、矩阵运算、范数、特征值与奇异值分解的直觉，以及为什么深度学习需要这些。d2l 2.3。

建议预留 150 分钟

学习目标

• 能在张量记号下描述一次模型前向计算
• 能解释范数在正则化与损失中的作用

关键概念

• 张量阶与形状
• 矩阵乘法
• 范数
• 特征值/SVD 直觉

为什么学习

• 线性代数是理解模型表示的数学语言；不需要证明，需要能读会算。

如何检验理解

• 手算一个小矩阵的乘法与向量范数并用代码验证
• 解释为什么权重衰减相当于对范数加惩罚

预备知识

微积分与自动微分

导数与偏导、链式法则、梯度、以及 PyTorch 的自动微分与反向传播。d2l 2.4/2.5，是全书最重要的数学章节。

建议预留 180 分钟

学习目标

• 能对一个复合函数手推梯度并用 autograd 验证
• 能解释 backward 在计算图上做了什么

关键概念

• 导数与偏导
• 链式法则
• 梯度
• 计算图与自动微分

为什么学习

• 没有梯度就没有训练；这是从「调用 API」进入「理解训练」的分界线。

如何检验理解

• 手推 3 个复合函数的梯度并与 autograd 结果逐项对比
• 画出一次前向的计算图并标出梯度回传路径

预备知识

概率与信息论基础

随机变量、概率分布、期望与方差、贝叶斯定理、最大似然与信息论基础。d2l 2.6。

建议预留 120 分钟

学习目标

• 能说明交叉熵损失从哪里来
• 能用最大似然解释一个损失函数的选择

关键概念

• 概率分布
• 期望与方差
• 贝叶斯定理
• 最大似然
• 交叉熵

为什么学习

• 损失函数（交叉熵、MSE）与生成模型都以概率为语言。

如何检验理解

• 推导二分类交叉熵并说明与最大似然的关系
• 用一个小例子计算期望与方差并与代码结果对照

基础与训练回路

线性回归：从零实现

线性回归模型、平方损失、解析解与随机梯度下降，从零实现完整训练循环（参数初始化、前向、损失、反向、更新）。d2l 3.1/3.2。

建议预留 150 分钟

学习目标

• 能从零写一个可收敛的线性回归训练循环
• 能解释学习率对收敛的影响

关键概念

• 线性模型
• 平方损失
• 小批量 SGD
• 手写训练循环

为什么学习

• 第一个可训练模型；从零实现能暴露「训练循环里到底发生了什么」。

如何检验理解

• 不用高级 API 手写线性回归并画出损失下降曲线
• 做一组学习率对比实验并解释发散的原因

基础与训练回路

线性回归：简洁实现

用 nn.Linear、MSELoss、SGD 与 DataLoader 重写上一节，理解框架替你封装了什么。d2l 3.3。

建议预留 90 分钟

学习目标

• 能用框架 API 重写从零版本并逐行对照
• 能说出 DataLoader 的三个关键参数

关键概念

• nn.Module
• 损失与优化器 API
• DataLoader
• 训练循环固化

为什么学习

• 对照实现是理解框架抽象价值的最快途径。

如何检验理解

• 提交从零版与简洁版的代码对照表
• 解释 batch_size 对训练速度与稳定性的影响

基础与训练回路

softmax 回归与图像分类

softmax 回归、交叉熵、分类问题的评估（准确率）、图像分类数据集（Fashion-MNIST）的加载与可视化。d2l 3.4/3.5/3.6/3.7。

建议预留 180 分钟

学习目标

• 能解释 softmax 与交叉熵的数值稳定写法
• 能完成一个多分类任务的端到端训练与评估

关键概念

• softmax
• 交叉熵损失
• 分类准确率
• 图像数据集加载

为什么学习

• 第一个真正的分类任务，也是后面所有视觉任务的模板。

如何检验理解

• 在 Fashion-MNIST 上训练 softmax 回归并报告准确率
• 说明为什么不在输出层后再手动套一层 log

多层感知机

多层感知机与激活函数

从线性到非线性、隐藏层与激活函数（ReLU/sigmoid/tanh）、从零实现 MLP。d2l 4.1/4.2/4.3。

建议预留 150 分钟

学习目标

• 能解释为什么去掉激活函数多层网络退化为线性模型
• 能估算一个 MLP 的参数量

关键概念

• 隐藏层
• 激活函数
• 万能近似直觉
• 参数量估算

为什么学习

• 非线性是深度网络能拟合复杂函数的根本原因。

如何检验理解

• 对比有/无激活函数的网络在同一任务上的表现
• 手算并验证一个小 MLP 的参数量

多层感知机

模型选择、欠拟合与过拟合

训练误差与泛化误差、欠拟合与过拟合、验证集与 K 折交叉验证、模型选择流程。d2l 4.4。

建议预留 120 分钟

学习目标

• 能从训练/验证曲线判断欠拟合或过拟合
• 能设计一个合理的模型选择流程

关键概念

• 训练/验证/测试集
• 欠拟合与过拟合
• K 折交叉验证
• 模型选择

为什么学习

• 不会判断过拟合就无法做任何模型决策；这是实验设计的地基。

如何检验理解

• 构造一组过拟合曲线并给出三种缓解手段
• 说明为什么不能用测试集调超参数

多层感知机

权重衰减与 Dropout

L2 正则化与权重衰减、Dropout 的原理与训练/推理差异。d2l 4.5/4.6。

建议预留 120 分钟

学习目标

• 能解释权重衰减如何抑制过拟合
• 能说明 Dropout 在推理阶段的行为

关键概念

• L2 正则化
• 权重衰减
• Dropout
• train/eval 模式

为什么学习

• 正则化是控制过拟合的第一手段，Dropout 的 train/eval 差异是常踩的坑。

如何检验理解

• 对比加/不加权重衰减的验证曲线
• 演示忘记 model.eval() 导致的推理结果异常

多层感知机

前向/反向传播、初始化与数值稳定性

前向传播与反向传播的计算图视角、参数初始化（Xavier/He）、数值稳定性（梯度消失/爆炸）与梯度裁剪。d2l 4.7/4.8。

建议预留 150 分钟

学习目标

• 能解释 Xavier/He 初始化的推导动机
• 能诊断梯度消失或爆炸并给出缓解方案

关键概念

• 计算图
• 反向传播链式求导
• 参数初始化
• 梯度消失与爆炸

为什么学习

• 训练不收敛的绝大多数原因可归到初始化与数值稳定性上。

如何检验理解

• 逐层打印梯度范数并诊断一次梯度消失
• 对比两种初始化对收敛速度的影响

多层感知机

实战：Kaggle 房价预测

把前面所学用到一次真实竞赛：特征工程、对数均方根误差、K 折验证与提交。d2l 4.10。

建议预留 180 分钟

学习目标

• 能独立完成一次竞赛流程并提交结果
• 能说明离线验证与排行榜差异的原因

关键概念

• 特征工程
• K 折验证
• 对数误差
• 提交与验证

为什么学习

• 第一次完整跑通「数据到提交」的闭环，是后续所有实战的模板。

如何检验理解

• 完成房价预测任务并记录 K 折验证分数
• 写一份包含特征处理决策的简要报告

卷积神经网络

从全连接到卷积

从全连接层到卷积、平移不变性与局部性、卷积核与特征图、填充与步幅、多输入多输出通道、汇聚层。d2l 6.1-6.5。

建议预留 180 分钟

学习目标

• 能计算输出特征图尺寸与感受野
• 能解释卷积相对全连接在图像上的优势

关键概念

• 卷积与局部性
• 填充与步幅
• 通道
• 汇聚层

为什么学习

• 卷积是视觉任务的归纳偏置来源；参数量与感受野的计算是后面所有架构的基础。

如何检验理解

• 手算并验证一组卷积的输出尺寸公式
• 实现一个边缘检测卷积核并可视化特征图

卷积神经网络

LeNet 与经典 CNN

LeNet、卷积网络的经典训练流程，以及图像分类上的第一个完整 CNN 实现。d2l 6.6。

建议预留 120 分钟

学习目标

• 能默写 LeNet 的结构并解释每层作用
• 能在数据集上复现 LeNet 训练

关键概念

• LeNet 结构
• 特征提取+分类头
• 经典训练流程

为什么学习

• LeNet 是「卷积+汇聚+全连接」的最小完整形态。

如何检验理解

• 手写 LeNet 并训练到合理准确率
• 对比同参数量 MLP 的表现差距

现代卷积网络

AlexNet、VGG、NiN 与 GoogLeNet

AlexNet/VGG（深度与重复块）、NiN（1x1 卷积）、GoogLeNet（Inception 多分支），以及网络设计思路的演进。d2l 7.1-7.4。

建议预留 150 分钟

学习目标

• 能说出 VGG/NiN/GoogLeNet 各自解决什么问题
• 能解释 1x1 卷积的通道变换作用

关键概念

• 深度与参数
• 1x1 卷积
• Inception 多分支
• 网络设计演进

为什么学习

• 理解「设计动机」而非记住结构，才能读懂后续论文。

如何检验理解

• 用代码实现一个 VGG 块并统计参数量
• 对比三种架构在同一任务上的精度与成本

现代卷积网络

批量规范化、ResNet 与 DenseNet

批量规范化的原理、训练/推理差异、残差连接与 ResNet、DenseNet 的密集连接。d2l 7.5/7.6/7.7。

建议预留 180 分钟

学习目标

• 能解释残差连接为何缓解退化问题
• 能说明 BatchNorm 与 batch size 的耦合关系

关键概念

• BatchNorm 训练/推理差异
• 残差连接
• 梯度高速公路
• DenseNet

为什么学习

• BatchNorm 与残差连接是让「深网络可训练」的两大关键发明，必须理解而非记 API。

如何检验理解

• 实现一个残差块并对比有无残差时的深层训练效果
• 说明 BatchNorm 在小 batch 下失效的原因

优化与性能

梯度下降、小批量 SGD 与动量法

优化与深度学习的关系、凸性直觉、梯度下降与小批量 SGD、动量法的物理直觉。d2l 11.1-11.6。

建议预留 150 分钟

学习目标

• 能解释小批量为什么既能加速又带来正则效果
• 能说明动量法如何改善病态曲率下的收敛

关键概念

• 凸性直觉
• 小批量 SGD
• 动量法
• 噪声与泛化

为什么学习

• 优化器选择直接影响收敛速度与最终精度；动量是所有自适应方法的前置。

如何检验理解

• 对比不同 batch size 的收敛曲线
• 在一个人造病态函数上对比 SGD 与动量法

优化与性能

AdaGrad 到 AdamW

AdaGrad、RMSProp、Adadelta、Adam、AdamW 的自适应学习率机制、偏差修正、权重衰减解耦与选择建议。d2l 11.7-11.10。

建议预留 150 分钟

学习目标

• 能解释自适应方法与动量的关系
• 能说明 Adam 与 AdamW 的实质差别

关键概念

• AdaGrad/RMSProp
• Adam 偏差修正
• AdamW
• 权重衰减解耦

为什么学习

• Adam 是默认选择，但 AdamW 与权重衰减的差别是实际训练里的关键细节。

如何检验理解

• 在同一任务上对比 SGD/Adam/AdamW 的收敛与泛化
• 解释偏差修正解决了什么问题

优化与性能

学习率调度与超参数策略

学习率调度（分段、余弦、warmup）、早停与超参数搜索策略。d2l 11.11。

建议预留 120 分钟

学习目标

• 能设计一条带 warmup 的余弦退火曲线
• 能用早停避免无效训练

关键概念

• 学习率调度
• warmup
• 早停
• 超参数搜索

为什么学习

• 学习率是实践中最重要的超参数，调度策略直接决定能否收敛到好的解。

如何检验理解

• 实现并画出三种学习率调度曲线
• 完成一次小规模超参数搜索并记录结论

可视化与迁移

图像增广与微调

图像增广手段与适用场景、微调（fine-tune）流程、特征提取与冻结层的选择、热狗识别实战。d2l 13.1/13.2。

建议预留 180 分钟

学习目标

• 能针对数据规模选择增广与微调策略
• 能完成一次预训练模型微调并评估

关键概念

• 图像增广
• 微调流程
• 冻结与解冻
• 小数据集策略

为什么学习

• 微调是工程中最高频的「用小数据拿到好效果」手段，也是进入自己数据的入口。

如何检验理解

• 在小数据集上完成微调并对比从零训练的效果
• 说明什么情况下该冻结主干

计算机视觉

目标检测与语义分割（含 IoU/NMS/FCN）

目标检测的边界框表示、锚框、IoU、NMS、SSD 与 R-CNN 系列思路；语义分割的转置卷积与全卷积网络。d2l 13.3-13.12（选读，按需深入）。

建议预留 210 分钟

学习目标

• 能解释 IoU 与 NMS 在检测中的作用
• 能说明语义分割与实例分割的任务差异

关键概念

• 边界框与锚框
• IoU 与 NMS
• SSD/R-CNN
• 转置卷积与 FCN

为什么学习

• 这是与你的医学图像分割工作最直接相关的一章，需要建立检测/分割两大任务的基本词汇。

如何检验理解

• 实现 IoU 与 NMS 并在一组人造框上验证
• 画出 FCN 的上采样路径并说明每一步形状

序列与注意力

序列模型、RNN 与 BPTT

序列模型与统计工具、文本预处理、语言模型与数据集、RNN 从零实现、通过时间反向传播（BPTT）与梯度裁剪。d2l 8 章。

建议预留 210 分钟

学习目标

• 能实现并按时间展开一个 RNN
• 能解释 BPTT 的梯度消失问题与梯度裁剪的作用

关键概念

• 序列建模
• 文本预处理与词元化
• 语言模型
• RNN 与 BPTT

为什么学习

• 序列建模是 NLP 与一切时序任务的入口；BPTT 的梯度问题解释了后续门控结构的动机。

如何检验理解

• 从零实现 RNN 字符级语言模型并采样文本
• 画出 BPTT 的展开图并标出梯度路径

序列与注意力

GRU、LSTM 与 seq2seq

门控循环单元（GRU）、长短期记忆（LSTM）、深度与双向 RNN、机器翻译数据集、编码器-解码器、seq2seq 与束搜索。d2l 9 章。

建议预留 210 分钟

学习目标

• 能解释 LSTM 三个门各自解决什么问题
• 能实现一个最小 seq2seq 并说明束搜索的作用

关键概念

• GRU/LSTM 门控
• 双向与深层 RNN
• 编码器-解码器
• seq2seq 与束搜索

为什么学习

• 门控机制与编码器-解码器是理解 Transformer 的直接前置。

如何检验理解

• 对比 RNN/GRU/LSTM 在同一任务上的收敛与效果
• 实现一个编码器-解码器翻译小实验

注意力机制

注意力机制与 Transformer

注意力提示与查询-键-值、Nadaraya-Watson 核回归、注意力评分函数、Bahdanau 注意力、多头注意力、自注意力与位置编码、Transformer 架构。d2l 10 章。

建议预留 240 分钟

学习目标

• 能从零实现缩放点积注意力与多头注意力
• 能解释位置编码为什么必要以及自注意力的复杂度

关键概念

• QKV 与注意力权重
• 评分函数与缩放
• 多头注意力
• 位置编码
• Transformer

为什么学习

• 这是全书的高峰，也是当代大模型的直接祖先；不理解 QKV 就无法理解后面一切。

如何检验理解

• 不用高级 API 手写多头注意力并验证输出形状
• 说明自注意力的 O(n²) 复杂度及其后果

迁移与收尾

词嵌入、BERT 与下游微调

词嵌入（word2vec/GloVe/子词）、BERT 的预训练任务与数据集、以及情感分析与自然语言推断上的微调路径。d2l 14/15 章（按需深入）。

建议预留 210 分钟

学习目标

• 能解释掩码语言模型与下一句预测的作用
• 能完成一次 BERT 类模型的微调并评估

关键概念

• 词嵌入
• 子词与分词器
• BERT 预训练任务
• 下游微调

为什么学习

• 预训练+微调是当代 NLP 的范式；建立词汇即可，不必手写全部预训练流程。

如何检验理解

• 用预训练模型完成一次文本分类微调并报告指标
• 说明词表与分词对新词/专业词的影响

迁移与收尾

迁移到自己的数据集：完整闭环

把 d2l 的模型训练到自己的数据上：数据格式转换、预处理与增强、标签对齐、指标定义、错误分析。这是本图的迁移层目标。

建议预留 300 分钟

学习目标

• 能为自己的数据集实现 Dataset 与 DataLoader
• 能完成训练、验证、指标计算与错误分析闭环

关键概念

• 自定义 Dataset
• 数据格式转换
• 指标实现
• 错误分析

为什么学习

• 本图按「独立实现+拓展」验收，需要一个真实数据集的完整闭环才能证明能力。

如何检验理解

• 在自己的数据集上训练一个模型并交付评测脚本与错误分析
• 说明你如何处理类别不平衡或标注噪声

迁移与收尾

评估严谨性与消融实验设计

评估的严谨性：划分与泄漏检查、随机种子与重复实验、置信区间与显著性、消融实验设计与结果表。这是本图的 C 档能力。

建议预留 240 分钟

学习目标

• 能设计一次避免泄漏的评估协议
• 能为一个结论设计消融并判断其是否可信

关键概念

• 数据泄漏检查
• 随机种子与重复实验
• 显著性检验
• 消融实验设计

为什么学习

• C 档要求「读论文并复现」，而论文与玩具代码的差别就在评估严谨性与消融设计。

如何检验理解

• 对自己的模型做一次多种子重复实验并报告均值±标准差
• 对一篇论文的核心结论设计一个最小消融复现方案

迁移与收尾

论文阅读与复现方法论

读论文的方法：先图表后正文、复现清单、代码与论文不一致时的处理、把 d2l 词汇映射到论文术语。这是本图的迁移层收口。

建议预留 180 分钟

学习目标

• 能用结构化方法读完一篇论文并抽取可复现要点
• 能定位论文与开源实现不一致的关键处

关键概念

• 论文阅读顺序
• 复现清单
• 术语映射
• 差异定位

为什么学习

• C 档「读论文复现」需要一套可操作的方法论，而非泛泛而读。

如何检验理解

• 选一篇论文输出一页复现清单（数据/模型/训练/指标四栏）
• 指出该论文与任一开源实现的一处差异并分析原因

前置关系与知识联系

• Jupyter/Colab 工作流与 d2l PyTorch 绑定 → Tensor、dtype 与 device
• Tensor、dtype 与 device → 张量创建、形状与索引
• 张量创建、形状与索引 → 转置、维度变换与 permute
• 转置、维度变换与 permute → 张量运算、广播与 dim 归约
• 引言：机器学习的关键组件 → 数据操作与预处理
• 数据操作与预处理 → 线性代数
• 线性代数 → 微积分与自动微分
• 微积分与自动微分 → 概率与信息论基础
• 概率与信息论基础 → 线性回归：从零实现
• 张量运算、广播与 dim 归约 → 线性回归：从零实现
• 线性回归：从零实现 → 线性回归：简洁实现
• 线性回归：简洁实现 → softmax 回归与图像分类
• softmax 回归与图像分类 → 多层感知机与激活函数
• 多层感知机与激活函数 → 模型选择、欠拟合与过拟合
• 模型选择、欠拟合与过拟合 → 权重衰减与 Dropout
• 权重衰减与 Dropout → 前向/反向传播、初始化与数值稳定性
• 前向/反向传播、初始化与数值稳定性 → 实战：Kaggle 房价预测
• 实战：Kaggle 房价预测 → 从全连接到卷积
• 从全连接到卷积 → LeNet 与经典 CNN
• LeNet 与经典 CNN → AlexNet、VGG、NiN 与 GoogLeNet
• AlexNet、VGG、NiN 与 GoogLeNet → 批量规范化、ResNet 与 DenseNet
• 权重衰减与 Dropout → 梯度下降、小批量 SGD 与动量法
• 梯度下降、小批量 SGD 与动量法 → AdaGrad 到 AdamW
• AdaGrad 到 AdamW → 学习率调度与超参数策略
• 批量规范化、ResNet 与 DenseNet → 图像增广与微调
• 图像增广与微调 → 目标检测与语义分割（含 IoU/NMS/FCN）
• 前向/反向传播、初始化与数值稳定性 → 序列模型、RNN 与 BPTT
• 序列模型、RNN 与 BPTT → GRU、LSTM 与 seq2seq
• GRU、LSTM 与 seq2seq → 注意力机制与 Transformer
• 注意力机制与 Transformer → 词嵌入、BERT 与下游微调
• 目标检测与语义分割（含 IoU/NMS/FCN） → 迁移到自己的数据集：完整闭环
• 图像增广与微调 → 迁移到自己的数据集：完整闭环
• 迁移到自己的数据集：完整闭环 → 评估严谨性与消融实验设计
• 评估严谨性与消融实验设计 → 论文阅读与复现方法论

结合互动地图查看具体关系类型，再选择下一步。