基础概念
Python与PyTorch基础
掌握NumPy/PyTorch张量、自动梯度、神经网络搭建与训练脚本编写，是RL训练的地基
建议预留 120 分钟
学习目标
- 掌握PyTorch张量与自动求导
- 能搭建MLP并完成一次训练循环
关键概念
- PyTorch Tensor
- autograd
- Optimizer
- Dataset/DataLoader
为什么学习
- 学习者Python仅略懂且无系统学习，但后续所有训练脚本、数据处理均依赖此能力，需达到能独立写训练脚本水平
如何检验理解
- 能独立编写基于PyTorch的MLP网络训练脚本并解释梯度回传流程
基础概念
Linux与GPU训练环境配置
Linux命令、conda环境、CUDA配置，确保深度强化学习训练环境可运行
建议预留 90 分钟
学习目标
- 掌握conda环境管理与CUDA配置
- 能Debug GPU训练环境问题
关键概念
- conda
- CUDA/GPU
- Linux终端
- 虚拟环境
为什么学习
- Isaac Lab训练必须在Linux+GPU上运行，是硬性前置；学习者已有ROS2基础说明Linux有一定基础，但conda/CUDA仍需系统掌握
如何检验理解
- 能独立搭建conda虚拟环境并成功运行Isaac Lab训练脚本
基础概念
Git与代码工程管理
Git版本控制与项目结构化组织，支撑开源发布与可复现研究
建议预留 45 分钟
学习目标
- 掌握Git提交、分支与合并
- 能组织可复现的研究代码仓库
关键概念
- Git commit
- branch
- README
- requirements
为什么学习
- nice_to_have能力，但作为论文/演示成果产出需要代码可复现，掌握基本Git操作即可
如何检验理解
- 能建立并管理一个带README的公开GitHub代码仓库
基础概念
四足机器人运动学基础
四足机器人腿部机构、关节坐标、工作空间与正逆运动学基础
建议预留 60 分钟
学习目标
- 理解四足机器人腿部结构与坐标系
- 掌握单腿正逆运动学建模方法
关键概念
- 关节坐标系
- 正逆运动学
- 工作空间
- 腿部构型
为什么学习
- 理解四足构型是后续步态、动力学和运动设计的基础；学习者数学基础扎实，重点在建立物理直觉
如何检验理解
- 能独立建立单腿构型的正逆运动学方程并验证工作空间
核心技能
强化学习基础（MDP框架）
马尔可夫决策过程、状态/动作空间、奖励函数与策略/价值函数定义
建议预留 60 分钟
学习目标
- 掌握MDP五元组定义与策略/值函数
- 能将具体问题映射为MDP形式
关键概念
- MDP
- 状态空间
- 动作空间
- 奖励函数
- 策略梯度
为什么学习
- 一切RL训练与奖励设计的理论基础；学习者数学好但无RL系统学习，需理解MDP形式化定义而非仅记住概念
如何检验理解
- 能解释给定四足速度跟踪问题如何形式化为MDP（状态、动作、奖励的选取）
核心技能
策略梯度算法与PPO
策略梯度方法、PPO剪切目标、优势估计与训练稳定性
建议预留 90 分钟
学习目标
- 掌握策略梯度与PPO核心原理
- 理解GAE优势估计与剪切目标
关键概念
- 策略梯度
- PPO clip
- GAE
- 值函数
为什么学习
- PPO是本项目主训练算法，rsl_rl默认使用；需理解其原理才能Debug训练不收敛问题与调参
如何检验理解
- 能解释PPO剪切目标的数学意义并针对不收敛调整clip/学习率参数
核心技能
四足机器人动力学建模与SRBD
基于拉格朗日方程的四足动力学与单刚体简化模型，用于分层控制与物理理解
建议预留 90 分钟
学习目标
- 理解拉格朗日动力学建模思路
- 掌握SRBD单刚体简化的假设与方程
关键概念
- 质量矩阵
- 科氏力
- SRBD简化
- 接触力
为什么学习
- SRBD模型是MPC与分层控制中碰撞步态的物理基础；学习者数学扎实，需理解其简化假设与适用范围
如何检验理解
- 能写出四足SRBD动力学方程并解释重力/接触力项的来源
核心技能
步态基础（行走、小跑、奔跑）
四足机器人典型步态定义、相位表与步态周期参数
建议预留 45 分钟
学习目标
- 掌握典型四足步态的相位关系
- 理解步态周期与速度的映射逻辑
关键概念
- 步态相序
- trot/walk/gallop
- 占空比
- 步态周期
为什么学习
- 步态相位是速度跟踪中步频/步幅映射与CPG设计的基础，也是奖励中步态周期参数的来源
如何检验理解
- 能画出小跑步态的相位表并解释支撑/摆动相转换逻辑
基础概念
Isaac Lab环境搭建与配置
安装配置Isaac Lab模拟环境，导入四足机器人URDF，创建训练场景与物理引擎参数
建议预留 90 分钟
学习目标
- 安装并配置Isaac Lab
- 掌握URDF/MJCF模型导入与环境构建
关键概念
- Isaac Lab配置
- URDF导入
- 环境构建
- 物理参数
为什么学习
- Isaac Lab是本项目核心仿真栈，必须熟练配置；但学习者无此经验且环境搭建易踩坑，需从安装到跑通官方示例
如何检验理解
- 能独立新建Isaac Lab quadruped任务并成功运行官方训练示例
核心技能
rsl_rl训练框架
掌握rsl_rl配置、启动、日志监控、模型保存加载与分布式训练
建议预留 60 分钟
学习目标
- 掌握rsl_rl配置项与启动流程
- 能监控训练曲线并保存加载模型
关键概念
- rsl_rl配置
- 训练日志
- checkpoint
- 权重初始化
为什么学习
- rsl_rl是Isaac Lab官方标配训练框架，直接决定训练流程顺畅度；需达到能自由配置与Debug的水平
如何检验理解
- 能配置并启动一次完整训练，正确解读训练日志并保存/恢复模型
核心技能
速度跟踪奖励设计
设计线速度/角速度跟踪奖励项，平衡速度精度与能量效率的奖励分解
建议预留 60 分钟
学习目标
- 掌握速度跟踪奖励的分解与设计方法
- 能调试奖励权重平衡速度精度与能量效率
关键概念
- 速度跟踪奖励
- 动作平滑惩罚
- 能量效率
- 奖励权重
为什么学习
- 奖励设计是本项目核心创新点，直接影响速度跟踪效果；需要能自主设计并迭代奖励组合
如何检验理解
- 能针对速度跟踪问题自主设计多目标奖励组合并通过权重实验平衡各目标
核心技能
大脑层：高层速度跟踪策略
最上层决策模块，解读速度指令、选择步态并输出高层运动目标
建议预留 120 分钟
学习目标
- 掌握大脑层策略的状态/动作/奖励设计
- 能实现速度指令到运动目标的映射
关键概念
- 速度指令解读
- 步态选择
- 高层目标输出
- RL策略设计
为什么学习
- 这是三层次架构的核心创新层，直接承接速度跟踪目标；需理解RL策略在此层的输入输出设计并实现
如何检验理解
- 能实现大脑层策略，将速度指令映射为高层运动目标并完成一次训练迭代
核心技能
脊髓层：CPG节律发生与运动生成
底层节律生成模块，通过CPG产生关节周期信号，受上层调制，将运动目标转化为关节指令
建议预留 120 分钟
学习目标
- 掌握CPG网络数学模型与相位耦合
- 理解CPG与RL策略的融合方式
关键概念
- CPG振荡器
- 相位耦合
- 调制接口
- 节律生成
为什么学习
- CPG是脊髓层核心模块，理解其数学表达与相位耦合才能正确设计与上层接口；可与RL策略结合实现分层
如何检验理解
- 能实现CPG振荡器模型并解释其与上层运动目标的调制接口
补充知识
MPC模型预测控制基础
模型预测控制器用于足端力规划与轨迹跟踪的在线优化，理解Q/R权重与预测时域
建议预留 90 分钟
学习目标
- 理解MPC应用于四足运动的基本思想
- 掌握预测时域与Q/R权重调节原理
关键概念
- MPC
- Q/R权重
- 预测时域
- 质心轨迹优化
为什么学习
- MPC是传统分层控制的代表方法，作为与RL对比的基线/对照组支撑论文对比实验，理解原理即可
如何检验理解
- 能解释MPC在四足质心轨迹优化中的应用与Q/R权重影响，并用简例说明
补充知识
SAC与探索策略对比
对比SAC与PPO在不同度量下的表现，理解探索策略对训练质量的影响
建议预留 45 分钟
学习目标
- 理解SAC原理与探索策略
- 能对比SAC与PPO的适用场景
关键概念
- SAC
- 探索与利用
- 熵正则化
- off-policy
为什么学习
- SAC作为主流RL算法在论文对比实验中可作为支持材料；非本项目主线但用于丰富论文对比
如何检验理解
- 能简述SAC与PPO核心差异及其带来的训练行为区别
核心技能
姿态与稳定性奖励设计
设计姿态正则化、足底受力与机身高度奖励以确保运动稳定性
建议预留 60 分钟
学习目标
- 掌握姿态与稳定性奖励的设计方法
- 能分析各奖励项对运动稳定性的贡献
关键概念
- 姿态正则化
- 足底受力
- 机身高度
- 奖励平衡
为什么学习
- 稳定性奖励是鲁棒运动与姿态控制的关键，与速度跟踪奖励共同构成完整奖励体系
如何检验理解
- 能设计并验证姿态正则化与稳定性奖励，观察其对训练收敛的影响
核心技能
域随机化与鲁棒性训练
对抗性扰动、随机地形与物理参数随机化训练策略抵抗干扰
建议预留 90 分钟
学习目标
- 掌握域随机化参数配置方法
- 能设计对抗性扰动训练实验
关键概念
- domain randomization
- 对抗扰动
- 随机地形
- 鲁棒性指标
为什么学习
- 鲁棒性是本项目两大核心目标之一，域随机化是sim-to-real与抗扰的关键；需能自主配置随机化参数
如何检验理解
- 能配置域随机化参数并完成鲁棒性对比实验，量化抗干扰提升
核心技能
小脑层：本体感觉调控与接口设计
中层适应模块，根据传感反馈实时修正运动参数（姿态、着地点、高度），理解三层信息流接口
建议预留 120 分钟
学习目标
- 设计小脑层反馈调控算法
- 实现大脑-小脑-脊髓三层接口对接
关键概念
- 本体感觉反馈
- 误差修正
- 三层接口
- 信息流设计
为什么学习
- 小脑层是分层架构的调控核心，需设计三层之间的信息流与接口；同时是演示与论文的实验分支来源
如何检验理解
- 能实现小脑层反馈调控模块并与上下层对接，在仿真中验证调控效果
补充知识
Teacher-Student策略蒸馏
privileged teacher策略与student策略蒸馏机制，提升实际可部署策略性能
建议预留 90 分钟
学习目标
- 理解teacher-student训练框架
- 能说明privillege信息在蒸馏中的作用
关键概念
- teacher-student
- privilege
- distillation
- sim-to-real
为什么学习
- 策略蒸馏是提升鲁棒性与sim-to-real的有效高级方法，作为论文加分项掌握概念与基本实现思路即可
如何检验理解
- 能解释teacher-student蒸馏流程及privileged信息的价值
核心技能
Sim-to-Real迁移策略与系统辨识
策略从仿真迁移到真机的域随机化、系统辨识与校准方法
建议预留 90 分钟
学习目标
- 理解sim-to-real的主要方法与挑战
- 掌握域随机化在迁移中的作用机制
关键概念
- sim-to-real
- 系统辨识
- 域随机化
- 零样本迁移
为什么学习
- sim-to-real是RL应用于四足的核心难题，作为研究者需理解其方法体系；因本阶段以软仿真为主，理解为主而非真机部署
如何检验理解
- 能设计一套基于域随机化的sim-to-real验证方案并说明各环节作用
核心技能
分层控制架构整体集成（大脑-小脑-脊髓）
将三层模块组装为完整系统，定义时序尺度与信息流，完成仿真训练与验证
建议预留 150 分钟
学习目标
- 完成三层架构整体集成与仿真验证
- 产出一套可复现的分层控制代码
关键概念
- 时序尺度
- 信息流接口
- 模块集成
- 系统验证
为什么学习
- 这是项目的核心成果集成点，需将三层架构完整组装并在仿真中跑通速度跟踪，是演示视频与论文的主体
如何检验理解
- 能在Isaac Lab中完整运行三层架构，实现速度跟踪并产出训练收敛曲线与仿真回放
核心技能
性能评估与对比实验设计
速度跟踪误差、鲁棒性指标、ECT等实验评估方法；设计消融实验与对比实验
建议预留 90 分钟
学习目标
- 掌握速度跟踪与鲁棒性评估指标体系
- 能设计消融实验验证各层贡献
关键概念
- 速度跟踪误差
- ECT
- 消融实验
- 鲁棒性指标
为什么学习
- 评估与消融实验是论文/竞赛成果的证据核心，直接决定成果质量；需设计系统化的实验方案
如何检验理解
- 能设计并执行一套完整的评估实验，产出速度跟踪误差/鲁棒性/ECT的定量对比数据与图表
基础概念
实验记录与结果分析
系统记录训练曲线、消融实验与对比数据，从数据定位策略缺陷并迭代改进
建议预留 60 分钟
学习目标
- 掌握结构化实验记录方法
- 能从训练曲线定位策略缺陷并迭代
关键概念
- 实验记录
- 训练曲线分析
- 迭代改进
- 对比数据
为什么学习
- 复试与论文都看重系统化的实验结果与可复现的改进逻辑，需要形成记录与分析的工程习惯
如何检验理解
- 能完成一份结构化的实验记录文档，包含曲线、对比结论与迭代改进决策
核心技能
展示成果产出：演示视频与代码库
录制仿真演示视频，整理开源代码库与README，完成可展示成果
建议预留 90 分钟
学习目标
- 录制并剪辑仿真演示视频
- 整理可复现的开源代码库
关键概念
- 演示视频
- 开源代码库
- README
- 可复现性
为什么学习
- 最终成果交付物，直接用于复试展示与竞赛提交；需要画面清晰、对比完整、代码可复现
如何检验理解
- 产出完整演示视频（速度跟踪+鲁棒性对比）与可复现的GitHub代码库
补充知识
学术论文素材撰写
撰写方法描述、实验对比、结果分析，产出可投稿的论文素材
建议预留 90 分钟
学习目标
- 掌握学术论文方法与实验章节写作
- 能组织实验数据形成论文图表
关键概念
- 学术写作
- 实验对比
- 图表制作
- 论文结构
为什么学习
- 论文写作是复试加分与发表的关键路径，但受时间限制以产出投稿素材为目标而非完整发表流程
如何检验理解
- 能完成一篇包含方法、实验、对比与结论的论文初稿素材
前置关系与知识联系
- 强化学习基础（MDP框架） → 速度跟踪奖励设计
- 强化学习基础（MDP框架） → 大脑层：高层速度跟踪策略
- 步态基础（行走、小跑、奔跑） → 大脑层：高层速度跟踪策略
- 小脑层：本体感觉调控与接口设计 → 分层控制架构整体集成（大脑-小脑-脊髓）
- 脊髓层：CPG节律发生与运动生成 → 分层控制架构整体集成（大脑-小脑-脊髓）
- 域随机化与鲁棒性训练 → Sim-to-Real迁移策略与系统辨识
- 强化学习基础（MDP框架） → 策略梯度算法与PPO
- 策略梯度算法与PPO → 速度跟踪奖励设计
- 速度跟踪奖励设计 → 姿态与稳定性奖励设计
- 姿态与稳定性奖励设计 → 域随机化与鲁棒性训练
- 策略梯度算法与PPO → Teacher-Student策略蒸馏
- 分层控制架构整体集成（大脑-小脑-脊髓） → 学术论文素材撰写
- 四足机器人运动学基础 → 大脑层：高层速度跟踪策略
- 策略梯度算法与PPO → SAC与探索策略对比
- 分层控制架构整体集成（大脑-小脑-脊髓） → 性能评估与对比实验设计
- 步态基础（行走、小跑、奔跑） → 脊髓层：CPG节律发生与运动生成
- 四足机器人运动学基础 → 步态基础（行走、小跑、奔跑）
- 性能评估与对比实验设计 → 学术论文素材撰写
- 性能评估与对比实验设计 → 实验记录与结果分析
- Isaac Lab环境搭建与配置 → Sim-to-Real迁移策略与系统辨识
- Python与PyTorch基础 → rsl_rl训练框架
- 策略梯度算法与PPO → 域随机化与鲁棒性训练
- 四足机器人动力学建模与SRBD → MPC模型预测控制基础
- 域随机化与鲁棒性训练 → 性能评估与对比实验设计
- 大脑层：高层速度跟踪策略 → 分层控制架构整体集成（大脑-小脑-脊髓）
- 四足机器人运动学基础 → 四足机器人动力学建模与SRBD
- 强化学习基础（MDP框架） → 脊髓层：CPG节律发生与运动生成
- 大脑层：高层速度跟踪策略 → 小脑层：本体感觉调控与接口设计
- 实验记录与结果分析 → 展示成果产出：演示视频与代码库
- 四足机器人动力学建模与SRBD → 小脑层：本体感觉调控与接口设计
- 域随机化与鲁棒性训练 → Teacher-Student策略蒸馏
- 策略梯度算法与PPO → rsl_rl训练框架
- 分层控制架构整体集成（大脑-小脑-脊髓） → 展示成果产出：演示视频与代码库
- Python与PyTorch基础 → 策略梯度算法与PPO
- Isaac Lab环境搭建与配置 → rsl_rl训练框架
- Linux与GPU训练环境配置 → Isaac Lab环境搭建与配置
- 策略梯度算法与PPO → 大脑层：高层速度跟踪策略
结合互动地图查看具体关系类型，再选择下一步。