你是否曾好奇——ChatGPT、Sora这些强大AI模型,到底是怎么“学会思考”的?不是调用API,而是真正从最基础的加减乘除、链式求导开始,一行行代码亲手搭建出能学习、能预测的神经网络?《Neural Networks: Zero to Hero》正是这样一门“反套路”课程:它不教你如何快速微调大模型,而是带你退回起点,用Python从零实现自动微分引擎(micrograd)、字符级语言模型(makemore),最终直通Transformer核心逻辑。它解决的,是中文学习者长期面临的痛点——知道怎么用框架,却不懂背后为何如此;看得懂数学公式,却写不出可运行的反向传播。
核心功能
- 手写自动微分引擎 micrograd:不依赖PyTorch/TensorFlow,仅用200行纯Python实现支持标量计算的autograd系统,让你亲眼看见梯度如何沿计算图逐层回传
- 从零构建语言模型:从最简单的bigram统计模型出发,逐步升级为带嵌入层、线性层和Softmax的可训练神经语言模型,理解“预测下一个字符”的本质
- 全程Jupyter交互式教学:所有代码以Notebook形式组织,边看视频边运行、修改、调试,支持实时可视化损失曲线与采样输出
- 紧扣工程实践细节:深入讲解torch.Tensor的内存布局、in-place操作陷阱、梯度清零时机等真实开发中极易踩坑的关键点
- 渐进式知识架构:6讲内容层层递进——从标量反向传播 → 向量张量扩展 → 损失函数设计 → 优化器实现 → 模型评估与采样 → Transformer雏形铺垫
- 配套实战练习体系:每讲视频描述区均附带思考题与编码挑战(如“手动推导并验证某节点梯度”“修改采样温度观察生成效果”),学完即练
适合哪些人用
这门课不是给AI工程师的“速成班”,而是为以下三类中文学习者量身打造的“认知重装”工具:
✅ 转行入门者:有Python基础但没系统学过深度学习,厌倦了“import torch, model = CNN()”式的黑箱教学;
✅ 在校学生:学过《机器学习》《概率论》却难以将数学符号映射到代码逻辑,急需一座可触摸的桥梁;
✅ 资深开发者:熟练使用框架但对底层计算图、动态图机制、CUDA内核调度等原理存疑,渴望回归第一性原理重建直觉。
快速上手
无需复杂安装!只需三步即可开始:
1️⃣ 安装Jupyter:终端执行 pip install jupyter(推荐使用conda环境隔离);
2️⃣ 克隆项目:运行 git clone https://github.com/karpathy/nn-zero-to-hero.git;
3️⃣ 启动学习:进入项目目录,执行 jupyter notebook,打开 lectures/micrograd/micrograd.ipynb 即可跟随第一讲动手编码。建议搭配YouTube中文字幕版视频(B站已有高质量搬运与翻译),边看边敲——记住:暂停、改参数、看输出,才是掌握的关键。
项目信息
Neural Networks: Zero to Hero
编程语言:Jupyter Notebook(Python)| Star 数:22307|开源协议:MIT|GitHub 项目地址
这不是一份文档,而是一把解剖AI的手术刀——当你亲手写出第一个正确反向传播的神经元,那种“原来如此”的震撼,远胜千次调用现成模型。


