Autograd on Kerroの奇妙冒険https://blog.kerro.cn/tags/autograd/Recent content from Kerroの奇妙冒険Hugozh-CN本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！Fri, 17 Jul 2026 11:00:00 +0800拆开 LLM（一）：纯 numpy 手写 mini-autograd——反向传播不是魔法https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/Fri, 17 Jul 2026 11:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/ 拆开 LLM（一）：纯 numpy 手写 mini-autograd——反向传播不是魔法

作者：Kerro（）

llm-anatomy 是一个"拆开 LLM"的教学项目：不调库，把大语言模型的每个零件——自动微分、注意力、训练循环——亲手造一遍（前两章纯 numpy，第 3 章起 PyTorch 登场）。上一篇（第零章）：知识地图 画了整张路线图；这一篇造第一个零件：自动微分引擎，外加一整条优化器推导链。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战