作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不背黑话，每一章把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

上一篇《拆开 LLM（三）：手写 Transformer，换件成 LLaMA》我们把整台车焊了出来。这一篇是正传收官：聊聊怎么"用"模型——以及一个被行业悄悄埋掉的预训练任务。

---

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战https://blog.kerro.cn/2026/07/17/llm-anatomy-03-transformer-to-llama/Fri, 17 Jul 2026 13:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-03-transformer-to-llama/ 拆开 LLM（三）：手写 Transformer，然后把它换件成 LLaMA

作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不调库、不背黑话，每一章把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

上一篇《拆开 LLM（二）：手撕注意力》把注意力这台发动机完全拆开了。这一篇把整车焊出来：先造一台 2017 年的原版 Transformer，再像换汽车零件一样，把它逐件换成 LLaMA。

---

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战https://blog.kerro.cn/2026/07/17/llm-anatomy-02-attention/Fri, 17 Jul 2026 12:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-02-attention/ 拆开 LLM（二）：手撕注意力——后来的一切优化都在救这一条公式

作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不调库、不背黑话，每一章用 numpy 把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

---

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/Fri, 17 Jul 2026 11:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/ 拆开 LLM（一）：纯 numpy 手写 mini-autograd——反向传播不是魔法

作者：Kerro（）

llm-anatomy 是一个"拆开 LLM"的教学项目：不调库，把大语言模型的每个零件——自动微分、注意力、训练循环——亲手造一遍（前两章纯 numpy，第 3 章起 PyTorch 登场）。上一篇（第零章）：知识地图 画了整张路线图；这一篇造第一个零件：自动微分引擎，外加一整条优化器推导链。

---

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战https://blog.kerro.cn/2026/07/17/llm-anatomy-00-roadmap/Fri, 17 Jul 2026 10:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-00-roadmap/ 拆开 LLM（零）：知识地图——每代架构都在修上一代的一个 bug

作者：Kerro（）

llm-anatomy 是一个教学导向的开源项目：不调库，把 LLM 的每个零件亲手造一遍——搞清楚模型为什么长这样，而不只是怎么调它。

它和 credis 是这个博客的两根支柱：credis 拆"计算机怎么工作"（系统底层），这个系列拆"模型为什么长这样"（模型底层）。这是连载第一篇。

---

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战