Kakarot 关于 AI Agent 开发、工具与实践的文章。https://kakarot-index.kakarot-space.workers.dev/zh-cnhttps://kakarot-index.kakarot-space.workers.dev/blog/transformer-layer/https://kakarot-index.kakarot-space.workers.dev/blog/transformer-layer/一层 Transformer 里除了注意力，还有残差连接、层归一化和前馈网络。看这三样各自解决什么问题，再把它们拼成一层，叠出 96 层的 GPT-3。Fri, 23 Oct 2026 00:00:00 GMTAI 发展史https://kakarot-index.kakarot-space.workers.dev/blog/positional-encoding/https://kakarot-index.kakarot-space.workers.dev/blog/positional-encoding/注意力的计算里没有一步用到「这个词排在第几个」。看 Transformer 怎么把座位号写进词向量，从原论文的一排钟讲到现在大模型用的 RoPE。Mon, 12 Oct 2026 00:00:00 GMTAI 发展史https://kakarot-index.kakarot-space.workers.dev/blog/multi-head-attention/https://kakarot-index.kakarot-space.workers.dev/blog/multi-head-attention/一组 Q、K、V 只能把一件事看清楚。看 Transformer 怎么让好几个头分头去看，再把结果拼起来，而且计算量几乎不变。Sun, 11 Oct 2026 00:00:00 GMTAI 发展史https://kakarot-index.kakarot-space.workers.dev/blog/attention-qkv/https://kakarot-index.kakarot-space.workers.dev/blog/attention-qkv/用搜索来类比，一步步看注意力怎么打分、怎么把分数变成百分比、怎么用百分比取信息，以及为什么要分成 Q、K、V 三个角色。Sat, 10 Oct 2026 00:00:00 GMTAI 发展史https://kakarot-index.kakarot-space.workers.dev/blog/transformer-what-problem/https://kakarot-index.kakarot-space.workers.dev/blog/transformer-what-problem/从 RNN、LSTM 到注意力，看 Transformer 怎么同时解决了「记不住」和「慢」两个问题。Sat, 10 Oct 2026 00:00:00 GMTAI 发展史