自注意力公式的精彩简单可视化。这是我对LLM深入理解时最困难的事情之一。 这个公式看起来很简单，你甚至可以很快记住它。但要真正理解Q、K、V代表什么以及它们如何相互作用，这很难。

Karpathy 透露了真正学习某样东西的公式： > 不要写博客文章 > 不要做幻灯片 > 写代码 > 整理它 > 让它工作 如果你能真正构建它，你就可以说你懂它。大家从头开始构建吧。

Andrej Karpathy 美妙地解释了人类与 LLM 学习之间的根本区别。 > “我正在阅读的书是我进行合成数据生成的一组提示。通过操纵这些信息，你实际上获得了知识。我们没有与 LLM 相当的东西；它们并不真正做到这一点。” 这个领域许多最优秀的头脑认为 LLM 并没有真正学习任何东西，因此无法超越人类水平的智能。