自注意力公式的精彩簡單視覺化。這是我對LLMs深入理解時最困難的事情之一。 這個公式看起來很簡單，你甚至可以很快記住它。但要真正理解Q、K、V代表什麼以及它們如何互動，這是很難的。

Karpathy 揭示了真正學習某樣東西的公式： > 不要寫部落格文章 > 不要做簡報 > 寫代碼 > 整理它 > 讓它運行 如果你能真正構建出來，你就可以說你懂它。從零開始吧，夥伴們。

Andrej Karpathy 美妙地解釋了人類與 LLM 之間學習的根本差異。 > “我正在閱讀的書是我進行合成數據生成的一組提示。正是通過操縱這些信息，你實際上獲得了知識。我們在 LLM 中沒有相應的東西；它們並不真正這樣做。” 這個領域中許多最優秀的頭腦認為 LLM 實際上並沒有學習任何東西，因此無法超越人類智力。