セルフアテンションの公式の素晴らしいシンプルな視覚化。これは、私にとってLLMについて深く理解するのが最も難しいことの1つでした。 公式は簡単そうです。すぐに覚えることもできる。しかし、Q、K、V が何を表し、相互作用しているのかを実際に直感を得るのは難しいです。

カルパシーは、何かを真に学ぶための公式をこぼしました。 >ブログ記事を書かない >スライドはやらない >コードを記述する >アレンジ >それを機能させる 本当にそれを構築できれば、それを知っていると言えます。ゼロから構築してください。

アンドレイ・カルパシーは、人間とLLMの学習の根本的な違いを見事に説明しています。 > 「私が読んでいる本は、合成データ生成を行うための一連のプロンプトです。その情報を操作することで、実際にその知識を得ることができます。LLM に相当するものはありません。彼らは実際にはそれをしません。」 この分野の優秀な頭脳の多くは、LLMは実際には何も学んでいないため、人間レベルの知能を超えることはできないと考えています。