Mengatakan (saat ini) RL itu mengerikan
mengatakan kita membutuhkan PRM dan pelatihan permusuhan (sic: MuZero)
meratapi keruntuhan entropi dan menjelaskan perlunya melestarikan entropi dalam pelatihan dan pengambilan sampel
menginginkan perhatian jarang (dan attn lapisan jarang di atas kvcache)
Wawancara @karpathy
0:00:00 – AGI masih satu dekade lagi
0:30:33 – Defisit kognitif LLM
0:40:53 – RL mengerikan
0:50:26 – Bagaimana manusia belajar?
1:07:13 – AGI akan menyatu dengan pertumbuhan PDB 2%
1:18:24 – ASI
1:33:38 – Evolusi kecerdasan & budaya
1:43:43 - Mengapa mengemudi sendiri memakan waktu lama
1:57:08 - Masa depan pendidikan
Cari Podcast Dwarkesh di YouTube, Apple Podcasts, Spotify, dll. Menikmati!
Ini mungkin tidak menarik bagi siapa pun, tetapi di sinilah saya berhenti bekerja malam ini. Saya akan memulai kembali lagi dalam beberapa jam dari sesi TMUX yang sama ini