Awal bulan ini, saya memberikan ceramah tentang beberapa teknologi yang kami bangun di Thrive dan filosofi di baliknya. Salah satu fokus bagi kami adalah alat internal yang menambah pekerjaan tim kami, termasuk Puck, sistem penelitian internal yang berjalan dalam obrolan dan lingkungan di latar belakang.

Selama setahun terakhir, dengan mengintegrasikan secara erat di seluruh tumpukan data kami, infra LLM, dan alur kerja kami sendiri, kami telah dapat menghadirkan kemampuan Puck ke beberapa permukaan di seluruh tim dalam skala yang bermakna. Kami menyimpulkan sekitar 10 miliar token pada bulan Oktober di 1000-an tugas.

Saya merasa berharga untuk mengadopsi ide desain yang bagus dari "perangkat lunak biasa" dan menerapkannya ke sistem AI. Dalam pembicaraan ini, saya membahas beberapa prinsip yang mendorong arsitektur Puck, termasuk cara kita mengatur petunjuk dan tugas, serta kerangka kerja internal dan alat pencatatan kita.