Eerder deze maand heb ik een lezing gegeven over een aantal van de technologieën die we bij Thrive ontwikkelen en de filosofie erachter. Een van onze focuspunten zijn interne tools die het werk van ons team aanvullen, waaronder Puck, een intern onderzoekssysteem dat in chat en op de achtergrond draait.

In het afgelopen jaar hebben we door een nauwe integratie van onze datastack, LLM-infrastructuur en onze eigen workflows, de mogelijkheden van Puck naar een handvol oppervlakken binnen het team op significante schaal kunnen brengen. We hebben in oktober ongeveer 10 miljard tokens geïnferentieerd over duizenden taken.

Ik heb het waardevol gevonden om goede ontwerpideeën van "gewone software" over te nemen en toe te passen op AI-systemen. In de presentatie bespreek ik enkele van deze principes die de architectuur van Puck aansteken, inclusief de manier waarop we prompts en taken organiseren, en onze interne structuur en logtools.