All'inizio di questo mese, ho tenuto un intervento su alcune delle tecnologie che stiamo sviluppando in Thrive e sulla filosofia che le guida. Un nostro obiettivo è stato quello di creare strumenti interni che potenziano il lavoro del nostro team, incluso Puck, un sistema di ricerca interno che funziona in chat e in modo ambientale in background.

Nell'ultimo anno, integrando strettamente il nostro stack di dati, l'infrastruttura LLM e i nostri flussi di lavoro, siamo stati in grado di portare le capacità di Puck su una manciata di superfici all'interno del team a una scala significativa. Abbiamo inferito circa 10 miliardi di token a ottobre su migliaia di compiti.

Ho trovato utile adottare buone idee di design da "software ordinario" e applicarle ai sistemi AI. Nella presentazione, tratto alcuni di questi principi che guidano l'architettura di Puck, inclusi il modo in cui organizziamo i prompt e i compiti, e il nostro framework interno e gli strumenti di logging.