Plus tôt ce mois-ci, j'ai donné une conférence sur certaines des technologies que nous développons chez Thrive et la philosophie qui les sous-tend. Un de nos axes de travail a été de créer des outils internes qui augmentent le travail de notre équipe, y compris Puck, un système de recherche interne qui fonctionne dans le chat et en arrière-plan de manière ambiante.

Au cours de l'année dernière, en intégrant étroitement notre pile de données, notre infrastructure LLM et nos propres flux de travail, nous avons pu apporter les capacités de Puck à un certain nombre de surfaces au sein de l'équipe à une échelle significative. Nous avons inféré environ 10 milliards de tokens en octobre sur des milliers de tâches.

J'ai trouvé qu'il est précieux d'adopter de bonnes idées de design provenant de "logiciels ordinaires" et de les appliquer aux systèmes d'IA. Dans cette présentation, je couvre certains de ces principes qui guident l'architecture de Puck, y compris la façon dont nous organisons les invites et les tâches, ainsi que notre cadre interne et nos outils de journalisation.