No início deste mês, dei uma palestra sobre algumas das tecnologias que estamos construindo na Thrive e a filosofia por trás dela. Um foco para nós tem sido as ferramentas internas que aumentam o trabalho de nossa equipe, incluindo o Puck, um sistema de pesquisa interno que é executado no bate-papo e em segundo plano.

No ano passado, integrando-nos fortemente em nossa pilha de dados, infraestrutura LLM e nossos próprios fluxos de trabalho, conseguimos levar os recursos do Puck para um punhado de superfícies em toda a equipe em escala significativa. Inferimos cerca de 10 bilhões de tokens em outubro em 1000 tarefas.

Achei valioso adotar boas ideias de design de "software comum" e aplicá-las a sistemas de IA. Na palestra, abordo alguns desses princípios que orientam a arquitetura do Puck, incluindo a maneira como organizamos prompts e tarefas, e nossa estrutura interna e ferramentas de registro.