A principios de este mes, di una charla sobre parte de la tecnología que estamos construyendo en Thrive y la filosofía detrás de ella. Un enfoque para nosotros han sido las herramientas internas que aumentan el trabajo de nuestro equipo, incluido Puck, un sistema de investigación interno que se ejecuta en chat y ambientalmente en segundo plano.

Durante el último año, al integrarnos estrechamente en nuestra pila de datos, infraestructura de LLM y nuestros propios flujos de trabajo, hemos podido llevar las capacidades de Puck a un puñado de superficies en todo el equipo a una escala significativa. Inferimos alrededor de 10 mil millones de tokens en octubre en 1000 tareas.

Me ha parecido valioso adoptar buenas ideas de diseño de "software ordinario" y aplicarlas a los sistemas de IA. En la charla, cubro algunos de estos principios que impulsan la arquitectura de Puck, incluida la forma en que organizamos las indicaciones y las tareas, y nuestro marco interno y herramientas de registro.