本月早些時候，我發表了一個關於我們在Thrive所構建的一些技術及其背後哲學的演講。 我們的一個重點是內部工具，這些工具增強了我們團隊的工作，包括Puck，一個在聊天中運行的內部研究系統，並在背景中自動運行。

在過去的一年中，通過緊密整合我們的數據堆棧、LLM 基礎設施和我們自己的工作流程，我們已經能夠將 Puck 的能力帶到團隊中的幾個表面，並達到有意義的規模。我們在十月份推斷了約 100 億個標記，涵蓋了數千個任務。

我發現從「普通軟體」中採用良好的設計理念並將其應用於 AI 系統是非常有價值的。在這次演講中，我涵蓋了一些推動 Puck 架構的原則，包括我們如何組織提示和任務，以及我們的內部框架和日誌工具。