Na początku tego miesiąca wygłosiłem wykład na temat niektórych technologii, które budujemy w Thrive oraz filozofii, która za tym stoi. Jednym z naszych głównych celów były narzędzia wewnętrzne, które wspierają pracę naszego zespołu, w tym Puck, wewnętrzny system badawczy, który działa w czacie i w tle.

W ciągu ostatniego roku, poprzez ścisłą integrację w naszym stosie danych, infrastrukturze LLM i naszych własnych procesach roboczych, udało nam się wprowadzić możliwości Pucka na kilka powierzchni w zespole w znaczącej skali. W październiku przetworzyliśmy około 10 miliardów tokenów w ramach tysięcy zadań.

Uważam, że warto przyjąć dobre pomysły projektowe z "zwykłego oprogramowania" i zastosować je w systemach AI. W wykładzie omawiam niektóre z tych zasad, które napędzają architekturę Pucka, w tym sposób, w jaki organizujemy podpowiedzi i zadania, oraz nasze wewnętrzne ramy i narzędzia do logowania.