2025 adalah tahun agen, & kemampuan utama agen adalah alat panggilan. Saat menggunakan Claude Code, saya dapat memberi tahu AI untuk menyaring buletin, menemukan semua tautan ke startup, memverifikasi keberadaannya di CRM kami, dengan satu perintah. Ini mungkin melibatkan dua atau tiga alat berbeda yang dipanggil. Tapi inilah masalahnya: menggunakan model fondasi besar untuk ini mahal, seringkali tarif terbatas, & terlalu kuat untuk tugas seleksi. Apa cara terbaik untuk membangun sistem agen dengan panggilan alat? Jawabannya terletak pada model aksi kecil. NVIDIA merilis makalah yang menarik yang berpendapat bahwa "Model bahasa kecil (SLM) cukup kuat, secara inheren lebih cocok, dan tentu saja lebih ekonomis untuk banyak pemanggilan dalam sistem agen." Saya telah menguji model lokal yang berbeda untuk memvalidasi latihan pengurangan biaya. Saya mulai dengan model parameter Qwen3:30b, yang berfungsi tetapi bisa sangat lambat karena ini adalah model yang sangat besar, meskipun hanya 3 miliar dari 30 miliar parameter tersebut yang aktif pada satu waktu. Makalah NVIDIA merekomendasikan model Salesforce xLAM – arsitektur berbeda yang disebut model aksi besar yang dirancang khusus untuk pemilihan alat. Jadi, saya menjalankan pengujian saya sendiri, setiap model memanggil alat untuk mencantumkan tugas Asana saya. Hasilnya sangat mengejutkan: xLAM menyelesaikan tugas dalam 2,61 detik dengan keberhasilan 100%, sementara Qwen membutuhkan 9,82 detik dengan keberhasilan 92% – hampir empat kali lebih lama. Eksperimen ini menunjukkan perolehan kecepatan, tetapi ada trade-off: berapa banyak kecerdasan yang harus hidup dalam model versus dalam alat itu sendiri. Ini terbatas Dengan model yang lebih besar seperti Qwen, alat bisa lebih sederhana karena model memiliki toleransi kesalahan yang lebih baik & dapat bekerja di sekitar antarmuka yang dirancang dengan buruk. Model ini mengkompensasi keterbatasan alat melalui penalaran brute-force. Dengan model yang lebih kecil, model memiliki kapasitas yang lebih kecil untuk pulih dari kesalahan, sehingga alat harus lebih kuat & logika pemilihan lebih tepat. Ini mungkin tampak seperti batasan, tetapi sebenarnya ini adalah fitur. Kendala ini menghilangkan tingkat kesalahan peracikan alat berantai LLM. Ketika model besar melakukan panggilan alat berurutan, kesalahan terakumulasi secara eksponensial. Model aksi kecil memaksa desain sistem yang lebih baik, menjaga yang terbaik dari LLM dan menggabungkannya dengan model khusus. Arsitektur ini lebih efisien, lebih cepat, dan lebih dapat diprediksi.

1/8 📊 Baru saja diluncurkan: dasbor real-time untuk melacak volume perdagangan Hyperliquid, metrik pembuat dan rujukan, untung & rugi, dan banyak lagi. Dibangun oleh @AlliumLabs Mari selami 🧵

Mengapa putaran unggulan di bawah $5 juta menyusut? Satu dekade yang lalu, putaran yang lebih kecil ini membentuk tulang punggung pembiayaan startup, yang terdiri dari lebih dari 70% dari semua kesepakatan awal. Hari ini, data PitchBook mengungkapkan angka itu telah anjlok menjadi kurang dari setengahnya. Angka-angka itu menceritakan kisah yang mencolok. Kesepakatan di bawah $5 juta turun dari 62,5% pada 2015 menjadi 37,5% pada 2024. Penurunan 29,5 poin persentase ini secara fundamental membentuk kembali cara startup meningkatkan modal institusional pertama mereka. Tiga kekuatan mendorong transformasi ini. Kita dapat menguraikan penurunan untuk memahami apa yang mengurangi putaran benih kecil & mengapa itu penting bagi para pendiri saat ini.

Ini sangat menyenangkan, Mario. Terima kasih telah menghadirkan saya di acara ini untuk berbicara tentang semua yang terjadi di pasar!

OpenAI menerima rata-rata 1 kueri per orang Amerika per hari. Google menerima sekitar 4 kueri per orang Amerika per hari. Sejak itu 50% kueri pencarian Google memiliki Ikhtisar AI, ini berarti setidaknya 60% pencarian AS sekarang adalah AI. Butuh waktu sedikit lebih lama dari yang saya harapkan untuk ini terjadi. Pada tahun 2024, saya memperkirakan bahwa 50% pencarian konsumen akan diaktifkan AI. ( Tapi AI telah tiba dalam pencarian. Jika pola penelusuran Google adalah indikasi, ada undang-undang kekuasaan dalam perilaku penelusuran. Analisis SparkToro tentang perilaku pencarian Google menunjukkan sepertiga teratas orang Amerika yang mencari melakukan lebih dari 80% dari semua pencarian - yang berarti penggunaan AI kemungkinan tidak terdistribusi secara merata - seperti masa depan. Situs web & bisnis mulai merasakan dampak dari hal ini. Artikel The Economist "AI membunuh web. Ada yang bisa menyelamatkannya?" menangkap zeitgeist dalam sebuah tajuk utama. ( Mayoritas orang Amerika sekarang mencari dengan AI. Efek tingkat kedua dari perubahan pola pencarian akan datang pada paruh kedua tahun ini dan lebih banyak lagi yang akan bertanya, "Apa yang Terjadi dengan Lalu Lintas Saya?" ( AI adalah saluran distribusi baru & mereka yang mengambilnya akan mendapatkan pangsa pasar. - William Gibson melihat lebih jauh ke masa depan! - Ini didasarkan pada analisis titik tengah grafik SparkToro, adalah analisis yang sangat sederhana, & memiliki beberapa kesalahan sebagai hasilnya.

Dalam bekerja dengan AI, saya berhenti sebelum mengetikkan apa pun ke dalam kotak untuk bertanya pada diri sendiri sebuah pertanyaan: apa yang saya harapkan dari AI? 2x2 untuk menyelamatkan! Kotak mana saya berada? Pada satu sumbu, seberapa banyak konteks yang saya berikan : tidak terlalu banyak atau sedikit. Di sisi lain, apakah saya harus menonton AI atau membiarkannya berjalan. Jika saya memberikan sangat sedikit informasi & membiarkan sistem berjalan: 'meneliti tren Forward Deployed Engineer', saya mendapatkan hasil sekali pakai: ikhtisar luas tanpa detail yang relevan. Menjalankan proyek yang sama dengan serangkaian pertanyaan singkat menghasilkan percakapan berulang yang berhasil - Eksplorasi. "Perusahaan mana yang telah menerapkan Forward Deployed Engineers (FDE)? Apa latar belakang khas FDE? Jenis struktur kontrak dan bisnis apa yang cocok untuk pekerjaan ini?" Ketika saya memiliki toleransi yang sangat rendah untuk kesalahan, saya memberikan konteks yang ekstensif & bekerja secara berulang dengan AI. Untuk posting blog atau analisis keuangan, saya membagikan semuanya (draf saat ini, tulisan sebelumnya, persyaratan terperinci) lalu melanjutkan kalimat demi kalimat. Membiarkan agen berjalan bebas membutuhkan penentuan semuanya di muka. Saya jarang berhasil di sini karena pekerjaan di muka menuntut kejelasan yang luar biasa - tujuan yang tepat, informasi yang komprehensif, & daftar tugas terperinci dengan kriteria validasi - garis besar. Petunjuk ini akhirnya terlihat seperti dokumen persyaratan produk yang saya tulis sebagai manajer produk. Jawaban untuk 'apa yang saya harapkan?' akan menjadi lebih mudah karena sistem AI mengakses lebih banyak informasi saya dan meningkatkan dalam memilih data yang relevan. Saat saya menjadi lebih baik dalam mengartikulasikan apa yang sebenarnya saya inginkan, kolaborasi meningkat. Saya bertujuan untuk memindahkan lebih banyak pertanyaan saya dari ember kiri atas - bagaimana saya dilatih dengan pencarian Google - ke tiga kuadran lainnya. Saya juga berharap kebiasaan ini akan membantu saya bekerja dengan orang dengan lebih baik.

Kotak hitam kecil di tengah adalah kode pembelajaran mesin. Saya ingat membaca makalah Hutang Teknis Tersembunyi Google 2015 di ML & berpikir betapa sedikitnya aplikasi pembelajaran mesin adalah pembelajaran mesin yang sebenarnya. Sebagian besar adalah infrastruktur, manajemen data, & kompleksitas operasional. Dengan awal AI, tampaknya model bahasa besar akan memasukkan kotak-kotak ini. Janjinya adalah kesederhanaan: drop in LLM & menontonnya menangani segala sesuatu mulai dari layanan pelanggan hingga pembuatan kode. Tidak ada lagi pipeline yang rumit atau integrasi yang rapuh. Tetapi dalam membangun aplikasi internal, kami telah mengamati dinamika yang sama dengan AI. Agen membutuhkan banyak konteks, seperti manusia : bagaimana CRM terstruktur, apa yang kita masukkan ke dalam setiap bidang - tetapi input mahal model AI Lapar, Lapar. Mengurangi biaya berarti menulis perangkat lunak deterministik untuk menggantikan penalaran AI. Misalnya, mengotomatiskan manajemen email berarti menulis alat untuk membuat tugas Asana & memperbarui CRM. Karena jumlah alat meningkat melebihi sepuluh atau lima belas alat, pemanggilan alat tidak lagi berfungsi. Saatnya memutar model pembelajaran mesin klasik untuk memilih alat. Lalu ada mengamati sistem dengan observabilitas, mengevaluasi apakah itu berkinerja, & merutekan ke model yang tepat. Selain itu, ada seluruh kategori perangkat lunak seputar memastikan AI melakukan apa yang seharusnya. Pagar pembatas mencegah respons yang tidak pantas. Pembatasan tarif menghentikan biaya dari lepas kendali ketika suatu sistem menjadi kacau. Pengambilan informasi (RAG - retrieval augmented generation) sangat penting untuk sistem produksi apa pun. Di aplikasi email saya, saya menggunakan database vektor LanceDB untuk menemukan semua email dari pengirim tertentu & mencocokkan nada mereka. Ada teknik lain untuk manajemen pengetahuan seputar grafik RAG & database vektor khusus. Baru-baru ini, memori menjadi jauh lebih penting. Antarmuka baris perintah untuk alat AI menyimpan riwayat percakapan sebagai file penurunan harga. Ketika saya menerbitkan grafik, saya ingin keterangan Theory Ventures di kanan bawah, font, warna, & gaya tertentu. Itu semua sekarang disimpan dalam file .gemini atau .claude dalam serangkaian direktori berjenjang. Kesederhanaan asli model bahasa besar telah dimasukkan oleh kompleksitas produksi tingkat perusahaan. Ini tidak identik dengan sistem pembelajaran mesin generasi sebelumnya, tetapi mengikuti paralel yang jelas. Apa yang tampak seperti "kotak ajaib AI" sederhana ternyata adalah gunung es, dengan sebagian besar pekerjaan teknik tersembunyi di bawah permukaan.

Jika 2025 adalah tahun agen, maka 2026 pasti akan menjadi milik manajer agen. Manajer agen adalah orang-orang yang dapat mengelola tim agen AI. Berapa banyak yang bisa berhasil dikelola oleh satu orang? Saya hampir tidak bisa mengelola 4 agen AI sekaligus. Mereka meminta klarifikasi, meminta izin, melakukan pencarian web—semuanya membutuhkan perhatian saya. Terkadang tugas membutuhkan waktu 30 detik. Di lain waktu, 30 menit. Saya kehilangan jejak agen mana yang melakukan apa dan setengah pekerjaan dibuang karena mereka salah menafsirkan instruksi. Ini bukan masalah keterampilan. Ini adalah masalah perkakas. Robot fisik menawarkan petunjuk tentang produktivitas manajer robot. MIT menerbitkan analisis pada tahun 2020 yang menunjukkan bahwa rata-rata robot menggantikan 3,3 pekerjaan manusia. Pada tahun 2024, Amazon melaporkan robot pickpack dan ship menggantikan 24 pekerja. Tetapi ada perbedaan kritis: AI tidak deterministik. Agen AI menafsirkan instruksi. Mereka berimprovisasi. Mereka kadang-kadang mengabaikan arahan sepenuhnya. Roomba hanya bisa memimpikan kebebasan kreatif untuk mengabaikan ruang tamu Anda dan memutuskan garasi membutuhkan perhatian sebagai gantinya. Teori manajemen sering memandu tim ke rentang kendali 7 orang. Berbicara dengan beberapa manajer agen yang lebih baik, saya telah mengetahui bahwa mereka menggunakan kotak masuk agen, alat manajemen proyek untuk meminta pekerjaan AI & mengevaluasinya. Dalam rekayasa perangkat lunak, permintaan tarik Github atau tiket Linear melayani tujuan ini. Insinyur perangkat lunak AI yang sangat produktif mengelola 10-15 agen dengan menentukan 10-15 tugas secara rinci, mengirimkannya ke AI, menunggu sampai selesai dan kemudian meninjau pekerjaan. Setengah dari pekerjaan dibuang, dan dimulai kembali dengan prompt yang ditingkatkan. Kotak masuk agen belum populer. Ini tidak tersedia secara luas. Tetapi saya menduga itu akan menjadi bagian penting dari tumpukan produktivitas bagi manajer agen masa depan karena itu satu-satunya cara untuk melacak pekerjaan yang dapat masuk kapan saja. Jika ARR per karyawan adalah metrik vanity baru untuk startup, maka agen yang dikelola per orang dapat menjadi metrik produktivitas vanity seorang pekerja. Dalam 12 bulan, menurut Anda berapa banyak agen yang bisa Anda kelola? 10? 50? 100? Bisakah Anda mengelola agen yang mengelola agen lain?

"Oh, kantormu ada di gedung Ferry, itu luar biasa, seperti apa" "Pengamen tanpa henti. Rapat terganggu oleh bagpiper di luar. Kursi barisan depan untuk Santana berikutnya di jalanan."

Selama dekade terakhir, item baris terbesar dalam anggaran R&D startup mana pun adalah bakat yang dapat diprediksi. Tapi AI mendorong jalannya ke P&L. Berapa banyak yang harus dibelanjakan startup untuk AI sebagai persentase dari pengeluaran penelitian dan pengembangannya? 10%? 30%? 60? Ada tiga faktor yang perlu dipertimbangkan. Pertama, gaji rata-rata untuk insinyur perangkat lunak di Silicon Valley. Kedua adalah total biaya AI yang digunakan oleh insinyur itu. Kursor sekarang berada di $200 per bulan untuk Paket Ultra mereka & ulasan Devin menyarankan $500 per bulan. Ketiga, jumlah agen yang dapat dikelola oleh seorang insinyur. Lintasan pertama : (gambar pertama) Tetapi biaya berlangganannya mungkin rendah. Selama beberapa hari terakhir saya telah bermain-main secara ekstensif dengan agen pengkodean AI dan saya mengumpulkan tagihan sebesar $1.000 dalam rentang waktu lima hari! 😳😅 Jadi mari kita perbarui tabel dan asumsikan $1000 per bulan lagi per insinyur. Jadi untuk startup biasa, perkiraan 10 hingga 15% dari total biaya R&D saat ini mungkin digunakan untuk AI. Variannya akan jauh lebih luas dalam praktiknya karena kita semua belajar menggunakan AI dengan lebih baik dan menembus lebih banyak organisasi. Perusahaan kecil yang asli AI sejak awal cenderung memiliki rasio yang jauh lebih tinggi. Jika Anda tertarik untuk berpartisipasi dalam survei anonim, saya akan menerbitkan hasilnya jika ukuran sampel cukup besar untuk memiliki hasil yang signifikan secara statistik. Survei ada di sini : Ini adalah model yang sangat disederhanakan di mana kami hanya meninjau gaji, tidak termasuk tunjangan, perangkat keras, infrastruktur pengembang & pengujian, dll. Ini adalah perkiraan berdasarkan pengkodean getaran pengalaman pribadi yang didiskon.