Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Jeffrey Emanuel
Hanya memiliki pemikiran acak: LLM seperti ChatGPT pasti menjadi anugerah besar bagi menteri pemerintah yang tidak kompeten di negara-negara kecil yang mendapatkan posisi mereka melalui nepotisme atau jaringan patronase.
Orang-orang ini sering memiliki kekuatan nyata, tetapi mereka sering dipaksa untuk menyembunyikan ketidakmampuan mereka dari bawahan, dari penguasa politik, dan dari rakyat, karena alasan yang jelas.
Misalnya, saya yakin ada beberapa menteri pertambangan yang tahu sangat sedikit tentang pertambangan dan bisnis atau ekonomi, tetapi tetap bertanggung jawab untuk bernegosiasi dengan perusahaan pertambangan internasional yang canggih.
Atau gubernur bank sentral yang tidak benar-benar memahami ekonomi makro dasar atau bagaimana kredit dan inflasi bekerja.
Di masa lalu, orang-orang ini pada dasarnya harus "mengepakkannya" dan berharap yang terbaik, atau untuk menyerahkan kepada bawahan mereka yang sedikit kurang kompeten dan berdoa agar segala sesuatunya tidak berjalan terlalu buruk. Atau mereka mungkin menghabiskan banyak uang untuk konsultan ahli, yang memiliki kelemahan tersendiri.
Sekarang, para menteri tersebut dapat dengan mudah membuka ChatGPT dalam privasi kantor mereka dan menjelaskan masalah mereka dan keputusan yang perlu mereka buat, mengunggah dokumen dan formulir dari IMF atau di mana pun, dan mendapatkan saran ahli yang cukup bagus secara gratis dari model perbatasan. Semua tanpa mengungkapkan kepada siapa pun bahwa mereka tidak tahu apa yang mereka lakukan.
Akan sangat menarik untuk mengetahui berapa banyak orang yang menggunakan LLM dengan cara ini saat ini. Sepertinya hal yang baik. Dunia sangat kekurangan keahlian. Atau lebih tepatnya, mereka yang memiliki akses ke kekuasaan seringkali bukan mereka yang memiliki keterampilan atau pengetahuan yang relevan.
Saya hanya berharap orang-orang ini berlangganan $200/bulan dan menggunakan model GPT-5 Pro. Tapi saya agak ragu mereka...
4,64K
Niat baik tidak masalah dalam hal-hal seperti ini. Yang penting adalah konsekuensi dunia nyata yang sebenarnya dari keputusan dan tindakan yang kita ambil tentang cara mengembangkan dan menerapkan AI dan robotika. Apa pun yang memperlambat kita atau merugikan kita relatif terhadap China atas nama "keamanan" adalah buruk.

Reid Hoffman20 Okt, 22.09
1/ Saya ingin menyatakan dengan jelas: di semua industri, terutama di AI, penting untuk mendukung orang-orang baik.
Anthropic adalah salah satu orang baik.
Lebih banyak pemikiran tentang mengapa kita perlu mendorong inovasi dan berbicara tentang keselamatan pada saat yang bersamaan:
4,71K
DeepSeek baru saja merilis makalah baru yang cukup mengejutkan. Mereka benar-benar mengubur lede di sini dengan menyebutnya hanya sebagai DeepSeek OCR.
Meskipun ini adalah model OCR yang sangat kuat, tujuannya dan implikasi dari pendekatan mereka jauh melampaui apa yang Anda harapkan dari "model OCR lainnya."
Secara tradisional, token LLM visi hampir tampak seperti renungan-renungan atau "melesatkan" pada paradigma LLM. Dan 10 ribu kata bahasa Inggris akan memakan jauh lebih banyak ruang dalam LLM multimodal ketika dinyatakan sebagai piksel yang dapat dipahami daripada ketika dinyatakan sebagai token.
Jadi 10 ribu kata itu mungkin telah berubah menjadi 15 ribu token, atau 30 ribu hingga 60 ribu "token visual". Jadi token visi jauh kurang efisien dan benar-benar masuk akal untuk digunakan untuk data yang tidak dapat disampaikan secara efektif dengan kata-kata.
Tapi itu terbalik sekarang dari ide-ide dalam makalah ini. DeepSeek menemukan cara mendapatkan kompresi 10x lebih baik menggunakan token penglihatan daripada dengan token teks! Jadi, secara teoritis, Anda dapat menyimpan 10 ribu kata itu hanya dalam 1.500 token visual terkompresi khusus mereka.
Ini mungkin tidak terduga seperti kedengarannya jika Anda memikirkan bagaimana pikiran Anda sendiri bekerja. Lagi pula, saya tahu bahwa ketika saya mencari bagian dari buku yang telah saya baca, saya membayangkannya secara visual dan selalu mengingat di sisi mana buku itu berada dan kira-kira di mana di halaman itu berada, yang menunjukkan semacam representasi memori visual di tempat kerja.
Sekarang, tidak jelas bagaimana tepatnya ini berinteraksi dengan fungsi kognitif hilir lainnya dari LLM; Dapatkah model bernalar dengan cerdas atas token visual terkompresi tersebut seperti yang dapat dilakukan menggunakan token teks biasa? Apakah itu membuat model kurang artikulasi dengan memaksanya ke dalam modalitas yang lebih berorientasi pada visi?
Tetapi Anda dapat membayangkan bahwa, tergantung pada pengorbanan yang tepat, itu bisa menjadi sumbu baru yang sangat menarik untuk memperluas ukuran konteks yang efektif. Terutama jika dikombinasikan dengan makalah terbaru DeepSeek lainnya dari beberapa minggu yang lalu tentang perhatian yang jarang.
Untuk semua yang kita tahu, Google bisa saja sudah menemukan sesuatu seperti ini, yang dapat menjelaskan mengapa Gemini memiliki ukuran konteks yang begitu besar dan sangat bagus dan cepat dalam tugas OCR. Jika mereka melakukannya, mereka mungkin tidak akan mengatakan karena itu akan dipandang sebagai rahasia dagang yang penting.
Tetapi hal yang menyenangkan tentang DeepSeek adalah mereka telah membuat semuanya open source dan bobot terbuka dan menjelaskan bagaimana mereka melakukannya, jadi sekarang semua orang dapat mencobanya dan menjelajah.
Bahkan jika trik ini membuat perhatian lebih merugikan, potensi mendapatkan LLM perbatasan dengan jendela konteks 10 atau 20 juta token cukup menarik.
Anda pada dasarnya dapat menjejalkan semua dokumen internal utama perusahaan ke dalam pembukaan prompt dan meng-cache ini dengan OpenAI dan kemudian menambahkan kueri atau prompt spesifik Anda di atasnya dan tidak perlu berurusan dengan alat pencarian dan tetap membuatnya cepat dan hemat biaya.
Atau masukkan seluruh basis kode ke dalam konteks dan cache, lalu terus menambahkan yang setara dengan git diffs saat Anda membuat perubahan pada kode.
Jika Anda pernah membaca cerita tentang fisikawan hebat Hans Bethe, dia dikenal karena memiliki sejumlah besar fakta fisik acak yang dihafal (seperti seluruh tabel periodik; titik didih berbagai zat, dll.) sehingga dia dapat berpikir dan menghitung dengan mulus tanpa harus mengganggu alirannya untuk mencari sesuatu di tabel referensi.
Memiliki sejumlah besar pengetahuan khusus tugas dalam memori kerja Anda sangat berguna. Ini tampaknya seperti pendekatan yang sangat cerdas dan aditif untuk berpotensi memperluas bank memori itu sebesar 10x atau lebih.
184,88K
Teratas
Peringkat
Favorit