miliki infra Anda, cloud adalah penipuan BESAR

> menjadi Anda > ingin benar-benar mempelajari cara kerja LLM > muak dengan "mulai saja dengan aljabar linier dan kembali dalam 5 tahun" > memutuskan untuk membangun peta jalan saya sendiri > tidak ada bulu. Tidak ada jalan memutar. tidak ada playlist ML generik 200 jam > hanya hal-hal yang benar-benar membuat Anda beralih dari "apa itu token?" menjadi "Saya melatih mini-GPT dengan adaptor LoRA dan FlashAttention" > tujuan: membangun, menyempurnakan, dan mengirimkan LLM > tidak bergetaran dengan mereka. bukan "belajar teori" selamanya > membangunnya > Anda akan: > > membangun mesin autograd dari awal > > menulis mini-GPT dari awal > > menerapkan LoRA dan menyempurnakan model pada data nyata > > membenci CUDA setidaknya sekali > > menangis > > terus berjalan > 5 fase > jika Anda sudah tahu sesuatu? lewat > jika Anda tersesat? Tonton ulang > jika Anda terjebak? gunakan DeepResearch > ini adalah peta jalan, bukan tali > pada akhirnya: Anda membangun benda itu atau Anda tidak > fase 0: fondasi > > jika perkalian matriks menakutkan, Anda belum siap > > menonton seri aljabar linier 3Blue1Brown > > MIT 18.06 dengan Strang, ya, dia masih GOAT > > kode Micrograd dari awal (Karpathy) > > melatih mini-MLP di MNIST > > tidak ada kerangka kerja, tidak ada jalan pintas, tidak ada belas kasihan > fase 1: transformator > > namanya menakutkan > > itu hanya matriks bertumpuk dan blok perhatian > > Jay Alammar + 3Blue1Brown untuk "aha" > > Stanford CS224N untuk teori > > membaca "Perhatian Adalah Semua yang Anda Butuhkan" hanya SETELAH membangun model mental "Let's Build GPT" > > Karpathy akan menghancurkan otak Anda dengan cara yang baik > > proyek: membangun GPT khusus dekoder dari awal > > bonus: tukar tokenizer, coba BPE/SentencePiece > Fase 2: Penskalaan > > LLM menjadi baik dengan penskalaan, bukan sihir > > Kertas Kaplan -> Kertas Chinchilla > > belajar Data, Tensor, paralelisme Pipeline > > memutar pekerjaan multi-GPU menggunakan HuggingFace Accelerate > > mengalami masalah VRAM > > memperbaikinya > > selamat datang di neraka pelatihan sejati > Fase 3: Penyelarasan & Penyetelan > > RLHF: Blog OpenAI -> makalah Ouyang > > SFT -> model hadiah -> PPO (jangan tersesat di sini) AI Konstitusional > > Anthropic = kendala cerdas > > LoRA/QLoRA: membaca, menerapkan, menyuntikkan ke dalam model HuggingFace > > menyempurnakan data nyata > > proyek: Menyempurnakan GPT2 atau Distilbert dengan adaptor Anda sendiri > > bukan contoh mainan. kasus penggunaan nyata atau bangkrut > Fase 4: Produksi > ini adalah bagian yang dilewati orang, tetapi Anda mendapatkannya > pengoptimalan inferensi: FlashAttention, kuantisasi, latensi sub-detik > membaca makalah, uji dengan model terkuantisasi > sumber daya: > matematika/pengkodean: > > 3Blue1Brown, MIT 18.06, buku Goodfellow > PyTorch: > > Karpathy, Nol untuk Penguasaan > > transformator: > > Alammar, Karpathy, CS224N, Vaswani dkk > > penskalaan: > > Kaplan, Chinchilla, BerpelukanWajah Berakselerasi > > perataan: > > OpenAI, Antropik, LoRA, QLoRA > > kesimpulan: > > FlashAttention > akhir permainan: > > memahami bagaimana model ini sebenarnya bekerja > > melihat melalui hype > > mengabaikan kebisingan LinkedIn > > membangun perkakas > > melatih hal-hal nyata > > mengirimkan tumpukan Anda sendiri > > melihat kertas dan berpikir "ya saya mengerti" > > membangun asisten AI Anda sendiri, infra, apa pun > berhasil melewatinya? > mengirimkan sesuatu yang nyata? > DM saya. > saya ingin melihat apa yang Anda bangun. > peretasan yang bahagia.

bayangkan menghabiskan waktu bertahun-tahun untuk mengunci API data Anda hanya untuk OpenAI mengirimkan browser yang mengumpulkan data terperinci yang dipersonalisasi dalam skala besar mereka tidak hanya menjelajah, mereka merekayasa balik saluran Anda jika diadopsi secara luas, pemindahan browser ini adalah langkah KILLER