Mitt neste blogginnlegg slippes denne uken, og det er et mye dypere dykk enn vanlig. Jeg skal gå gjennom hvordan jeg finjusterte Microsofts Phi-3-mini-4k-instruct (3.8B) med LoRA på Mac-en min ved hjelp av MLX. Eksperimentet: å utforske om en 3.8B-modell som kjører lokalt kan finjusteres til å "snakke som meg" ved å trene den på mine egne blogginnlegg. Jeg har allerede presset LoRA-adaptervektene til Hugging Face. Men enda viktigere, innlegget vil dele hele prosessen slik at flere tekniske folk kan lære hvordan de kommer i gang med finjustering: - Klargjøring av treningsdata - Trening av modellen og hyperparametere - Evaluering av resultater - Publisering til Hugging Face Og jeg vil dele all koden som kreves for å gjøre det selv.