Låt oss finjustera OpenAI gpt-oss (100 % lokalt):

Idag ska vi lära oss hur du finjusterar OpenAI:s senaste gpt-oss lokalt. Vi kommer att ge den flerspråkiga resonemangsfunktioner som visas i videon. Vi kommer att använda: - @UnslothAI för effektiv finjustering. - @huggingface transformatorer för att köra den lokalt. Låt oss börja!

1️⃣ Ladda modellen Vi börjar med att ladda modellen gpt-oss (20B-varianten) och dess tokenizer med hjälp av Unsloth. Kolla in det här 👇

2️⃣ Definiera LoRA-konfiguration Vi kommer att använda LoRA för effektiv finjustering. För att göra detta använder vi Unsloths PEFT och specificerar: - Modellen - LoRA låg rang (r) - Lager för finjustering m.m. Kontrollera den här koden 👇

3️⃣ Ladda datauppsättning Vi kommer att finjustera gpt-oss och hjälpa den att utveckla flerspråkiga resonemangsfunktioner. Så vi laddar datauppsättningen för flerspråkigt tänkande, som har: - Användarfråga på engelska. - Resonemang på olika språk. - Svar på engelska. Kolla in det här 👇

4️⃣ Förbered datauppsättning Innan vi finjusterar måste vi förbereda datauppsättningen i ett konversationsformat: - Vi standardiserar datasetet. - Vi väljer meddelandefältet. - Vi tillämpar chattmallen på den. Kontrollera koden och ett dataexempel 👇

5️⃣ Definiera tränare Här skapar vi ett Trainer-objekt genom att ange träningskonfigurationen, till exempel inlärningstakt, modell, tokeniserare med mera. Kolla in det här 👇

6️⃣ Tåg När det är gjort påbörjar vi utbildningen. Förlusten minskar i allmänhet stegvis, vilket innebär att modellen finjusteras korrekt. Kontrollera den här koden och träningsloggarna 👇

Slutligen visar videon att uppmana LLM före och efter finjustering. Efter finjustering kan modellen generera resonemangstoken på franska innan det slutliga svaret genereras på engelska. Kolla in det här 👇

Det är en wrap! Om du tyckte att det var insiktsfullt, dela det igen med ditt nätverk. Hitta mig → @_avichawla Varje dag delar jag med mig av handledningar och insikter om DS, ML, LLM och RAGs.