ok, besoin d'aide ! J'ai essayé de peaufiner GPT-OSS pendant le week-end. Ça fonctionne pendant environ 100 étapes, puis ça lance une erreur CUDA de mémoire insuffisante. Je suppose que de temps en temps, tous les tokens sont routés vers un seul expert. Ensuite, l'entraînement plante. Y a-t-il une solution facile ? Je n'ai jamais peaufiner un MoE auparavant.

😒