Ottima prospettiva e consigli da @ClementDelangue sui primi giorni di gpt-oss. Costruire solide fondamenta richiede tempo, e siamo entusiasti di lavorare con i fornitori di inferenza e @huggingface per aiutare questi modelli a dare il massimo. Per favore, continuate a inviare i vostri feedback!
clem 🤗
clem 🤗6 ago, 23:44
Ci sono molte opinioni contrastanti su gpt-oss (evviva l'open-source sotto i riflettori)! Stiamo alimentando la demo ufficiale di @openai con i fornitori di inferenza di HF grazie a @FireworksAI_HQ, @CerebrasSystems, @GroqInc e @togethercompute, quindi abbiamo un posto in prima fila per vedere cosa sta succedendo. Qualcosa da ricordare: l'inferenza per i nuovi modelli open frontier non è facile, specialmente con un nuovo formato come harmony e il volume di interesse che gpt-oss sta ricevendo fin dall'inizio. I picchi iniziali possono influenzare temporaneamente la qualità, l'accuratezza e le "vibrazioni" complessive, in particolare 24 ore dopo il rilascio, quando i fornitori corrono contro il tempo con a malapena qualche ora di sonno! Alcuni consigli per evitare di formare opinioni sbagliate: - Se ti interessa ottenere vibrazioni il più velocemente possibile, utilizza un setup ospitato che ti dia una diversità di fornitori come i fornitori di inferenza di HF (e segui le guide standard ufficiali ( - Se puoi, provalo sul tuo hardware dalle pagine dei modelli di HF (che sono solitamente buone fonti di verità con transformers e vLLM (tieni presente che puoi commettere errori anche lì nella generazione) - Rilassati e prendi X opinioni calde con un pizzico di sale. Anche se i primi giorni possono essere confusi, la potenza dell'open-source è che non ci sono imbrogli, quindi scopriremo progressivamente tutti i punti di forza e le limitazioni di questi modelli! Personalmente, penso che questo sia un rilascio storico da parte del team di @OpenAI, un tipo di evento che ricorderemo tra 10 anni per le sue implicazioni. Non vedo l'ora di vedere cosa ci riserva il futuro 🚀🚀🚀
24,94K