"Pensé que el ajuste fino de MoE de Transformers GPT-OSS estaba roto, ¿cómo lo hiciste funcionar?"

descubrí cómo "deshacer" el RL y convertir gpt-oss de nuevo en un modelo base dejaré caer los pesos mañana gn

ok, ¡necesito ayuda! Intenté ajustar GPT-OSS durante el fin de semana. Funciona durante ~100 pasos, luego lanza un error de falta de memoria CUDA. Supongo que de vez en cuando, todos los tokens se dirigen a un solo experto. Entonces, el entrenamiento falla. ¿Hay una solución fácil? Nunca he ajustado un MoE antes.

¿qué modelo deberíamos hacer a continuación?

¿Tienes curiosidad sobre los datos de entrenamiento de los nuevos modelos gpt-oss de OpenAI? Yo también. Así que generé 10 millones de ejemplos de gpt-oss-20b, realicé un análisis y los resultados fueron... bastante extraños. Es hora de un análisis profundo 🧵

explicación más corta de GPT-5: ¡esto es exactamente lo que predecían las leyes de escalado! el modelo es mejor, los retornos son decrecientes, y lamentablemente las mejoras en la inteligencia general absoluta solo serán cada vez menores la buena noticia es que aún hay mucho por hacer. la personalidad, el razonamiento, la memoria y la creatividad siguen siendo problemas abiertos.

es un buen momento para recordarles a todos que una puntuación alta en SWEbench realmente solo indica que los datos de entrenamiento contenían una proporción suficientemente grande de Django.

la parte más impresionante de GPT-5 es el salto en el contexto largo ¿cómo se hace esto? ¿producir algunos datos sintéticos extraños de largo alcance? ¿escanear muchos libros?

el mundo del capital de riesgo proporciona mucho valor, pero a veces parece que simplemente están quemando dinero. varias startups que conozco recaudaron ~100M en total hace tres años para hacer IA, construyeron software que nadie usó nunca, y ahora todos trabajan en otros lugares en cosas no relacionadas. ¿A dónde fue todo ese dinero?

es extraño en la era de las redes sociales sentir que todos están trabajando en las revisiones y réplicas de NeurIPS rn, pero nadie está hablando de ello públicamente. Contribuí a tres réplicas. Una de las tres fue extremadamente frustrante. ¿Quién más está trabajando en réplicas? ¿Cómo les va?