"¿Cómo logra 0G la inclusión de la IA?" La palabra hegemonía no es nueva en la modernidad, como la hegemonía del dólar, la hegemonía de los chips, etc. En el siglo XXI, donde la tecnología avanza a pasos agigantados, la IA es el más avanzado de los logros de la sociedad humana @0G_labs. Lo que más depende la IA son los modelos; el entrenamiento de modelos no es un problema técnico en la actualidad, sino un problema de derechos sobre los recursos. Solo unas pocas empresas poseen centros de supercomputación, ancho de banda de alta velocidad y grupos de GPU sincronizados; entrenar un modelo grande de 100B parámetros es, en sí mismo, una línea divisoria de poder. 🟣 Y @0G_labs está rompiendo esta línea. DiLoCoX es el último gran avance de 0G. En un entorno de red con solo 1Gbps de ancho de banda, lograron completar con éxito el entrenamiento distribuido de un modelo de 107B parámetros, utilizando un conjunto de recursos computacionales que consiste en un grupo de 160 A800. Sin supercomputadoras, sin interconexión de fibra óptica, sin el espacio de entrenamiento de grandes empresas, e incluso sin Infiniband. La pérdida de precisión del modelo final fue inferior al 0.5%, y la eficiencia de entrenamiento mejoró más de 357 veces en comparación con la arquitectura tradicional AllReduce. @0G_labs lo llama DiLoCoX, un marco de entrenamiento distribuido diseñado a medida para entornos de baja comunicación. La clave radica en: construir un mecanismo de entrenamiento que tolere la latencia, soporte la asincronía, pueda avanzar de manera independiente en diferentes ubicaciones y finalmente agregarse. El significado de esto no es solo ahorrar dinero. 🟣 #0G rompe la centralización del proceso de construcción de modelos, lo que trae una flexibilización de los límites de participación. Para la mayoría de los países, empresas y desarrolladores, lo que antes era inalcanzable ahora: > Una universidad puede unirse a diez pequeñas empresas para entrenar conjuntamente un modelo especializado. > Un país africano puede desplegar un sistema inteligente local sin necesidad de AWS o Google Cloud. > Una comunidad distribuida puede coordinar GPU y datos en la cadena, utilizando activos inteligentes como incentivos para lograr un entrenamiento colaborativo de larga cola. La guerra actual de la IA no está en los productos, sino en los recursos. Incluso si tienes una excelente arquitectura de algoritmos, si no puedes entrenar de manera eficiente, siempre te quedarás en la fase de prototipo o ajuste fino. Y en el modelo tradicional, la sincronización y el ancho de banda de red requeridos para el entrenamiento son, en sí mismos, una bomba de costos, y constituyen la principal muralla defensiva de los proveedores de nube centralizados. DiLoCoX comienza a despojarse de esta dependencia desde la base, logrando una verdadera inclusión de la IA.
2.21K