Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
«Как 0G реализует доступность ИИ для всех?»
Слово «гегемония» в современном мире не ново, например, гегемония доллара, гегемония чипов и так далее.
В 21 веке, когда технологии развиваются с невероятной скоростью, ИИ является самым передовым достижением человеческого общества @0G_labs.
ИИ в наибольшей степени зависит от моделей, и обучение моделей в настоящее время не является технической проблемой, а вопросом ресурсов и власти.
Только у немногих компаний есть суперкомпьютерные центры, высокоскоростные каналы и синхронные кластеры GPU. Обучение большой модели с 100B параметрами само по себе является границей власти.
🟣А @0G_labs разрушает эту границу.
DiLoCoX — это последний прорыв 0G.
Они успешно завершили распределенное обучение модели с 107B параметрами в сети с пропускной способностью всего 1Gbps, используя вычислительные ресурсы, состоящие из кластера из 160 A800.
Без суперкомпьютеров, без оптоволоконных соединений, без тренировочных площадок крупных компаний, даже без Infiniband.
В конечном итоге потеря точности модели составила менее 0,5%, а эффективность обучения увеличилась более чем в 357 раз по сравнению с традиционной архитектурой AllReduce.
@0G_labs называет это DiLoCoX, набором распределенных обучающих фреймворков, специально разработанных для низкоскоростных сетевых условий.
Ключевым моментом является: создание механизма обучения, который допускает задержки, поддерживает асинхронность, может независимо продвигаться в разных местах и в конечном итоге агрегироваться.
Смысл этого события заключается не только в экономии средств.
🟣#0G разрушает централизованный процесс построения моделей, что приводит к ослаблению границ участия.
Для большинства стран, компаний и разработчиков то, что раньше казалось недостижимым, теперь:
> Один университет может объединиться с десятью небольшими компаниями для совместного обучения специализированной модели.
> Одна африканская страна может развернуть местную интеллектуальную систему без AWS или Google Cloud.
> Распределенное сообщество может координировать GPU и данные на блокчейне, используя интеллектуальные активы в качестве стимула для достижения долгосрочного совместного обучения.
Текущая война в области ИИ не за продукты, а за ресурсы.
Даже если у вас есть отличная архитектура алгоритмов, если вы не можете эффективно обучать, вы всегда будете оставаться на уровне прототипа или доработки.
А в традиционной модели синхронность и пропускная способность сети, необходимые для обучения, сами по себе являются бомбами затрат и составляют основную защиту облачных провайдеров.
DiLoCoX начинает избавляться от этой зависимости на базовом уровне, реализуя истинную доступность ИИ для всех.

2,36K
Топ
Рейтинг
Избранное