Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
«Як 0G досягає включення штучного інтелекту?»
Слово «гегемонія» не є новим у наш час, наприклад, гегемонія долара, домінування фішок тощо
У 21 столітті, з бурхливим розвитком науки і техніки, штучний інтелект є найдосконалішим @0G_labs кристалізації людського суспільства
Штучний інтелект найбільше покладається на моделі, а навчання моделей наразі не є технічною проблемою, а питанням прав на ресурси
Лише деякі підприємства мають суперкомп'ютерні центри, високошвидкісну пропускну здатність і синхронні кластери графічних процесорів для навчання великої моделі з параметрами 100B, яка сама по собі є розділовою лінією потужності
🟣 І @0G_labs порушує цю межу
DiLoCoX – це новітня королівська бомба від 0G
Вони успішно завершили розподілене навчання моделі параметрів 107B в мережевому середовищі з пропускною здатністю всього 1 Гбіт/с, використовуючи кластер з 160 A800
Ніяких суперкомп'ютерів, ніякого взаємозв'язку оптоволокна, ніяких тренувальних майданчиків для великих виробників, навіть не Infiniband
Фінальна модель має втрату точності менше 0,5%, а ефективність навчання більш ніж у 357 разів вища, ніж у традиційної архітектури AllReduce
@0G_labs називає це DiLoCoX, розподіленим навчальним фреймворком, адаптованим для середовищ з низьким рівнем комунікації
Ключовим моментом є створення механізму навчання, який терпить затримку, підтримує асинхронність, може самостійно просуватися в різних місцях і в кінцевому підсумку агрегується
Сенс цієї справи полягає не тільки в економії грошей
🟣 #0G Порушення централізації процесу побудови моделі призводить до послаблення меж участі
Те, що раніше було недосяжним для більшості країн, підприємств і розробників, тепер таке:
> Університет може об'єднати десять малих бізнесів для спільної підготовки вертикальної моделі
> Африканська країна може розгортати локальні інтелектуальні системи без AWS або Google Cloud
> Розподілена спільнота може координувати графічні процесори та дані в мережі, використовуючи інтелектуальні активи як стимул для досягнення тривалого спільного навчання
Нинішня війна штучного інтелекту – це не про продукти, а про ресурси
Навіть якщо у вас відмінна архітектура алгоритмів, якщо ви не можете ефективно тренуватися, ви завжди зупинитеся на етапі прототипу або доопрацювання
У традиційному режимі синхронізація та пропускна здатність мережі, необхідні для навчання, самі по собі є витратною бомбою та складають основний рів постачальників центральних хмарних послуг
DiLoCoX почав видаляти цю залежність знизу, щоб досягти справжнього включення ШІ

2,21K
Найкращі
Рейтинг
Вибране