Дефіцит GPU в ШІ ніколи не був пов'язаний із чипами. У нас їх багато. Справжня криза в тому, що ми досі не можемо використати більшість із них. Ось чому 🧵

@cot_research 2/ Подивіться на прогалину: Волонтер обчислювати Folding@Home добре працює на споживчому обладнанні. Навіть @pewdiepie робить чудову роботу і робить свій внесок! Сучасні навантаження на ШІ, однак, зазнають невдачі. Той самий пул апаратного забезпечення. Дуже інший результат. Чому?

3/ Сучасні години роботи ШІ (інференція або тренування) передбачають стерильні умови: - Ідентичні GPU - Низькозатримкові, стабільні посилання Реальний світ, однак, — це хаос гетерогенних машин і затримки інтернету Стандартний технологічний стек тут руйнується.

4/ Багато так званих «децентралізованих» обчислювальних мереж не досягли відповідності продукту ринку, бо розглядають цю проблему як крайній випадок. Вони створюють маркетплейси для агрегування неактивних GPU, але агрегація — це не координація. Якщо апаратне забезпечення не може працювати як єдина цілісна машина, то це... Досить марна

5/ Координація знаходиться вище за течією. У обчислювальних мережах: якщо спочатку не вирішити координацію фрагментованого апаратного забезпечення, нічого іншого, що ви будуєте, не має значення. Надійність і досвід розробника — це проблеми на наступному етапі.

6/@YottaLabs — перша команда, яку я бачив, як вона вирішує це з нуля і робить значний прогрес. Перебудувавши стек ШІ — від планувальника до комунікаційного рівня — вони збільшили децентралізовану продуктивність обчислень до ~15% централізованих кластерів.

7/ Ще цікавіше — це бізнес-модель @YottaLabs. Ринок — другорядний. Вони створюють інформаційний блок операційної стійкості, який Google не може відтворити — інтелектуальний оптимізатор Yotta подає кожен тепловий сплеск і мережеві збої назад у свій оптимізатор. Більше про це пізніше.