Google щойно випустив «Увага — це все, що потрібно (V2)» Ця стаття може вирішити найбільшу проблему ШІ: Катастрофічне забуття. Коли моделі ШІ вивчають щось нове, вони зазвичай забувають, що вже навчилися раніше. Люди так не працюють, і тепер Google Research має рішення. Вкладене навчання. Це нова парадигма машинного навчання, яка розглядає моделі як систему взаємопов'язаних задач оптимізації, що працюють з різною швидкістю — так само, як наш мозок обробляє інформацію. Ось чому це важливо: LLM не вчаться на досвіді; Вони залишаються обмеженими тим, чого навчилися під час навчання. Вони не можуть навчитися чи покращуватися з часом, не втративши попередніх знань. Вкладене навчання змінює це, розглядаючи архітектуру моделі та алгоритм навчання як одне й те саме — просто різні «рівні» оптимізації. У статті представлено Hope — архітектуру proof-of-concept, яка демонструє такий підхід: ↳ Hope перевершує сучасні повторювані моделі у завданнях моделювання мови ↳ Він краще справляється з довгоконтекстною пам'яттю, ніж сучасні моделі ↳ Це досягається за допомогою «систем безперервної пам'яті», які оновлюються на різних частотах Це схоже на те, як наш мозок одночасно керує короткочасною та довготривалою пам'яттю. Можливо, ми нарешті скорочуємо розрив між штучним інтелектом і здатністю людського мозку постійно навчатися. Я поділився посиланням на статтю в наступному твіті!