Ця стаття групи BMW та провідного дослідницького інституту Кореї виявляє сліпу зону, в яку майже кожна компанія з LLM потрапляє одразу. Ми постійно говоримо про «вирівнювання», ніби це універсальний запобіжний вимикач. Це не так. У статті представлено COMPASS — фреймворк, який показує, чому більшість систем ШІ зазнають невдачі не через їхню небезпеку, а через неправильне узгодження з організацією, що їх впроваджує. Ось основна ідея. LLM зазвичай оцінюються за загальними політиками: правилами безпеки платформи, абстрактними етичними рекомендаціями або відмовами у стилі бенчмарків. Але справжні компанії не працюють за загальними правилами. Вони працюють за внутрішніми політиками: - Посібники з відповідності - Оперативні ігрові посібники - процедури ескалації - Юридичні крайні справи - обмеження, специфічні для бренду І ці правила є заплутаними, перекриваються, умовними і сповненими винятків. COMPASS створений для перевірки, чи може модель справді працювати в цьому безладі. Не те, чи знає вона мову політики, а чи може застосувати правильну політику, у правильному контексті, з правильної причини. Фреймворк оцінює моделі за чотирма аспектами, які типові еталони ігнорують: ...