تكشف هذه الورقة من مجموعة بي إم دبليو وأكبر معهد أبحاث في كوريا عن نقطة عمياء تتعامل معها تقريبا كل مؤسسة تستخدم نماذج اللغة الكبيرة مباشرة. نستمر في الحديث عن "المحاذاة" وكأنها مفتاح أمان عالمي. إنه ليس كذلك. تقدم الورقة إطار عمل COMPASS، وهو إطار يوضح لماذا تفشل معظم أنظمة الذكاء الاصطناعي ليس لأنها غير آمنة، بل لأنها غير متوافقة مع المنظمة التي تنشرها. إليك الفكرة الأساسية. عادة ما يتم تقييم نماذج اللغة الكبيرة مقابل سياسات عامة: قواعد سلامة المنصة، أو إرشادات أخلاقية مجردة، أو رفض بأسلوب المعيار. لكن الشركات الحقيقية لا تعمل بقواعد عامة. تعمل هذه الوثائق بناء على السياسات الداخلية: - أدلة الامتثال - دفاتر التشغيل - إجراءات التصعيد - قضايا جانبية قانونية - قيود خاصة بالعلامة التجارية وهذه القواعد فوضوية، متداخلة، مشروطة، ومليئة بالاستثناءات. تم بناء COMPASS لاختبار ما إذا كان النموذج يمكنه فعلا العمل داخل تلك الفوضى. ليس ما إذا كانت تعرف لغة السياسات، بل ما إذا كانت تستطيع تطبيق السياسة الصحيحة، في السياق المناسب، للسبب الصحيح. يقيم الإطار النماذج على أربعة أمور تتجاهلها المعايير النموذجية: ...