Tento článek od skupiny BMW a předního korejského výzkumného institutu odhaluje slepou skvrnu, do které téměř každá firma používající LLM přímo vstupuje. Pořád mluvíme o "zarovnání", jako by to byl univerzální bezpečnostní spínač. Není. Článek představuje COMPASS, rámec, který ukazuje, proč většina AI systémů selhává ne proto, že by byly nebezpečné, ale protože nejsou v souladu s organizací, která je nasazuje. Tady je základní poznatek. LLM jsou obvykle hodnoceny podle obecných politik: pravidel pro bezpečnost platforem, abstraktních etických pokynů nebo odmítnutí ve stylu benchmarku. Ale skutečné firmy nefungují podle obecných pravidel. Fungují na základě interních politik: - manuály pro dodržování předpisů - operační playbooky - eskalační postupy - právní okrajové případy - Specifická omezení značky A tato pravidla jsou chaotická, překrývající se, podmíněná a plná výjimek. COMPASS je navržen tak, aby testoval, zda model skutečně může fungovat uvnitř tohoto chaosu. Ne zda zná jazyk politiky, ale zda dokáže aplikovat správnou politiku, ve správném kontextu, ze správného důvodu. Rámec hodnotí modely podle čtyř věcí, které typické benchmarky ignorují: ...