Tämä BMW-konsernin ja Korean johtavan tutkimuslaitoksen julkaisema artikkeli paljastaa sokean pisteen, johon lähes jokainen LLM:ää käyttävä yritys on suoraan astumassa. Puhumme jatkuvasti "kohdistuksesta" kuin se olisi universaali turvakytkin. Ei ole. Artikkelissa esitellään COMPASS, viitekehys, joka osoittaa, miksi useimmat tekoälyjärjestelmät epäonnistuvat ei siksi, että ne olisivat turvattomia, vaan koska ne ovat ristiriidassa niiden käyttöönoton organisaation kanssa. Tässä on ydinoivallus. LLM:iä arvioidaan yleensä yleisten käytäntöjen perusteella: alustan turvallisuussäännöt, abstraktit eettiset ohjeet tai vertailukohtaiset hylkäykset (benchmark-tyyppiset hylkäykset). Mutta oikeat yritykset eivät toimi yleisillä säännöillä. Ne toimivat sisäisten politiikkojen mukaan: - vaatimustenmukaisuusoppaat - Operatiiviset pelikirjat - eskalaatiomenettelyt - oikeudelliset reunatapaukset - brändikohtaiset rajoitukset Ja nämä säännöt ovat sekavia, päällekkäisiä, ehdollisia ja täynnä poikkeuksia. COMPASS on rakennettu testaamaan sitä, voiko malli todella toimia tuon sekasorron sisällä. Ei sitä, tunteeko se politiikan kieltä, vaan sitä, voiko se soveltaa oikeaa politiikkaa, oikeassa kontekstissa, oikeasta syystä. Viitekehys arvioi malleja neljän asian perusteella, jotka tyypilliset benchmarkit sivuuttavat asiat: ...