Pienet mallit voivat olla oikeita täysin vääristä syistä. Tarkkuusmittarit kertovat, että malli vastasi oikein. He eivät kerro, oliko perustelu järkevä. Autonomisille toimijoille tämä ero on ratkaisevan tärkeä. Tämä uusi tutkimus paljastaa piilevän luotettavuuskriisin: 50–69 % oikeista vastauksista 7–9B-parametrimalleista sisältää perustavanlaatuisesti virheellistä päättelyä. Tutkijat kutsuvat tätä ilmiöksi "Oikein väärästä syystä". Harkitse taloudellista laskelmaa. Malli vastaa "12" oikein kysymykseen "Mikä on 15 % 80:sta?" Mutta sen perustelut osoittavat, että se kerrotaan 0,2:lla 0,15:n sijaan. Tulos on kohdallaan. Logiikka on rikki. Käyttöönotossa tällaiset piilevät epäonnistumiset kasaantuvat katastrofaalisesti. Tutkimuksessa analysoitiin 10 734 päättelyjäljitettä Llama-3-8B:ssä, Mistral-7B:ssä ja Qwen-2.5-7B:ssä matematiikassa, monihyppäisessä laadunvarmistuksessa ja maalaisjärjen tehtävissä. He ottavat käyttöön Reasoning Integrity Score (RIS) -mittarin, joka arvioi jokaisen vaiheen eikä pelkästään lopullisia tuloksia. RAG parantaa johdonmukaisesti päättelyn eheyttä keskisuurilla tai suurilla vaikutuskokoilla (Cohenin d = 0,23-0,93). Se toimii tarjoamalla ulkoisen tukirakenteen, joka perustuu laskelmiin haettuun näyttöön ja vähentää laskentavirheitä 7,6 %. Mutta tässä on yllättävä havainto: itsekritiikki ja vahvistukset vaikuttavat aktiivisesti suorituskykyyn (d = -0,14 - -0,33). Tutkijat kutsuvat tätä "pseudo-heijastukseksi". Pienistä malleista puuttuu aito metakognitiivinen kapasiteetti. Kun heitä pyydetään kritisoimaan heidän perustelujaan, he eivät oikeasti pohdi asiaa. He tuottavat tekstiä, joka näyttää heijastukselta, samalla kun keksivät uskottavilta kuulostavia mutta virheellisiä perusteluja. Käyttöönoton mahdollistamiseksi he tiivistivät varmennuskyvyt kevyeksi neuroluokittelijaksi, saavuttaen 0,86 F1-arvon 100-kertaisella nopeudella LLM-tuomareihin verrattuna. Tämä tekee reaaliaikaisesta luottamuksen arvioinnista käytännöllistä. Opetus on, että pelkkä tarkkuus on vaarallisen riittämätön pienten malliagenttien käyttöönotossa. Prosessipohjaisesta verifioinnista tulee muodostua standardi turvallisuuskerros. Artikkeli: Opettele rakentamaan tehokkaita tekoälyagentteja akatemiassamme: