Viime viikonloppuna julkaisin, että Claude Code loi täydellisen empiirisen poliittisen tutkimuksen tunnissa. Monet kysyivät: mutta kuinka tarkka tutkimus oli? Vastaus: melko tarkka, mutta mukana on joitakin mielenkiintoisia virheitä ja merkittäviä rajoituksia. Vastauksen saamiseksi Graham Straus ystävällisesti tarjoutui tekemään itsenäisen, manuaalisen auditoinnin—keräten saman datan ja laajentaen artikkelia kuin Claude, mutta ilman tekoälyä. Tässä mitä hän löysi: Claude toisti alkuperäisen artikkelin tarkasti, koodasi 29/30 Kalifornian piirikuntaa oikein hoitojen ajoituksessa ja keräsi vaalidataa, joka korreloi >,999 ja manuaalinen keräys. Grahamin kolme pääasiallista virhettä—yhden piirikunnan hoitovuoden väärin koodaaminen, useiden mahdollisesti relevanttien vaalien tietojen keräämisen jättäminen pois aina käsitellyissä osavaltioissa sekä ei-presidentinvaalien käyttämättä jättäminen äänestysaktiivisuuden laskemiseen—ovat samankaltaisia kuin ne virheet, joita ihminen voi tehdä ensimmäisellä kierroksella tämän artikkelin kirjoittamisessa, ja niillä oli vain vähän vaikutuksia myöhempiin arvioihin. Toisaalta, kun Claude yritti luoda uusia analyysejä, jotka eivät olleet suoraviivaisia jatkoja alkuperäisestä artikkelista, se onnistui huonommin. Ei hallusinaatioita tai hulluja virheitä sinänsä, mutta se poikkeaa kehotuksesta ja tuotti tuloksia, joita pidimme huonosti suunniteltuina. Oma lukemani: –Tekoäly on nykyään jo erittäin tehokas tapa nopeasti päivittää ja laajentaa hyvin hallittuja, yksinkertaisia empiirisiä artikkeleita. –Empiirisen yhteiskuntatieteellisen tutkimuksen tekemiseen tarvitaan ehdottomasti ihmisten asiantuntijoiden ohjausta ja valvontaa. Jaamme ensi viikolla blogissani laajempia ajatuksia tästä työstä, mitä opimme tekemällä ja mihin suuntaan tästä eteenpäin. Kiitos monille, monille ihmisille, jotka ottivat yhteyttä, esittivät kysymyksiä ja antoivat palautetta tästä projektista.

Täydellinen katsaus on saatavilla täällä: On mielenkiintoista yhdistää se @joshgans @alexolegimas @deanwball:n ja muiden tuoreiden kirjoitusten kanssa!