No último fim de semana, publiquei que Claude Code criou um estudo empírico completo de ciência política em uma hora. Muitas pessoas perguntaram: mas quão preciso foi o estudo? A resposta: bastante preciso, com alguns erros interessantes e limitações importantes. Para obter a resposta, Graham Straus gentilmente se ofereceu para fazer uma auditoria independente e manual—coletando os mesmos dados e estendendo o artigo como Claude fez, mas sem usar nenhuma IA. Aqui está o que ele encontrou: Claude replicou o artigo original exatamente, codificou 29/30 condados da Califórnia corretamente em relação ao tempo de tratamento e coletou dados de eleições que correlacionaram >.999 com a coleta manual. Os três principais erros que Graham encontrou—codificação errada do ano de tratamento de um condado, omissão da coleta de dados para várias corridas potencialmente relevantes em estados sempre tratados, e não utilização de eleições não presidenciais para calcular a participação—são semelhantes aos tipos de erros que um humano poderia cometer em uma primeira tentativa de escrever este artigo, e tiveram apenas pequenos efeitos nas estimativas subsequentes. Por outro lado, quando Claude tentou criar novas análises que não eram extensões diretas do artigo original, ele se saiu pior. Sem alucinações ou erros loucos, por assim dizer, mas desviou do prompt e produziu resultados que consideramos mal concebidos. Minha leitura: – A IA hoje já é uma maneira extremamente poderosa de atualizar e estender rapidamente artigos empíricos bem contidos e simples. – Para fazer pesquisa empírica em ciências sociais bem, ela precisa absolutamente de orientação e supervisão de especialistas humanos. Compartilharemos pensamentos mais amplos sobre este trabalho, o que aprendemos ao fazê-lo e para onde vamos a partir daqui na próxima semana no meu blog. Obrigado a muitas, muitas pessoas que entraram em contato, fizeram perguntas e ofereceram feedback sobre este projeto.

Um relatório completo está disponível aqui: É interessante combinar com escritos recentes de @joshgans @alexolegimas @deanwball e outros!