Le week-end dernier, j'ai posté que Claude Code avait créé une étude empirique complète en science politique en une heure. Beaucoup de gens ont demandé : mais à quel point l'étude était-elle précise ? La réponse : assez précise, avec quelques erreurs intéressantes et des limitations importantes. Pour obtenir la réponse, Graham Straus a gentiment proposé de faire un audit indépendant et manuel — en collectant les mêmes données et en prolongeant le document comme l'a fait Claude, mais sans utiliser d'IA. Voici ce qu'il a trouvé : Claude a répliqué exactement le document original, a codé 29/30 des comtés de Californie correctement sur le timing du traitement, et a collecté des données électorales qui corrélaient à plus de 0,999 avec la collecte manuelle. Les trois principales erreurs que Graham a trouvées — un codage incorrect de l'année de traitement d'un comté, l'omission de la collecte de données pour plusieurs courses potentiellement pertinentes dans des États toujours traités, et le fait de ne pas utiliser les élections non présidentielles pour calculer la participation — sont similaires aux types d'erreurs qu'un humain pourrait faire lors d'un premier passage à l'écriture de ce document, et n'ont eu que de petits effets sur les estimations ultérieures. D'autre part, lorsque Claude a essayé de créer de nouvelles analyses qui n'étaient pas des extensions simples du document original, il a moins bien réussi. Pas d'hallucinations ou d'erreurs folles, en soi, mais il s'est éloigné de la consigne et a produit des résultats que nous avons jugés mal conçus. Mon avis : – L'IA aujourd'hui est déjà un moyen extrêmement puissant de mettre à jour rapidement et d'étendre des articles empiriques simples et bien contenus. – Pour faire de la recherche en sciences sociales empiriques de manière efficace, cela nécessite absolument des conseils et une supervision d'experts humains. Nous partagerons des réflexions plus larges sur ce travail, ce que nous avons appris en le faisant, et où nous allons à partir de là la semaine prochaine sur mon blog. Merci aux nombreuses personnes qui ont pris contact, posé des questions et offert des retours sur ce projet.

Un article complet est disponible ici : C'est intéressant de le coupler avec les écrits récents de @joshgans @alexolegimas @deanwball et d'autres !