Cuối tuần trước, tôi đã đăng rằng Claude Code đã tạo ra một nghiên cứu chính trị học thực nghiệm đầy đủ trong một giờ. Nhiều người đã hỏi: nhưng độ chính xác của nghiên cứu này là bao nhiêu? Câu trả lời: khá chính xác, với một số sai sót thú vị và những hạn chế quan trọng. Để có được câu trả lời, Graham Straus đã tử tế đề nghị thực hiện một cuộc kiểm toán độc lập, thủ công—thu thập cùng một dữ liệu và mở rộng bài báo như Claude đã làm, nhưng không sử dụng bất kỳ AI nào. Đây là những gì anh ấy đã tìm thấy: Claude đã sao chép chính xác bài báo gốc, mã hóa 29/30 quận CA đúng về thời gian điều trị, và thu thập dữ liệu bầu cử có tương quan >.999 với việc thu thập thủ công. Ba lỗi chính mà Graham phát hiện—mã hóa sai năm điều trị của một quận, bỏ qua việc thu thập dữ liệu cho một số cuộc đua có thể liên quan ở các bang luôn được điều trị, và không sử dụng các cuộc bầu cử không phải tổng thống để tính toán tỷ lệ tham gia—tương tự như những loại sai sót mà một con người có thể mắc phải khi lần đầu viết bài báo này, và chỉ có tác động nhỏ đến các ước lượng sau đó. Mặt khác, khi Claude cố gắng tạo ra các phân tích mới không phải là những mở rộng đơn giản của bài báo gốc, nó đã làm tệ hơn. Không có ảo giác hay sai sót điên rồ, nhưng nó đã lệch khỏi yêu cầu và sản xuất ra những kết quả mà chúng tôi thấy là kém được suy nghĩ. Cảm nhận của tôi: –AI ngày nay đã là một cách cực kỳ mạnh mẽ để nhanh chóng cập nhật và mở rộng các bài báo thực nghiệm đơn giản, có cấu trúc tốt. –Để thực hiện nghiên cứu khoa học xã hội thực nghiệm một cách tốt, nó hoàn toàn cần sự hướng dẫn và giám sát từ các chuyên gia con người. Chúng tôi sẽ chia sẻ những suy nghĩ rộng hơn về công việc này, những gì chúng tôi đã học được khi thực hiện nó, và chúng tôi sẽ đi đâu từ đây vào tuần tới trên blog của tôi. Cảm ơn rất nhiều người đã liên hệ, đặt câu hỏi và đưa ra phản hồi về dự án này.

Một bài viết đầy đủ có sẵn tại đây: Thật thú vị khi kết hợp với những bài viết gần đây từ @joshgans @alexolegimas @deanwball và những người khác!