Chúng tôi đã thử nghiệm cách các tác nhân AI tự động thực hiện các nhiệm vụ phần mềm thực tế từ nghiên cứu RCT về năng suất của nhà phát triển gần đây của chúng tôi. Chúng tôi phát hiện ra một khoảng cách giữa điểm số thuật toán và khả năng sử dụng trong thế giới thực, điều này có thể giúp giải thích tại sao các tiêu chuẩn AI cảm thấy không liên quan đến thực tế.