我曾是这项研究中的16名开发者之一。我想谈谈我对开发者减速的原因和缓解策略的看法。 我想用一个"为什么要听你说?"的引子来说明,我在分配给我的问题上经历了-38%的AI加速。我认为透明度有助于社区。
METR
METR2025年7月11日
我们进行了一项随机对照试验,以了解AI编码工具在多大程度上加快了经验丰富的开源开发者的工作速度。 结果让我们感到惊讶:开发者认为使用AI工具时速度提高了20%,但实际上他们在使用AI时的速度比没有使用时慢了19%。
首先,我认为人工智能加速与任何人作为开发人员的能力的相关性非常弱。这项研究中的所有开发人员都非常优秀。我认为这更多地与陷入失败模式有关,无论是在 LLM 的能力还是人类的工作流程中。我与大量出色的预训练开发人员一起工作,我认为人们面临着许多相同的问题。 我们喜欢说 LLM 是工具,但将它们更像是灵丹妙药。 从字面上看,任何开发人员都可以证明最终调试一个棘手问题的满足感。LLM 是一个很大的多巴胺快捷键,可以一次性解决您的问题。您是否一直按下有 1% 几率解决所有问题的按钮?这比艰苦的替代方案更令人愉快,至少对我来说是这样。
我认为 LLM 过度使用的情况可能会发生,因为它很容易针对感知乐趣进行优化,而不是在工作时缩短解决时间。 我在光标中按 Tab 键 5 小时而不是调试 1 小时:
第三,在 LLM 生成过程中,在停机期间很容易分心。社交媒体的注意力经济是残酷的,我认为人们在“等待”他们的 30 秒一代时会花 30 分钟滚动。 关于这一点,我只能说,我们应该知道自己的陷阱,并尝试有效地填补这段 LLM 一代的时间: - 如果任务需要高度专注,请花这段时间处理子任务或思考后续问题。即使模特一拍即合你的问题,我还有什么不明白的? - 如果任务需要低焦点,在此期间执行另一项小任务(回复电子邮件/Slack、阅读或编辑另一个段落等)。 与往常一样,小的数字卫生步骤有助于解决这个问题(网站拦截器、dnd 上的电话等)。很抱歉,我是一个 grampy,但它对我有用:)
一些最后的声明: - METR 是一个很棒的组织,和他们合作非常愉快,他们是优秀的科学家。我很喜欢参与这项研究并阅读他们的结果。 - 我不是一个试图传教的 LLM 大师。可以把这看作是我发布的一篇个人日记,希望其他人能从我的反思中受益。
1.96M