熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我曾是這項研究中的16位開發者之一。我想談談我對開發者減速的原因和緩解策略的看法。
我會說作為一個「為什麼要聽你的?」的引子,我在我負責的問題上經歷了-38%的AI加速。我認為透明度有助於社區。


2025年7月11日
我們進行了一項隨機對照試驗,以了解 AI 編碼工具對經驗豐富的開源開發者的加速效果。
結果讓我們感到驚訝:開發者認為使用 AI 工具的速度提高了 20%,但實際上他們在使用 AI 工具時的速度比沒有使用時慢了 19%。

首先,我認為人工智慧加速與任何人作為開發人員的能力的相關性非常弱。這項研究中的所有開發人員都非常優秀。我認為這更多地與陷入失敗模式有關,無論是在 LLM 的能力還是人類的工作流程中。我與大量出色的預訓練開發人員一起工作,我認為人們面臨許多相同的問題。
我們喜歡說 LLM 是工具,但將它們更像是靈丹妙藥。
從字面上看,任何開發人員都可以證明最終調試棘手問題的滿意度。LLM 是一個很大的多巴胺快捷鍵按鈕,可以一次性解決您的問題。您是否一直按下有 1% 機會解決所有問題的按鈕?這比艱苦的替代方案更令人愉快,至少對我來說是這樣。
我認為 LLM 過度使用的情況可能會發生,因為它很容易優化以獲得感知的樂趣,而不是在工作時縮短解決問題的時間。
我在光標中按 Tab 鍵 5 小時,而不是調試 1 小時:
第三,在 LLM 生成時,在停機期間很容易分心。社交媒體的注意力經濟是殘酷的,我認為人們花 30 分鐘滾動,同時“等待”他們的 30 秒一代。
關於這一點,我只能說,我們應該知道自己的陷阱,並嘗試有效地填補這 LLM 世代的時間:
- 如果任務需要高度專注,請花這段時間處理子任務或思考後續問題。即使模特一拍即合你的問題,我還有什麼不明白的?
- 如果任務需要低焦點,請同時執行另一項小任務(回覆電子郵件/閒置、閱讀或編輯另一個段落等)。
與往常一樣,小的數字衛生步驟有助於解決這個問題(網站攔截器、dnd 上的電話等)。很抱歉,我是一個 grampy,但它對我有用:)
一些最後的聲明:
- METR 是一個很棒的組織,與之合作非常愉快,他們是優秀的科學家。我喜歡參與這項研究並閱讀他們的結果。
- 我不是什麼 LLM 大師在這裡講道。把這當作我發表的一篇個人日記,希望其他人能從我的反思中受益。
1.96M
熱門
排行
收藏