Fui uno de los 16 desarrolladores de este estudio. Quería hablar sobre mis opiniones sobre las causas y las estrategias de mitigación para la desaceleración de los desarrolladores. Diré como un gancho de "¿por qué escucharte?" que experimenté una aceleración de IA del -38% en mis problemas asignados. Creo que la transparencia ayuda a la comunidad.

En primer lugar, creo que la aceleración de la IA está muy débilmente correlacionada con la capacidad de cualquier persona como desarrollador. Todos los desarrolladores en este estudio son muy buenos. Creo que tiene más que ver con caer en modos de falla, tanto en la capacidad del LLM como en el flujo de trabajo del humano. Trabajo con un montón de increíbles desarrolladores de preentrenamiento, y creo que la gente se enfrenta a muchos de los mismos problemas. Nos gusta decir que los LLM son herramientas, pero trátelos más como una bala mágica. Literalmente, cualquier desarrollador puede dar fe de la satisfacción de finalmente depurar un problema espinoso. Los LLM son un gran botón de acceso directo de dopamina que puede solucionar tu problema. ¿Sigues presionando el botón que tiene un 1% de posibilidades de arreglar todo? Es mucho más agradable que la agotadora alternativa, al menos para mí.

Creo que los casos de uso excesivo de LLM pueden ocurrir porque es fácil optimizar para el disfrute percibido en lugar del tiempo para resolver mientras se trabaja. Yo presionando tab en el cursor durante 5 horas en lugar de depurar durante 1:

En tercer lugar, es muy fácil distraerse en el tiempo de inactividad mientras se generan los LLM. La economía de la atención en las redes sociales es brutal, y creo que la gente pasa 30 minutos desplazándose mientras "espera" a su generación de 30 segundos. Todo lo que puedo decir sobre esto es que debemos conocer nuestras propias trampas y tratar de llenar este tiempo de generación de LLM de manera productiva: - Si la tarea requiere un alto enfoque, dedique este tiempo a trabajar en una subtarea o a pensar en preguntas de seguimiento. Incluso si el modelo hace una sola vez tu pregunta, ¿qué más no entiendo? - Si la tarea requiere poco enfoque, haga otra tarea pequeña mientras tanto (responder al correo electrónico / holgura, leer o editar otro párrafo, etc.). Como siempre, pequeños pasos de higiene digital ayudan con esto (bloqueadores de sitios web, teléfono en dnd, etc.). Lamento ser un abuelo, pero me funciona :)

Algunas declaraciones finales: - METR es una organización maravillosa con la que trabajar, y son científicos fuertes. Me ha encantado tanto participar en este estudio como leer sus resultados. - No soy un gurú de LLM tratando de predicar. Piensa en esto como si yo publicara una entrada en mi diario personal y esperara que otros pudieran beneficiarse de mi introspección.