Devin, l'ingénieur logiciel AI, vient de recevoir son évaluation de performance 2025 ! Au cours des dix-huit derniers mois, des milliers d'entreprises ont engagé Devin, y compris Goldman Sachs, Citi, Santander et Nubank. En utilisant des exemples concrets et des métriques provenant des clients, nous avons examiné où Devin excelle et où il rencontre des difficultés. Vous pourriez trouver cela intéressant si vous envisagez de déployer des agents de codage dans le monde réel. Lisez l'évaluation complète ici : Principaux enseignements : 🧵

1/ La première façon de penser à Devin est comme une flotte infinie de jeunes ingénieurs. C'est excellent pour des tâches bien définies qui prendraient 4 à 8 heures de travail.

2/ Au cours de l'année écoulée, Devin est devenu beaucoup plus intelligent en tant qu'ingénieur junior - son taux de fusion de PR a doublé alors qu'il a développé une meilleure compréhension de la base de code.

3/ C'est excellent pour des tâches critiques mais ennuyeuses comme la migration de dépôts, la correction des vulnérabilités mises en évidence par des outils d'analyse statique comme SonarQube et Veracode, l'écriture de tests unitaires et la réalisation de petits tickets.

4/ Les développeurs humains prenaient en moyenne 30 minutes par vulnérabilité SonarQube ; Devin prend en moyenne 1,5 minute. Devin a migré les dépôts vers une nouvelle version de Java en 14 fois moins de temps qu'un ingénieur humain.

5/ Une autre façon dont Devin a évolué au cours de l'année passée est sa compréhension du code. C'est comme avoir un ingénieur senior à la demande qui est dans votre entreprise depuis de nombreuses années.

6/ Lors de l'intégration dans une base de code, Devin génère de la documentation avec des diagrammes - même à l'échelle de centaines de milliers de dépôts.

7/ Lorsque les ingénieurs commencent de nouveaux projets, ils peuvent discuter avec Devin pour évaluer les décisions de conception.

8/ Devin a du mal à exécuter de manière indépendante des exigences ambiguës. Il a besoin d'exigences clairement définies dès le départ.

9/ Et Devin n'a pas vraiment de compétences interpersonnelles - c'est une IA, après tout. Elle ne peut pas gérer des rapports, naviguer dans des désaccords ou encadrer des ingénieurs.

10/ Si vous êtes intéressé par l'embauche de Devin, vous pouvez parler aux ventes :