Devin, AI-programvareingeniøren, har nettopp fått sin prestasjonsvurdering for 2025! I løpet av de siste atten månedene har tusenvis av selskaper ansatt Devin, inkludert Goldman Sachs, Citi, Santander og Nubank. Ved å bruke virkelige eksempler og måleparametere fra kunder, så vi på hvor Devin skinner og hvor det sliter. Du kan finne dette interessant hvis du vurderer å bruke kode-agenter i den virkelige verden. Les hele anmeldelsen her: Viktige lærdommer: 🧵

1/ Den første måten å tenke på Devin på er som en uendelig flåte av junioringeniører. Den er flott til godt planlagte oppgaver som ville tatt 4-8 timer.

2/ Det siste året har Devin blitt mye smartere som junioringeniør – PR-sammenslåingsraten har doblet seg etter hvert som de har utviklet bedre forståelse av kodebasen.

3/ Det er flott til kritisk, men kjedelig arbeid som å migrere repos, fikse sårbarheter som statiske analyseverktøy som SonarQube og Veracode, skrive enhetstester og fullføre små saker.

4/ Menneskelige utviklere brukte i snitt 30 minutter per SonarQube-sårbarhet; Devin bruker i snitt 1,5 minutter. Devin migrerte repos til en ny versjon av Java på 14 ganger kortere tid enn en menneskelig ingeniør.

5/ En annen måte Devin har utviklet seg på det siste året, er i forståelsen av kodebasen. Det er som å ha en senioringeniør på forespørsel som har vært i selskapet ditt i mange år.

6/ Når Devin integrerer i en kodebase, genererer han dokumentasjon med diagrammer – selv i skala på hundretusener av repos.

7/ Når ingeniører starter nye prosjekter, kan de chatte med Devin for å vurdere designbeslutninger.

8/ Devin sliter med å gjennomføre tvetydige krav selvstendig. Det trengs klart definerte krav på forhånd.

9/ Og Devin har ikke akkurat myke ferdigheter – det er tross alt en AI. Den kan ikke håndtere rapporter, håndtere uenigheter eller veilede ingeniører.

10/ Hvis du er interessert i å ansette Devin, kan du snakke med salg: