Devin, inżynier oprogramowania AI, właśnie otrzymał swoją ocenę wydajności na 2025 rok! W ciągu ostatnich osiemnastu miesięcy tysiące firm zatrudniły Devina, w tym Goldman Sachs, Citi, Santander i Nubank. Używając przykładów z rzeczywistego świata i metryk od klientów, przyjrzeliśmy się, gdzie Devin błyszczy, a gdzie ma trudności. Możesz to uznać za interesujące, jeśli myślisz o wdrożeniu agentów kodujących w rzeczywistym świecie. Przeczytaj pełną recenzję tutaj: Najważniejsze wnioski: 🧵

1/ Pierwszym sposobem myślenia o Devinie jest traktowanie go jako nieskończonej floty młodszych inżynierów. Doskonale radzi sobie z dobrze określonymi zadaniami, które zajmują od 4 do 8 godzin pracy.

2/ W ciągu ostatniego roku Devin stał się znacznie mądrzejszy jako młodszy inżynier - jego wskaźnik scalania PR podwoił się, ponieważ lepiej zrozumiał bazę kodu.

3/ Jest świetne w krytycznej, ale nudnej pracy, takiej jak migracja repozytoriów, naprawianie luk wykrytych przez narzędzia do analizy statycznej, takie jak SonarQube i Veracode, pisanie testów jednostkowych oraz realizacja małych zadań.

4/ Ludzie programiści średnio spędzali 30 minut na każdą lukę w SonarQube; Devin średnio 1,5 minuty. Devin przeniósł repozytoria do nowej wersji Javy w 14 razy krótszym czasie niż ludzki inżynier.

5/ Innym sposobem, w jaki Devin rozwinął się w ciągu ostatniego roku, jest zrozumienie kodu. To jak posiadanie inżyniera starszego, dostępnego na żądanie, który pracował w twojej firmie przez wiele lat.

6/ Podczas wprowadzania do bazy kodu, Devin generuje dokumentację z diagramami - nawet w skali setek tysięcy repozytoriów.

7/ Kiedy inżynierowie rozpoczynają nowe projekty, mogą porozmawiać z Devinem, aby rozważyć decyzje projektowe.

8/ Devin ma trudności z samodzielnym realizowaniem niejasnych wymagań. Potrzebne są jasno określone wymagania na początku.

9/ A Devin nie ma dokładnie umiejętności interpersonalnych - to w końcu AI. Nie potrafi zarządzać raportami, rozwiązywać nieporozumień ani mentorować inżynierów.

10/ Jeśli jesteś zainteresowany zatrudnieniem Devina, możesz porozmawiać z działem sprzedaży: