Anthropic: doświadczenie branżowe liczy się w Claude Code bardziej niż umiejętność programowania

Anthropic opublikował raport oparty na analizie niemal 400 tysięcy sesji Claude Code, z którego wynika, że o powodzeniu pracy z agentem kodującym decyduje głównie umiejętność precyzyjnego formułowania zadań i oceny wyników, a nie wcześniejsze doświadczenie w programowaniu. Firma prześledziła zachowania około 235 tysięcy użytkowników na przestrzeni siedmiu miesięcy i podzieliła ich na nowicjuszy oraz ekspertów w zależności od sposobu korzystania z narzędzia.

Raport, zatytułowany "Agentic coding and persistent returns to expertise", powstał na podstawie transkryptów analizowanych z zachowaniem prywatności przez klasyfikatory oparte na modelu Claude. Autorami są Zoe Hitzig, Maxim Massenkoff, Eva Lyubich, Ryan Heller i Peter McCrory z zespołu badawczego Anthropic. Zamiast pytać, ile linijek kodu napisał dany użytkownik, badacze sprawdzali, jak precyzyjnie potrafi rozłożyć problem na kroki i ocenić, czy odpowiedź agenta jest poprawna.

Nowicjusze kontra eksperci

Różnica między grupami widoczna jest już na poziomie pojedynczego polecenia. W typowej sesji nowicjusza jeden prompt uruchamia około pięciu działań Claude'a i generuje mniej więcej 600 słów odpowiedzi. W sesji eksperta ten sam prompt wyzwala już dwanaście działań i ponad 3200 słów, czyli ponad dwukrotnie dłuższy łańcuch akcji i pięciokrotnie więcej tekstu wynikowego.

Przekłada się to bezpośrednio na skuteczność. Wśród nowicjuszy w pełni zweryfikowany sukces notowano w 15 proc. sesji, a jakikolwiek częściowy postęp w 77 proc. U ekspertów te wartości rosną odpowiednio do 28-33 proc. i 91-92 proc. Nowicjusze niemal czterokrotnie częściej porzucają sesję bez żadnego rezultatu niż użytkownicy zaawansowani.

Zmiana charakteru pracy

Autorzy raportu zwracają uwagę na wyraźną ewolucję sposobu korzystania z Claude Code w badanym okresie. Udział sesji poświęconych naprawianiu błędów w kodzie spadł z 33 do 19 procent, podczas gdy rósł udział zadań związanych z operowaniem oprogramowaniem, planowaniem i analizą danych. Innymi słowy, agent coraz rzadziej służy wyłącznie do gaszenia pożarów, a coraz częściej do szerszych zadań organizacyjnych i decyzyjnych.

W ujęciu kategorii zadań pisanie nowego kodu odpowiada za 25 procent sesji, naprawianie błędów za 26 procent, testowanie i porządkowanie za 5 procent, a pozostałe 44 procent przypada na operowanie oprogramowaniem, planowanie, eksplorację oraz analizę danych i dokumentację. Raport podkreśla też, że średnia wartość wykonywanych zadań rosła w czasie o 27 procent ogółem, a w przypadku budowania nowych funkcji nawet o 43 procent.

Podział ról między człowiekiem a modelem

Anthropic policzył też, kto podejmuje jakie decyzje w trakcie współpracy z agentem. Z danych wynika, że użytkownicy odpowiadają za około 70 procent decyzji planistycznych, czyli ustalania co ma zostać zrobione, natomiast Claude przejmuje około 80 procent decyzji wykonawczych dotyczących tego, jak dane zadanie zrealizować. Taki podział pracy pokrywa się z obserwacją, że kluczową umiejętnością człowieka staje się precyzyjne definiowanie problemu, a nie ręczne pisanie każdej linijki kodu.

Osoba z opanowaną wiedzą branżową w dowolnej dziedzinie może dziś wykonywać pracę techniczną, której wcześniej nie byłaby w stanie zrobić - z raportu Anthropic "Agentic coding and persistent returns to expertise"

Nie tylko inżynierowie

Jednym z bardziej zaskakujących wniosków raportu jest niewielka różnica w skuteczności między inżynierami oprogramowania a osobami z innych zawodów. Inżynierowie osiągają 30 procent zweryfikowanego sukcesu w sesjach kodowania, a przedstawiciele pozostałych dziesięciu najliczniejszych grup zawodowych mieszczą się w granicach 4-5 punktów procentowych od tego wyniku. Wśród zawodów najszybciej zwiększających użycie Claude Code w agentowym kodowaniu Anthropic wymienia zarządzanie, sprzedaż i prawo, a więc branże tradycyjnie odległe od inżynierii oprogramowania.

Dla polskich firm i zespołów IT wnioski z raportu mają praktyczne znaczenie przy planowaniu wdrożeń agentów kodujących. Jeśli o skuteczności decyduje przede wszystkim umiejętność jasnego opisania problemu i weryfikacji wyniku, a nie sam staż programistyczny, inwestycja w szkolenie pracowników z formułowania zadań może przynieść większy zwrot niż samo udostępnienie narzędzia zespołowi technicznemu.

Raport pokazuje też, że korzyści z agentowego kodowania rosną z czasem używania narzędzia, a nie tylko z jednorazowego przeszkolenia. Wzrost wartości wykonywanych zadań o 27 procent w ciągu siedmio miesięcy sugeruje, że organizacje, które already wdrożyły Claude Code, wciąż uczą się efektywniej z niego korzystać, zamiast osiągać plateau po pierwszych tygodniach.

Anthropic nie podał, czy planuje kolejną edycję badania ani czy podobna analiza obejmie inne narzędzia z rodziny Claude. Firma zaznacza jednak, że dane pochodzą wyłącznie z sesji interaktywnych prowadzonych przez wiersz poleceń, aplikację desktopową oraz Claude.ai, więc nie obejmują zastosowań agenta w zautomatyzowanych potokach bez udziału człowieka.