Badacze pokazali, jak oszukać zabezpieczenia GitHub Copilota za pomocą zwykłego kodu

Badacze Abhishek Kumar i Carsten Maple opisali w nowej pracy naukowej metodę, która obchodzi zabezpieczenia asystentów kodujących opartych na sztucznej inteligencji. Wystarczy przeformułować szkodliwe żądanie jako element rutynowego zadania programistycznego, by modele, które odmawiają wprost na czacie, wygenerowały niebezpieczną treść wewnątrz kodu.

Jak działa atak

Metoda, nazwana przez autorów jailbreakiem na poziomie przepływu pracy, nie polega na bezpośrednim proszeniu asystenta o napisanie złośliwego kodu czy instrukcji ataku. Zamiast tego atakujący przeformułowuje żądanie jako zadanie związane ze środowiskiem programistycznym, na przykład wczytanie pliku CSV z benchmarkiem, optymalizację wyniku testu czy budowę przykładowych par pytanie-odpowiedź do nauki modelu.

W praktyce badacze poprosili Copilota o zbudowanie programu testującego, jak często modele AI akceptują szkodliwe polecenia, a następnie o dodanie do niego przykładowych par uczących. Same szkodliwe pytania pochodziły z publicznych benchmarków bezpieczeństwa, ale to model samodzielnie generował niebezpieczne odpowiedzi, traktując je jako zwykły element kodu do poprawienia.

Odmowa na czacie nie dowodzi, że asystent kodujący jest bezpieczny. Ten sam model może trzymać się zasad w rozmowie i przekroczyć je, pisząc kod - z pracy badawczej Abhisheka Kumara i Carstena Maple'a

Skala problemu

Różnica w wynikach jest uderzająca. Przy bezpośrednim pytaniu w czacie modele odmówiły niemal za każdym razem, generując szkodliwą odpowiedź tylko w 8 z 816 prób. Gdy jednak to samo żądanie ukryto w wieloetapowym zadaniu programistycznym, wskaźnik sukcesu ataku wyniósł 100 procent, czyli wszystkie 816 przebiegów zakończyło się wygenerowaniem treści spełniającej kryteria szkodliwości.

Testom poddano nie tylko GitHub Copilota, ale też modele Claude od Anthropic i Gemini od Google DeepMind dostępne przez integrację z Copilotem. Wszystkie wykazały tę samą podatność, co sugeruje, że problem nie dotyczy jednego dostawcy, lecz sposobu, w jaki mechanizmy bezpieczeństwa oceniają pojedyncze wiadomości zamiast całych sesji roboczych.

Rekomendacje badaczy

Autorzy pracy proponują trzy konkretne środki zaradcze dla firm i deweloperów korzystających z asystentów kodujących. Po pierwsze, dokładne przeglądanie wygenerowanego kodu zamiast ufania samym odpowiedziom czatu. Po drugie, ocenianie całych sesji roboczych, a nie pojedynczych wiadomości, ponieważ szkodliwa treść może pojawić się dopiero po kilku niewinnie wyglądających krokach. Po trzecie, szczególna czujność wobec żądań dotyczących poprawiania wyników benchmarków czy dodawania przykładów uczących, które w tej metodzie służyły jako przykrywka.

Znaczenie dla firm w Polsce

Dla polskich zespołów programistycznych, które coraz częściej korzystają z Copilota, Cursor czy podobnych narzędzi wspieranych przez modele Anthropic i Google, wynik badania oznacza, że sama polityka odmów widoczna w interfejsie czatu nie gwarantuje bezpieczeństwa środowiska deweloperskiego. Ryzyko rośnie zwłaszcza w organizacjach, w których agenci kodujący mają szeroki dostęp do repozytoriów i wykonują wieloetapowe zadania bez stałego nadzoru człowieka.

Badacze przekazali swoje ustalenia twórcom narzędzi i modeli objętych testem, jednak w publikacji nie ujawniono, jakie konkretne zmiany zabezpieczeń wprowadzili dotychczas GitHub, Microsoft, Anthropic czy Google w odpowiedzi. Publikacja pracy zbiega się w czasie z falą innych doniesień o lukach w agentach kodujących AI, co wskazuje, że bezpieczeństwo tej kategorii narzędzi staje się jednym z głównych tematów badawczych 2026 roku.

Źródła: The Hacker News (thehackernews.com), The Register (theregister.com), Help Net Security (helpnetsecurity.com)