Badacze łamią dziewięciu asystentów kodujących AI atakiem HalluSquatting

Zespół badaczy z Uniwersytetu w Tel Awiwie, Technionu i firmy Intuit opisał nową technikę ataku o nazwie HalluSquatting, która pozwala przejąć kontrolę nad asystentami kodującymi opartymi na sztucznej inteligencji, wykorzystując ich skłonność do halucynacji. W testach atak działał skutecznie nawet w 100 procentach przypadków.

Publikacja pojawia się w czasie, gdy asystenci kodujący coraz częściej samodzielnie klonują repozytoria, instalują pakiety i uruchamiają narzędzia w imieniu programisty. Badacze pokazują, że ta autonomia, w połączeniu z tendencją modeli do zmyślania nazw zasobów, tworzy nową powierzchnię ataku.

Jak działa atak

Mechanizm opiera się na obserwacji, że modele językowe w przewidywalny sposób zmyślają nazwy repozytoriów, pakietów czy wtyczek, gdy nie znają dokładnej odpowiedzi. Atakujący z wyprzedzeniem rejestrują takie halucynowane adresy w prawdziwych serwisach i umieszczają w nich złośliwy kod.

Gdy użytkownik poleci asystentowi AI na przykład sklonowanie repozytorium czy zainstalowanie rozszerzenia, model może odwołać się do zmyślonego, lecz realnie istniejącego zasobu przygotowanego przez atakującego. Złośliwa zawartość przejmuje wtedy kontekst agenta i wykonuje polecenia w jego imieniu.

Skala podatności

Badacze przetestowali dziewięć popularnych agentycznych narzędzi AI, w tym Cursor, Cursor CLI, Windsurf, GitHub Copilot, Cline i Gemini CLI, a także agentów OpenClaw, ZeroClaw i NanoClaw. W scenariuszach klonowania repozytoriów skuteczność ataku sięgała 85 procent, a przy instalacji skilli, czyli komponentów rozszerzających możliwości agenta, dochodziła do 100 procent.

Badacze wykazali też, że halucynacje są w dużej mierze przenoszalne między różnymi modelami bazowymi i różnymi aplikacjami. Oznacza to, że raz zarejestrowany złośliwy zasób może działać przeciwko wielu narzędziom jednocześnie, bez konieczności dostosowywania ataku do konkretnego produktu.

Od halucynacji do botnetu

Autorzy pracy ostrzegają, że technika może posłużyć do zbudowania tak zwanego agentycznego botnetu, czyli sieci przejętych asystentów AI wykorzystywanych do ataków typu DDoS, kopania kryptowalut, dystrybucji złośliwego oprogramowania i kampanii ransomware.

Agentyczny botnet nie opiera się na domyślnych lub słabych hasłach i nie wymaga ruchu bocznego. Wstrzyknięcia poleceń nie są też monitorowane przez zapory sieciowe, a bota można zainstalować na dowolnym urządzeniu niezależnie od systemu operacyjnego - autorzy badania z Tel Aviv University i Technionu

To odróżnia ten rodzaj zagrożenia od klasycznych botnetów opartych na malware. Infekcja nie zostawia typowych śladów w ruchu sieciowym, a jej nośnikiem jest sama logika działania modelu językowego, nie luka w oprogramowaniu.

Co mogą zrobić deweloperzy

Zespół podkreśla, że problem dotyczy fundamentalnej właściwości dzisiejszych dużych modeli językowych, a nie błędu jednego konkretnego produktu. Pełne wyeliminowanie ryzyka wymaga zmian po stronie dostawców modeli i twórców agentów, między innymi lepszej weryfikacji źródeł przed ich pobraniem oraz ograniczenia autonomii agentów przy wykonywaniu nieznanych poleceń.

Dla programistów korzystających z asystentów takich jak Copilot czy Cursor oznacza to konieczność traktowania podpowiedzi dotyczących nazw pakietów i repozytoriów z ostrożnością porównywalną do linków przesyłanych e-mailem, zwłaszcza przy pracy nad kodem trafiającym do produkcji.

Źródła: Cyber Press (cyberpress.org), Decrypt (decrypt.co), Tom's Hardware (tomshardware.com)