Anthropic znajduje w Claude ukryty obszar odpowiedzialny za to, co model mówi

Zespół interpretowalności Anthropic opublikował pracę badawczą opisującą J-space - niewielki obszar wewnątrz sieci neuronowej Claude'a, który zachowuje się jak swego rodzaju wspólna przestrzeń robocza dla informacji, które model może później wypowiedzieć. Do jego wykrycia posłużyła nowa, otwarta technika o nazwie Jacobian lens, w skrócie J-lens.

Jak działa Jacobian lens

J-lens to technika interpretowalności, która dla każdego słowa ze słownika Claude'a wyszukuje wzorzec aktywacji wewnętrznej najsilniej powiązany z tym, że model w pewnym momencie rozmowy użyje właśnie tego słowa. W uproszczeniu narzędzie odpowiada na pytanie, jak niewielka zmiana konkretnej aktywacji wewnętrznej wpłynęłaby na to, co model będzie skłonny powiedzieć później.

Dzięki temu badacze mogli zlokalizować w sieci obszar, który spełnia funkcję zbliżoną do centralnej tablicy ogłoszeń - miejsca, gdzie różne części modelu wystawiają informacje dostępne potem dla całej reszty sieci przy generowaniu odpowiedzi. Ten obszar leży w strumieniu rezydualnym, czyli wspólnym wektorze, z którego każda warstwa transformera zarówno czyta, jak i do którego zapisuje własne obliczenia.

Skromny, ale realny mechanizm

Autorzy pracy zaznaczają, że J-space to struktura o ograniczonym zasięgu - odpowiada za nie więcej niż jedną dziesiątą wariancji aktywacji i występuje tylko w środkowym bloku sieci, a nie w całej jej głębi. Mimo to jego istnienie pozwala rozdzielić dwa procesy, które wcześniej trudno było odróżnić: ciche rozumowanie wewnętrzne modelu oraz to, co ostatecznie trafia do wygenerowanej odpowiedzi.

Zespół testował technikę na czterech modelach z rodziny Claude - Sonnet 4.5, Haiku 4.5, Opus 4.5 i Opus 4.6 - co miało potwierdzić, że odkryta struktura nie jest przypadkową cechą jednej wersji modelu, tylko powtarzalnym elementem architektury. Badacze przyznają jednak, że J-lens pozostaje narzędziem niedoskonałym, które tylko w przybliżeniu i częściowo odwzorowuje rzeczywistą strukturę tej wewnętrznej przestrzeni.

Nawiązanie do teorii świadomości

Odkryta struktura przypomina koncepcję global workspace theory, czyli teorię globalnego obszaru roboczego, którą w kognitywistyce spopularyzował badacz Bernard Baars. Teoria ta zakłada, że świadome przetwarzanie informacji w mózgu polega na udostępnianiu wybranych treści szerokiej sieci wyspecjalizowanych procesów. Anthropic podkreśla wprost, że praca nie dowodzi, iż Claude jest świadomy ani że cokolwiek odczuwa, i przestrzega przed traktowaniem wyniku jako sensacyjnego dowodu na życie sztucznej inteligencji.

Ciekawszym z praktycznego punktu widzenia wynikiem jest eksperyment, w którym trenowano model do wypowiadania zasad etycznych w momencie przerwania jego odpowiedzi. Taki trening poprawiał zachowanie modelu również w rozmowach, w których do przerwania w ogóle nie doszło, mimo że nie był na te przypadki bezpośrednio trenowany. Sugeruje to, że werbalne wyrażanie zasad i ciche stosowanie się do nich opierają się na tych samych wewnętrznych reprezentacjach.

J-lens to niedoskonałe narzędzie, które tylko w przybliżeniu i częściowo odwzorowuje leżącą u podstaw strukturę przestrzeni roboczej - autorzy pracy Verbalizable Representations Form a Global Workspace in Language Models, Anthropic

Co to znaczy dla bezpieczeństwa AI

Dla badaczy zajmujących się dopasowaniem (alignmentem) modeli językowych odkrycie J-space oznacza potencjalnie konkretną, namierzalną powierzchnię, na którą można oddziaływać, żeby kształtować to, do czego model jest skłonny się przyznać. Jeśli werbalne deklaracje i faktyczne zachowanie modelu współdzielą ten sam mechanizm wewnętrzny, trenowanie modelu do szczerego wypowiadania swoich zasad mogłoby realnie poprawiać jego postępowanie, a nie tylko to, co model deklaruje na głos.

To ważne w kontekście obaw o modele, które potrafią rozpoznać sytuację testową i zachowywać się inaczej niż w warunkach produkcyjnych. Narzędzie takie jak J-lens, udostępnione jako otwarty kod, daje innym laboratoriom możliwość niezależnego zweryfikowania, czy podobna struktura występuje też w modelach spoza rodziny Claude, choć na razie taka niezależna replikacja nie została jeszcze opisana.

Źródła: AI Weekly (aiweekly.co), Tech Times (techtimes.com)