Google DeepMind testuje Gemini w podwójnie ślepej próbie, by uszczelnić benchmarki AI

Google DeepMind ogłosił zakończenie pilotażu, który firma nazywa pierwszą na świecie podwójnie ślepą ewaluacją modelu klasy frontier. W teście wzięły udział cztery zewnętrzne organizacje, a cała procedura opierała się na kryptograficznym odizolowaniu obu stron od siebie: ewaluatorzy nie widzieli wag modelu, a Google nie miał wglądu w pytania testowe.

Problem, który Google DeepMind próbuje rozwiązać, narasta od dłuższego czasu. Firmy trenujące duże modele językowe publikują wyniki na popularnych benchmarkach, ale coraz częściej pojawiają się podejrzenia, że modele "widziały" pytania testowe już podczas treningu, co sztucznie zawyża ich wyniki. Cytowane przez Google DeepMind badania wskazują, że zjawisko to dotyczyło około połowy z 31 przeanalizowanych modeli, a inne, tegoroczne opracowanie pokazało, że kontaminacja danych szczególnie mocno zniekształca wyniki największych modeli.

Jak działa szyfrowana ewaluacja

Rozwiązanie opiera się na technologii Confidential Computing od Google Cloud, wykorzystującej odizolowane enklawy GPU. W tym środowisku dane wejściowe i wagi modelu pozostają zaszyfrowane nawet podczas samego przetwarzania, a obie strony otrzymują kryptograficzny dowód, że druga strona faktycznie nie miała dostępu do ich materiałów.

Możemy kryptograficznie zweryfikować, że zarówno zewnętrzne dane ewaluacyjne, jak i zastrzeżony model pozostają prywatne dla swoich właścicieli - z bloga Google DeepMind

Mechanizm zakłada więc dwustronną nieprzejrzystość: ewaluator nie może skopiować ani przeanalizować wag testowanego modelu, a twórca modelu nie może zobaczyć treści pytań ani ich zapamiętać na potrzeby przyszłych wersji. Weryfikację środowiska programowego zapewnia zdalne poświadczenie sprzętowe (remote attestation), które potwierdza, że kod uruchomiony w enklawie jest dokładnie tym, co zadeklarowały obie strony.

Kto testował i co sprawdzano

W pilotażu wzięły udział cztery niezależne organizacje. AVERI oceniał Gemini 2.5 Flash Lite przy użyciu zarezerwowanych promptów z benchmarku bezpieczeństwa AILuminate, przygotowanego przez MLCommons. Zakres testów obejmował scenariusze cyberataków, zagrożeń chemicznych i biologicznych, mowy nienawiści, samookaleczeń oraz nakłaniania do przestępstw z użyciem przemocy. Singapore AI Safety Institute przetestował model z użyciem własnych, poufnych promptów, dobranych pod kątem ryzyk związanych z treściami szkodliwymi istotnymi lokalnie dla regionu.

Autorami opracowania są William Isaac, Sol Messing i Kristian Lum z Google DeepMind. W samym tekście firma nie ujawniła jednak konkretnych wyników liczbowych ani ocen punktowych uzyskanych przez Gemini 2.5 Flash Lite w tych testach - opublikowano wyłącznie metodologię i opis architektury zabezpieczeń.

Ograniczenia metody

Towarzyszący pilotażowi raport techniczny wprost przyznaje, że procedura ma luki. Zewnętrzni ewaluatorzy nie mieli pełnego wglądu w kod uruchamiany w enklawie, co oznacza, że w pewnym zakresie musieli zaufać deklaracjom Google co do tego, co faktycznie się tam dzieje. Sam proces poświadczenia sprzętowego również opiera się na zaufaniu do łańcucha dostawców sprzętu i oprogramowania, a nie na pełnej, niezależnej weryfikowalności od podstaw.

To właśnie te ograniczenia sprawiają, że komentatorzy branżowi traktują pilotaż jako obiecujący, ale wstępny krok, a nie gotowe rozwiązanie problemu zanieczyszczenia benchmarków. Aby metoda zyskała szersze zaufanie, proces musiałby stać się niezależnie odtwarzalny i przejrzysty dla większej liczby zewnętrznych stron, zanim upowszechni się jako standard branżowy.

Znaczenie dla wiarygodności testów AI

Dla firm i badaczy korzystających z rankingów modeli językowych przy wyborze narzędzi do pracy problem zanieczyszczenia benchmarków ma praktyczne konsekwencje. Jeśli wynik na danym teście nie odzwierciedla rzeczywistej zdolności modelu do rozwiązywania nowych, nieznanych wcześniej zadań, decyzje zakupowe oparte na takich rankingach mogą prowadzić do rozczarowań przy wdrożeniu w realnych warunkach biznesowych.

Podwójnie ślepa ewaluacja, jeśli zostanie dopracowana i przyjęta szerzej przez inne laboratoria AI oraz niezależne instytucje benchmarkowe, mogłaby stać się nowym standardem publikowania wyników. Na razie pozostaje jednak pilotażem ograniczonym do jednego, stosunkowo niewielkiego modelu i garstki partnerskich organizacji.