gik|iewicz

Dwóch badaczy opublikowało 116-stronicowy dokument pokazujący, jak wyciągnąć ukryte ślady rozumowania z API każdego komercyjnego modelu językowego. Atak działa na OpenAI, Anthropic oraz Google, a liczba odzyskanych bloków myślowych idzie w setki tysięcy.

• Jak działa atak na ślady rozumowania w komercyjnych modelach językowych?
• Dlaczego zaszyfrowane bloki CoT można przenosić między sesjami?
• Ile kluczy API wyciekło przez publiczne logi agentów AI?
• Jak przebiega proces dekodowania ukrytych myśli modelu?
• Jakie dane wyciekają wraz ze śladami rozumowania z płatnych API?

TL;DR: Luka w architekturze API pozwala na ekstrakcję zaszyfrowanych śladów rozumowania z modeli takich jak Claude, GPT czy Gemini. Badacze zdekodowali 315 320 bloków myślowych pobranych z publicznych repozytoriów. Ponadto odkryli 182 aktywne klucze API pozostawione w logach przez programistów. Podatność dotyczy każdej platformy oferującej płatne API z ukrytym łańcuchem wnioskowania.

Jak działa atak na ślady rozumowania w komercyjnych modelach językowych?

Luka polega na przechwytywaniu zaszyfrowanych bloków łańcucha wnioskowania (chain-of-thought), które dostawcy przesyłają z powrotem do klienta w odpowiedzi API. Badacze udowodnili, że liczba odzyskanych tokenów rozumowania odpowiada jeden do jednego z tokenami rozliczanymi przez API. Zatem atakujący może zweryfikować poprawność ekstrakcji porównując rachunki. To działa bez łamania samego algorytmu szyfrującego. Skupia się na słabościach implementacji interfejsów programistycznych. Frontowe modele AI zwracają te dane, ponieważ architektura klient-serwer wymaga ich przesyłania w celach rozliczeniowych i kontekstowych. Co więcej, zaszyfrowane bloki można odtworzyć w innych sesjach i modelach.

Otóż podatność dotyczy każdego dostawcy komercyjnego API, który ukrywa proces myślenia przed użytkownikiem. Zaszyfrowane odpowiedzi można przechwycić, zapisać i przeanalizować. Badacze opublikowali szczegóły w 116-stronicowym artykule naukowym udostępnionym publicznie. Źródło: A New Trick Reveals AI Models’ Inner Thoughts | WIRED.

Dlaczego zaszyfrowane bloki CoT można przenosić między sesjami?

Zaszyfrowane bloki łańcucha wnioskowania zwracane przez Anthropic, OpenAI i Google są wymienne między różnymi sesjami, użytkownikami oraz modelami. Badacze pobrali 315 320 takich bloków z publicznie dostępnych repozytoriów kodu. Następnie zdekodowali je, uzyskując pełen dostęp do ukrytych przemyśleń sztucznej inteligencji. Przede wszystkim ujawnia to wrażliwe dane firm budujących aplikacje oparte na LLM. Logiki biznesowe ujawniają konkurencji sposoby konstruowania zapytań i podejścia do rozwiązywania problemów. Mimo to dostawcy API nadal przesyłają te dane w formie zaszyfrowanej do klienta końcowego. Z tego powodu atakujący nie musi włamywać się do serwerów dostawcy. Wystarczy, że przechwyci ruch sieciowy lub znajdzie logi w publicznych repozytoriach. Więcej szczegółów na ten temat opisuje Stealing Reasoning Traces from Proprietary LLM APIs.

W praktyce wygląda to groźnie.

Ile kluczy API wyciekło przez publiczne logi agentów AI?

Badacze odkryli 182 aktywne klucze API w publicznych logach pozostawionych przez programistów agentów AI. Z kolei inne źródła mówią o 62 takich kluczach wykrytych przez zespół z AI Governance Institute. Klucze te pozwalały na bezpośrednie odpytywanie komercyjnych modeli językowych bez ponoszenia kosztów. Atakujący mogą użyć ich do generowania odpowiedzi, drenażu środków z kont, lub dalszej ekstrakcji śladów rozumowania. Wobec tego publikacja kodu z wbudowanymi logami na platformach typu GitHub staje się poważnym zagrożeniem. Podobny wektor ataku opisywałem wcześniej w kontekście kradzieży tokena GitHub jednym kliknięciem przez błąd w VSCode. Najważniejsze to nigdy nie logować surowych odpowiedzi z API zawierających nagłówki autoryzacyjne. Rekomenduję dokładne audyty zależności i skryptów logujących przed wypuszczeniem kodu na produkcję. Pełen opis wycieku znajduje się w raporcie explainx.ai Blog.

Jak przebiega proces dekodowania ukrytych myśli modelu?

Proces polega na wstrzykiwaniu przechwyconych śladów rozumowania z silnych modeli, takich jak Claude Opus, do słabszych narzędzi. Następnie atakujący stosuje technikę jailbreak na słabszym modelu. W rezultacie słabsza sztuczna inteligencja odtwarza tekstowy zapis ukrytego rozumowania w formie jawnej. Badacze udowodnili, że ta metoda pozwala na ominięcie zabezpieczeń bez bezpośredniego ataku na model docelowy. Choć dostawcy twierdzą, że szyfrowanie chroni ich własność intelektualną, atak udowadnia, że można je łatwo złamać pośrednio. Weryfikacja odbywa się poprzez porównanie liczby tokenów rozliczanych przez API z liczbą odzyskanych tokenów. Zestawienie to wynosi dokładnie jeden do jednego dla większości przetestowanych zapytań. Źródło: Alexander Panfilov na X.

To potwierdza skuteczność metody.

Jakie dane wyciekają wraz ze śladami rozumowania z płatnych API?

Kradzież śladów rozumowania z komercyjnych modeli językowych ujawnia znacznie więcej niż same przemyślenia maszyny. Wyciek obejmować może wrażliwe instrukcje systemowe, ukryte reguły biznesowe, logikę działania agentów oraz dane użytkowników zaszyte w zapytaniach. Poniższa tabela przedstawia główne kategorie zagrożeń wynikających z podatności:

Co więcej, ujawnienie tych danych pozwala konkurencji na szybkie sklonowanie całego zachowania komercyjnych narzędzi bez ponoszenia kosztów badawczo-rozwojowych. Zjawisko to dotyczy nie tylko dostawców modeli, ale przede wszystkim firm budujących na nich swoje produkty. Szczegółową analizę tego zjawiska przedstawia raport Neura Market. Warto sprawdzić ten materiał, aby zrozumieć pełen zakres zagrożenia dla aplikacji opartych na Prompt API.

To otwiera drogę do dalszych analiz.

Które dostawcy komercyjnych API są podatni na kradzież śladów rozumowania?

Podatność dotyczy wszystkich czołowych dostawców komercyjnego API, w tym OpenAI, Anthropic oraz Google. Badacze udowodnili, że zaszyfrowane bloki łańcucha wnioskowania zwracane przez te firmy można przechwycić i zdekodować. Co więcej, twórcy modeli nie mogą łatwo załatać tej luki bez przebudowy całego systemu rozliczeń. Źródło: Stealing Reasoning Traces from Proprietary LLM APIs.

Otóż architektura API wymaga przesyłania zaszyfrowanych myśli do klienta w celach księgowych. System sprawdza liczbę tokenów rozumowania, aby prawidłowo obciążyć konto użytkownika. Z tego powodu dostawcy muszą wysyłać te dane poza własne serwery. Jednakże właśnie ten mechanizm tworzy lukę umożliwiającą kradzież śladów rozumowania z komercyjnych modeli językowych.

To poważny problem strukturalny.

Czym jest atak polegający na wstrzykiwaniu śladów do słabszych modeli?

Atak polega na przechwyceniu zaszyfrowanych śladów rozumowania z silnych modeli, takich jak Claude Opus, i wstrzyknięciu ich do słabszych narzędzi.

Metoda ta jest skuteczna.

Ponadto technika ta całkowicie omija zabezpieczenia szyfrujące dostawców. Słabszy model działa jako narzędzie deszyfrujące, ponieważ przetwarza zaszyfrowane dane jako część nowego kontekstu. Wobec tego atakujący uzyskuje dostęp do ukrytych przemyśleń sztucznej inteligencji. Zatem metoda ta udowadnia, że samo szyfrowanie nie chroni skutecznie własności intelektualnej. Szczegółowe informacje o budowie bezpiecznych aplikacji znajdziesz w tekście o Budowaniu fundamentów do uruchamiania bardzo dużych modeli językowych.

Jak weryfikuje się poprawność skradzionych tokenów rozumowania?

Badacze udowodnili, że zestawienie to wynosi dokładnie jeden do jednego dla większości przetestowanych zapytań. Zatem atakujący może natychmiast potwierdzić sukces ataku, sprawdzając rachunki za API.

To dowodzi precyzji metody.

Skoro liczby się pokrywają, nie ma miejsca na błąd w dekodowaniu. Atakujący otrzymuje pełny i nienaruszony łańcuch wnioskowania oryginalnego modelu. Mimo to programiści często nie zdają sobie sprawy z tej usterki. Dlatego audyt kodu i logów staje się absolutnie konieczny przed wdrożeniem aplikacji opartych na Prompt API.

Jakie konsekwencje biznesowe niesie kradzież śladów rozumowania?

Konkurencja może sklonować całe zachowanie aplikacji bez ponoszenia kosztów badawczo-rozwojowych. Ponadto wyciek wrażliwych danych użytkowników zaszytych w zapytaniach grozi naruszeniem RODO. Źródło: Neura Market.

Skutki bywają opłakane dla firm.

Poniżej znajduje się lista głównych zagrożeń wynikających z tej podatności:

• Ujawnienie pełnych promptów systemowych niszczące przewagi rynkowe.
• Skopiowanie logiki podejmowania decyzji przez autonomiczne agenty AI.
• Wyciek fragmentów zapytań zawierających dane osobowe klientów.
• Drenaż budżetu chmurowego przez nieautoryzowane użycie skradzionych kluczy.
• Szybkie sklonowanie funkcjonalności komercyjnych narzędzi przez konkurencję.
• Naruszenie przepisów o ochronie danych osobowych.
• Utrata zaufania inwestorów i partnerów biznesowych.

Jakie działania zapobiegawcze mogą ograniczyć ryzyko kradzieży CoT?

Aby ograniczyć ryzyko kradzieży śladów rozumowania, programiści muszą rygorystycznie kontrolować logi aplikacji. Należy bezwzględnie unikać publikowania surowych odpowiedzi z API w publicznych repozytoriach kodu. Ponadto rekomenduje się wdrożenie automatycznych skanerów wykrywających klucze dostępowe przed pushem. Źródło: explainx.ai Blog.

Bezpieczeństwo wymaga proaktywnego podejścia.

Wobec tego firmy powinny wdrożyć procedury ciągłego monitorowania ruchu sieciowego. Należy również regularnie rotować klucze API, aby zminimalizować skutki ewentualnego wycieku. Zatem podstawowa higiena cyfrowa staje się pierwszą linią obrony. Podobne wektory ataku opisywałem przy okazji omawiania problemu kradzieży tokena GitHub jednym kliknięciem przez błąd w VSCode.

Często zadawane pytania

Ile kluczy API wyciekło przez publiczne logi agentów AI?

Należy natychmiast skanować kod za pomocą narzędzi typu trufflehog i rotować poświadczenia.

Czy zaszyfrowane bloki rozumowania można przenosić między różnymi modelami?

Tak, badacze pobrali 315 320 bloków z publicznych repozytoriów i zdekodowali je w innych sesjach (explainx.ai). Wymaga to traktowania każdego zaszyfrowanego łańcucha wnioskowania jako danych wrażliwych.

Jak atakujący odtwarza tekstowy zapis ukrytego rozumowania sztucznej inteligencji?

Atakujący wstrzykuje zaszyfrowane ślady z Claude Opus do słabszego modelu i stosuje jailbreak (Alexander Panfilov na X). Słabszy model działa jako dekoder, co udowadnia brak skuteczności samego szyfrowania API.

Czy liczba skradzionych tokenów rozumowania odpowiada rachunkom za API?

Tak, weryfikacja wykazała dokładne zestawienie jeden do jednego dla większości przetestowanych zapytań (Alexander Panfilov na X). Atakujący może porównać odzyskane tokeny z fakturami, aby potwierdzić sukces ataku.

Podsumowanie

Luka architektoniczna pozwala na ekstrakcję zaszyfrowanych myśli z modeli OpenAI, Anthropic oraz Google. Co więcej, przenoszenie tych bloków między sesjami umożliwia łatwe odtworzenie ukrytej logiki biznesowej. Znalezienie 182 aktywnych kluczy API w publicznych logach dodatkowo potęguje ryzyko. Dlatego programiści muszą wdrożyć rygorystyczne procedury bezpieczeństwa i bezwzględnie unikać logowania surowych odpowiedzi z interfejsów programistycznych. Podobne zagrożenia omawiam również w artykule o Sprzeciwie Mozilli wobec API Prompt w Chrome. Sprawdź swoje repozytoria kodu już dziś i zabezpiecz wszystkie poufne dane.