ChatGPhish: złośliwe linki w podsumowaniach AI

TL;DR

ChatGPhish pokazuje, że phishing może pojawić się nie tylko w e-mailu, SMS-ie albo na fałszywej stronie. Może trafić do podsumowania wygenerowanego przez asystenta AI, jeśli użytkownik poprosi o streszczenie strony zawierającej treść kontrolowaną przez atakującego.

Permiso Security opisało scenariusz, w którym strona internetowa staje się nośnikiem ataku. Użytkownik odwiedza stronę, prosi ChatGPT o jej podsumowanie, a ukryta lub specjalnie przygotowana treść ze strony wpływa na odpowiedź. W efekcie w zaufanym interfejsie AI mogą pojawić się klikalne linki, zdalne obrazy, kody QR albo fałszywe alerty wyglądające jak część odpowiedzi asystenta.

Najważniejszy wniosek dla firm: podsumowanie AI nie jest automatycznie bezpieczniejsze od strony, którą opisuje. Jeżeli asystent renderuje linki, obrazy lub QR kody pochodzące z zewnętrznej treści, użytkownik nadal musi traktować je jak element niezweryfikowanego źródła.

Strona staje się nośnikiem ataku

W klasycznym modelu phishingu użytkownik dostaje link i decyduje, czy go kliknąć. W scenariuszu ChatGPhish droga jest inna. Użytkownik może wejść na zwykłą stronę: dokumentację, blog, repozytorium, opis produktu, portal pomocy albo landing page. Następnie prosi asystenta AI o podsumowanie tej strony.

Na tym etapie zaufanie przesuwa się z przeglądarki do interfejsu AI. Użytkownik nie patrzy już na surową stronę, lecz na uporządkowaną odpowiedź asystenta. To odpowiedź wygląda wiarygodnie, profesjonalnie i znajomo. Problem zaczyna się wtedy, gdy elementy kontrolowane przez autora strony zostają przeniesione do tej odpowiedzi jako aktywne linki, obrazy lub komunikaty.

Permiso Security opisało to jako sytuację, w której strona jest payloadem. To trafne określenie, bo złośliwa treść nie musi być dostarczona pocztą ani załącznikiem. Wystarczy, że znajduje się w miejscu, które użytkownik sam odwiedza i później podsumowuje z użyciem AI.

Dla firm to nowy wariant starego problemu. Atakujący nie musi przekonać użytkownika, że fałszywa strona jest zaufana. Może spróbować sprawić, aby zaufany asystent pokazał fragment tej strony w bardziej wiarygodnym opakowaniu.

Dlaczego zaufanie do AI wzmacnia phishing

Użytkownicy coraz częściej używają asystentów AI do pracy z treścią: streszczania artykułów, dokumentacji, raportów, stron dostawców, repozytoriów, ofert, regulaminów i komunikatów. To skraca czas pracy, ale tworzy nową powierzchnię decyzji.

Gdy link pojawia się na obcej stronie, użytkownik może być ostrożny. Gdy ten sam link pojawia się w odpowiedzi asystenta, może wyglądać jak część opracowania. Asystent nie musi celowo zachęcać do phishingu. Wystarczy, że wyrenderuje link Markdown, obraz lub QR kod pochodzący z treści zewnętrznej i nie pokaże jasno, skąd ten element pochodzi.

Permiso wskazało również wariant fałszywych alertów. Atakujący może przygotować treść, która po podsumowaniu wygląda jak komunikat o bezpieczeństwie, dodatkowy zasób albo ostrzeżenie o koncie. Dla użytkownika różnica między tekstem wygenerowanym przez AI a treścią przeniesioną ze strony może być trudna do zauważenia.

To ważne w środowisku firmowym. Pracownik może analizować dokumentację techniczną, stronę SaaS, opis integracji, repozytorium GitHub albo artykuł branżowy. Jeśli w podsumowaniu pojawi się link do logowania, instrukcji, aktualizacji, pliku lub QR kodu, może kliknąć go szybciej niż w zwykłej przeglądarce.

Link, obraz i QR kod jako element odpowiedzi

ChatGPhish nie sprowadza się do zwykłego tekstu. Permiso opisało renderowanie linków Markdown, zdalnych obrazów i kodów QR. To istotne, bo każdy z tych elementów inaczej omija czujność użytkownika.

Link w odpowiedzi AI może wyglądać jak część rekomendacji albo dodatkowy zasób. Jeżeli nie ma wyraźnego oznaczenia źródła, użytkownik może założyć, że link został dobrany przez asystenta. Tymczasem może pochodzić z treści kontrolowanej przez atakującego.

Obraz zdalny może zostać automatycznie pobrany. To tworzy ryzyko pasywnego śledzenia, bo zapytanie do zasobu kontrolowanego przez atakującego może ujawnić informacje techniczne, takie jak adres IP, User-Agent, Referer lub dokładny moment renderowania odpowiedzi. W praktyce może to potwierdzić, że konkretna osoba lub organizacja użyła AI do przeczytania danej strony.

Kod QR jest jeszcze trudniejszy. Przenosi interakcję z komputera na telefon. Użytkownik skanuje obraz z odpowiedzi AI i trafia do miejsca, którego adresu mógł wcześniej nie zobaczyć. Tym samym słabną mechanizmy ochronne znane z desktopu: podgląd linku, rozszerzenia przeglądarki, reguły proxy, kontrola domeny przez menedżer haseł.

Polski kontekst: AI w codziennej pracy biurowej

W polskich firmach asystenci AI coraz częściej są używani do przeglądu treści: stron dostawców, regulaminów, dokumentacji technicznej, zapytań ofertowych, artykułów branżowych, dokumentów prawnych, materiałów HR, opisów usług i instrukcji. To oznacza, że potencjalna powierzchnia ataku nie ogranicza się do zespołów IT.

Księgowość może poprosić AI o streszczenie strony dostawcy. HR może podsumować opis narzędzia rekrutacyjnego. Sprzedaż może analizować stronę potencjalnego klienta. IT może skracać dokumentację integracji. Compliance może przeglądać regulaminy. W każdym z tych przypadków użytkownik dostaje odpowiedź w znanym interfejsie, który może budzić większe zaufanie niż sama strona.

Scenariusz może zostać dopasowany do lokalnych marek i procesów. Fałszywy link może udawać logowanie do Microsoft 365, Google Workspace, systemu HR, CRM, panelu dostawcy SaaS, e-Doręczeń, bankowości firmowej albo portalu kontrahenta. QR kod może prowadzić do fałszywej aplikacji mobilnej, formularza logowania lub strony płatności.

To nie oznacza, że firmy powinny zakazać używania AI do podsumowań. Oznacza, że muszą dodać nową zasadę: odpowiedź AI jest formą przetworzenia treści zewnętrznej, a nie niezależnym potwierdzeniem jej bezpieczeństwa.

Co powinien zrobić użytkownik

Użytkownik powinien traktować linki, przyciski, obrazy i QR kody w podsumowaniu AI tak samo jak elementy znalezione na stronie źródłowej. To, że pojawiły się w odpowiedzi asystenta, nie oznacza, że są zweryfikowane.

Jeżeli podsumowanie strony nagle zawiera alert bezpieczeństwa, prośbę o zalogowanie, link do resetu, kod QR, komunikat o nowym urządzeniu, instrukcję pobrania aplikacji albo dodatkowy zasób wymagający danych, trzeba przerwać proces. Takie elementy należy zweryfikować bezpośrednio w oficjalnym serwisie, a nie przez link wygenerowany w odpowiedzi.

Użytkownik powinien też unikać skanowania kodów QR z odpowiedzi AI, jeśli nie zna ich źródła. Kod QR jest wygodny, ale ukrywa adres i przenosi decyzję na telefon, gdzie łatwiej o szybkie kliknięcie.

Dobra praktyka jest prosta: asystent może pomóc zrozumieć treść, ale nie powinien być traktowany jako bezpieczna bramka do logowania, płatności, pobierania plików ani resetu konta.

Co powinny zrobić IT, Security i SOC

Firmy powinny ująć AI w modelu ryzyka użytkownika. Jeżeli pracownicy korzystają z asystentów do podsumowywania stron, trzeba ustalić, jakie dane wolno wprowadzać, jakie źródła wolno analizować i jak traktować aktywne elementy w odpowiedziach.

Po stronie technicznej ważne jest ograniczanie automatycznego zaufania do linków i obrazów. W środowiskach enterprise warto rozważyć zasady blokowania lub neutralizacji zdalnych obrazów, ostrzeżenia przy linkach wychodzących, izolację przeglądarki, filtrowanie DNS, kontrolę QR kodów w materiałach służbowych i monitorowanie domen pojawiających się po interakcji z narzędziami AI.

SOC powinien być gotowy na zgłoszenia, które nie zaczynają się od e-maila. Użytkownik może powiedzieć: ChatGPT pokazał mi alert, AI podało link, w podsumowaniu był kod QR. Takie zgłoszenie nie powinno zostać odrzucone jako nieprecyzyjne. Trzeba zebrać stronę źródłową, czas podsumowania, zrzut odpowiedzi, link lub obraz oraz informację o dalszych kliknięciach.

W programie testów phishingowych dla firm można symulować ten typ decyzji bez narażania użytkowników. Celem jest sprawdzenie, czy pracownik rozumie, że link w odpowiedzi AI również może pochodzić z niezweryfikowanej treści zewnętrznej.

Co zrobić, jeśli to już się stało

Jeżeli użytkownik zobaczył podejrzany link lub QR kod w podsumowaniu AI, ale go nie otworzył, powinien zgłosić stronę źródłową i zrzut odpowiedzi do IT lub Security. To może pomóc wykryć stronę przygotowaną do podobnych ataków na innych pracowników.

Jeżeli użytkownik kliknął link, ale nie podał danych, trzeba sprawdzić odwiedzoną domenę, czas zdarzenia i ewentualne przekierowania. Warto też ocenić, czy strona nie próbowała pobrać pliku, otworzyć aplikacji lub przenieść użytkownika do logowania.

Jeżeli użytkownik podał hasło, kod jednorazowy lub zatwierdził powiadomienie MFA, należy traktować zdarzenie jak potencjalne przejęcie konta. Potrzebna jest zmiana hasła z zaufanego urządzenia, unieważnienie sesji, przegląd metod MFA, sprawdzenie logowań i analiza reguł pocztowych.

Jeżeli zeskanowano QR kod telefonem, trzeba ustalić, do jakiej domeny prowadził, czy użytkownik podał dane, czy pobrał aplikację i czy telefon jest używany do firmowego MFA, poczty lub komunikatora. W razie instalacji aplikacji urządzenie powinno zostać objęte procedurą incydentową.

Jak ćwiczyć odporność na phishing w AI

Ćwiczenie nie musi polegać na tworzeniu złośliwej strony. Wystarczy bezpieczny scenariusz pokazujący, że podsumowanie AI może zawierać elementy pochodzące ze źródła zewnętrznego. Użytkownik powinien nauczyć się pytać: skąd pochodzi ten link, czy to jest część odpowiedzi, czy treść strony, i czy powinienem użyć oficjalnej ścieżki zamiast kliknięcia.

Dla zespołów nietechnicznych można przygotować scenariusz z podsumowaniem regulaminu, strony dostawcy lub opisu usługi. Dla IT i Security lepszy będzie przykład dokumentacji, repozytorium lub strony narzędzia. W każdym przypadku punkt decyzyjny jest ten sam: link w AI nie jest dowodem bezpieczeństwa.

Po ćwiczeniu warto omówić różnicę między treścią generowaną przez model a treścią przeniesioną z dokumentu lub strony. To rozróżnienie będzie coraz ważniejsze, bo użytkownicy coraz częściej czytają świat przez warstwę AI, a nie bezpośrednio w przeglądarce.

Najważniejsza zasada

ChatGPhish nie oznacza, że asystenci AI są bezużyteczni w pracy. Oznacza, że interfejs AI staje się kolejną powierzchnią, na której użytkownik podejmuje decyzje bezpieczeństwa.

Jeżeli podsumowanie AI pokazuje link, alert, obraz lub QR kod, traktuj go jako element treści zewnętrznej, dopóki nie potwierdzisz źródła. Zaufanie do asystenta nie może zastępować weryfikacji miejsca, do którego prowadzi kliknięcie.