Halucynacje AI w prawie. Chat GPT zmyśla przepisy?

Przeczytaj także: 5 kroków do efektywnego wdrożenia AI w produkcji przemysłowej

Wykorzystanie generatywnej sztucznej inteligencji w praktyce prawniczej rośnie, ale wraz z tym pojawiają się nowe zagrożenia – od halucynacji modeli językowych po ryzyka związane z ochroną danych. O tym, dlaczego nie należy bezkrytycznie ufać odpowiedziom AI – mówi dr Agnieszka Skorupka, adwokat, Wydział Prawa i Komunikacji Społecznej we Wrocławiu Uniwersytetu SWPS.

Powszechny dostęp do dużych modeli językowych (ang. large language model, LLM) zmienił sposób, w jaki środowisko prawnicze podchodzi do technologii cyfrowych. Momentem przełomowym stało się uruchomienie ChatGPT, który zadebiutował na rynku w listopadzie 2022 r. Od tego czasu pojawiało się wiele ogólnodostępnych chatbotów (bezpłatnych lub w wersji płatnej), które dają każdemu użytkownikowi dostęp do narzędzi analizy i tworzenia tekstu.

Polscy prawnicy, nie czekając na ogólne zalecenia, wytyczne czy standardy, niezależnie od tego, czy są adwokatami, radcami prawnymi czy sędziami, zaczęli wprowadzać narzędzia AI do swojej codziennej praktyki, aby zwiększyć wydajność pracy. Prawnicy wykorzystują ogólnodostępne chatboty m.in. do analizy dokumentów, tworzenia projektów pism i opinii, tłumaczenia tekstów, korekty językowej i stylistycznej oraz wyszukiwania orzecznictwa - mówi dr Agnieszka Skorupka, adwokat, Wydział Prawa i Komunikacji Społecznej we Wrocławiu Uniwersytetu SWPS.

Potwierdzeniem częstego korzystania z narzędzia AI przez prawników są wyniki raportu “Future Ready Lawyer 2024” przygotowanego przez Wolters Kluwer. Zgodnie z badaniami 76 proc. prawników z działów prawnych i 68 proc. prawników z kancelarii prawnych korzysta z generatywnej sztucznej inteligencji przynajmniej raz w tygodniu (przy czym 35 proc. prawników z działów prawnych i 33 proc. prawników z kancelarii robi to codziennie)1. Ekspertka zauważa, że choć badanie “Future Ready Lawyer 2024” nie jest najnowsze, to dostarcza ważnych wniosków, ponieważ dokumentuje skalę wykorzystania generatywnej AI przez prawników w okresie, gdy narzędzia te dopiero wchodziły do powszechnego użytku w branży prawniczej. Warto podkreślić, że wykorzystywanie narzędzi AI w pracy prawników dotyczy nie tylko adwokatów i radców prawnych, ale również środowiska sędziowskiego.

Według ostatnich medialnych doniesień ciekawym przykładem jest wykorzystanie chatbota AI przez sędziego Sądu Rejonowego w Brodnicy, który podczas rozprawy w sprawie o sankcję kredytu darmowego w sporze dotyczącym poprawności RRSO podanej przez bank, wykorzystał duży model językowy (Gemini) do zaprezentowania stronom dodatkowego wyliczenia RRSO.

Sędzia omówił sposób działania narzędzia AI i wprowadzone dane, podkreślając użycie wyłącznie abstrakcyjnych wartości liczbowych bez danych identyfikujących strony oraz zaznaczając, że celem nie było zastąpienie opinii biegłego – przytacza ekspertka.

Skala problemu halucynacji w narzędziach AI
Obecne modele AI, zwłaszcza LLM, nie „myślą” ani nie „rozumieją” świata. Oznacza to, że generują one odpowiedzi w oparciu o statystyczne wzorce, przewidując prawdopodobieństwo kolejnego słowa w sekwencji i nie rozumieją treści. Ekspertka zauważa, że ten model działania trafnie opisuje koncepcja „stochastycznej papugi” (ang. Stochastic Parrot) wprowadzona w 2021 r. przez profesorów z Uniwersytetu Waszyngtońskiego.

Zgodnie z nią modele LLM jedynie naśladują ludzką komunikację, łącząc fragmenty tekstu z danych treningowych w statystycznie prawdopodobne sekwencje, podobnie jak papuga, która powtarza zasłyszane słowa bez zrozumienia ich znaczenia.

Stosowanie narzędzi generatywnej AI wiąże się z istotnym zagrożeniem, jakim jest zjawisko halucynacji, polegające na zmyślaniu przez algorytmy nieistniejących informacji, np. przepisów prawnych, wyroków czy literatury.

Badacze z Uniwersytetu Standforda wykazali w 2024 r., że w wypadku popularnych LLM w zapytaniach dotyczących kwestii prawniczych modele halucynowały z częstotliwością od 69 proc. do 88 proc. przypadków.

Tymczasem dostawcy technologii prawniczych, tacy jak LexisNexis czy Thomson Reuters, twierdzą, że udało im się znacząco ograniczyć, a nawet całkowicie wyeliminować ryzyko halucynacji dzięki zastosowaniu techniki RAG (Retrieval-Augmented Generation), czyli generowanie wspomagane wyszukiwaniem, które polega na „zakotwiczeniu” sztucznej inteligencji w wiarygodnych źródłach.

Model, zamiast generować odpowiedź z własnej pamięci, najpierw przeszukuje zamkniętą bazę, odnajduje właściwe fragmenty i dopiero na ich podstawie tworzy tekst.

Ekspertka zauważa, że wyniki dostępnego badania oceniającego narzędzia do analizy prawnej oparte na technice RAG nie są już tak optymistyczne, jak obietnice dostawców. Choć liczba halucynacji jest mniejsza niż w przypadku ogólnych chatbotów, takich jak np. GPT-4, to badacze ze Stanford RegLab oraz Yale ISPS w 2025 r. ustalili, że specjalistyczne narzędzia od LexisNexis oraz Thomson Reuters zmyślają informacje w granicach od 17 do 33 proc. odpowiedzi.

Z powyższych badań wynika, że nie należy bezgranicznie ufać odpowiedziom tworzonym przez generatywne modele AI i koniecznie trzeba weryfikować treści dostarczane przez te narzędzia. Ekspert od prawa nowych technologii Tomasz Prus dodaje, że nie ma jednego standardu badania modeli AI pod kątem halucynacji, bo zależą one od tego, jak sformułowane jest pytanie.

Zgadzam się z tym stwierdzeniem, ponieważ „walka z halucynacjami”, to nie jednorazowy „problem do rozwiązania”, ale stały proces zarządzania ryzykiem w pracy prawnika, który wymaga stworzenia wewnętrznych standardów pracy z narzędziami AI – wskazuje ekspertka z Uniwersytetu SWPS.

Ryzyka i szanse sztucznej inteligencji w prawie
Innym problemem pozostaje kwestia ochrony prywatności, ponieważ wprowadzanie poufnych danych klientów czy szczegółów akt sądowych do publicznych systemów naraża je na wyciek. Ponadto, ogólnodostępne modele często nie rozumieją subtelnych niuansów lokalnego systemu prawnego i mogą opierać się na nieaktualnych lub stronniczych bazach treningowych.

Ekspertka wskazuje, że świadomość tych ryzyk wymaga od kancelarii i działów prawnych wypracowania wewnętrznych standardów w zakresie korzystania z narzędzi AI.

Samorządy zawodowe również powinny opracować standardy branżowe. Przykładem jest Krajowa Izba Radców Prawnych, która w 2025 r. przygotowała rekomendacje dotyczące korzystania przez radców prawnych z narzędzi opartych na sztucznej inteligencji – podkreśla ekspertka z Uniwersytetu SWPS.

Dr Agnieszka Skorupka zauważa również, że kluczowe znaczenie dla rzetelności odpowiedzi ma jakość danych, na których wytrenowano model – każda informacja oraz źródło wygenerowane przez chatbota wymagają skrupulatnej i samodzielnej weryfikacji przez prawnika.

Obecnie najbardziej wartościowe i zawierające mniejsze ryzyka halucynacji są narzędzia – chatboty, które działają w oparciu o zweryfikowane źródła i są przystosowane do potrzeb zawodowych prawników. W konsekwencji, niezależnie od zaawansowania wybranego narzędzia, to na prawniku spoczywa pełna i wyłączna odpowiedzialność za treść i skutki pism, dokumentów oraz opinii napisanych przy wsparciu algorytmów – podsumowuje ekspertka.