Współczesne przedsiębiorstwa coraz chętniej wykorzystują systemy AI w codziennej działalności. Z rosnącą automatyzacją procesów wiąże się jednak ryzyko sytuacji, w której błędne działanie systemu sztucznej inteligencji doprowadzi do szkody. Każdy przedsiębiorca musi wiedzieć, jak zareagować, kogo powiadomić i w jakich terminach dokonać zgłoszenia incydentu, aby uniknąć poważnych konsekwencji prawnych i finansowych.
System AI w firmie zadziałał błędnie i wyrządził szkodę – co trzeba zgłosić, komu i w jakim terminie?
W praktyce przedsiębiorstwa coraz częściej wykorzystują systemy AI do obsługi klientów, analizy dokumentów, rekrutacji, oceny ryzyka, wykrywania nadużyć, automatyzacji procesów finansowych czy wspomagania decyzji biznesowych. Wraz z tym rośnie ryzyko sytuacji, w której wynik wygenerowany przez system okaże się nieprawidłowy, a przedsiębiorca poniesie konsekwencje ekonomiczne lub prawne. Błędne działanie systemu sztucznej inteligencji w przedsiębiorstwie może uruchomić jednocześnie kilka różnych reżimów odpowiedzialności i obowiązków zgłoszeniowych. Przeczytaj poniższy artykuł i dowiedz się, co zrobić, gdy system AI w firmie zadziałał błędnie i wyrządził szkodę!
Obowiązki przedsiębiorcy w zakresie zgłaszania poważnych incydentów AI Act
Podstawowym aktem unijnym regulującym wykorzystanie sztucznej inteligencji jest rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z 13 czerwca 2024 r. ustanawiające zharmonizowane przepisy dotyczące sztucznej inteligencji, czyli tzw. AI Act.
Rozporządzenie przyjęto w formule etapowego stosowania poszczególnych obowiązków. Z punktu widzenia przedsiębiorcy szczególne znaczenie ma jednak to, że AI Act przewiduje obowiązek zgłaszania określonych poważnych incydentów dotyczących systemów AI.
Nie oznacza to, że każda pomyłka modelu językowego, błędna rekomendacja algorytmu czy nieprawidłowa klasyfikacja danych automatycznie staje się incydentem podlegającym zgłoszeniu na podstawie AI Act. Konieczne jest odniesienie konkretnego zdarzenia do definicji zawartych w rozporządzeniu oraz ustalenie, czy wystąpił przypadek kwalifikowany jako poważny incydent.
Ma to istotne znaczenie dla przedsiębiorców, ponieważ AI Act rozróżnia role poszczególnych uczestników rynku. Inne obowiązki może mieć dostawca systemu AI, inne podmiot stosujący system, a jeszcze inne importer lub dystrybutor.
Kim jest „provider”, a kim „deployer”?
Jednym z najważniejszych elementów analizy prawnej jest ustalenie roli przedsiębiorcy. AI Act posługuje się między innymi pojęciami „provider” oraz „deployer”. W polskiej wersji rozporządzenia są to odpowiednio dostawca oraz podmiot stosujący.
Dostawcą jest co do zasady podmiot, który opracowuje system AI lub model AI ogólnego przeznaczenia albo zleca ich opracowanie i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym – odpłatnie lub nieodpłatnie. Podmiot stosujący to natomiast osoba fizyczna lub prawna, organ publiczny, agencja lub inny podmiot wykorzystujący system AI pod swoją kontrolą, z określonymi wyjątkami przewidzianymi w rozporządzeniu.
Rozróżnienie to ma praktyczne znaczenie dla odpowiedzialności i obowiązków dokumentacyjnych.
Przedsiębiorca może bowiem korzystać z gotowego rozwiązania dostarczonego przez zewnętrznego dostawcę, ale jednocześnie występować jako podmiot stosujący. W takiej sytuacji nie może automatycznie zakładać, że wszystkie obowiązki związane z incydentem spoczywają na producencie rozwiązania. Jeżeli natomiast przedsiębiorstwo samo opracowało system i udostępnia go innym podmiotom, jego pozycja prawna może być zupełnie inna.
Kiedy mamy do czynienia z poważnym incydentem?
AI Act definiuje poważny incydent jako zdarzenie lub nieprawidłowe działanie systemu AI, które prowadzi bezpośrednio lub pośrednio do śmierci osoby albo poważnego uszczerbku na zdrowiu, poważnego i nieodwracalnego zakłócenia zarządzania infrastrukturą krytyczną, naruszenia obowiązków wynikających z prawa Unii mających chronić prawa podstawowe albo poważnej szkody dla mienia lub środowiska.
To istotne, ponieważ ustawodawca unijny nie ograniczył kategorii poważnych incydentów wyłącznie do sytuacji, w których ktoś doznał obrażeń. Zakres regulacji obejmuje również określone naruszenia praw podstawowych oraz poważne szkody majątkowe lub środowiskowe.
Jednocześnie nie każda szkoda finansowa będzie automatycznie „poważną szkodą dla mienia”. W konkretnym przypadku konieczna może być zatem szczegółowa analiza skutków zdarzenia oraz przepisów AI Act. Przedsiębiorca powinien w szczególności ustalić, czy błędne działanie systemu było bezpośrednią lub pośrednią przyczyną skutku objętego definicją.
Obowiązek zgłoszenia poważnego incydentu
AI Act przewiduje obowiązek zgłaszania poważnych incydentów dotyczących systemów AI wysokiego ryzyka. Zgłoszenie kieruje się do organu nadzoru rynku państwa członkowskiego, w którym incydent wystąpił – w Polsce jest to Komisja Rozwoju i Bezpieczeństwa Sztucznej Inteligencji, utworzona ustawą z 3 lipca 2026 r. o systemach sztucznej inteligencji. W przypadku dostawców systemów AI wysokiego ryzyka zgłoszenie powinno nastąpić bez zbędnej zwłoki po uzyskaniu informacji o poważnym incydencie, nie później jednak niż w terminie 15 dni od dnia, w którym dostawca dowiedział się lub mógł racjonalnie oczekiwać, że dowie się o poważnym incydencie.
W przypadku powszechnego naruszenia albo poważnego i nieodwracalnego zakłócenia infrastruktury krytycznej termin jest krótszy i wynosi 2 dni od momentu, w którym dostawca dowiedział się lub mógł racjonalnie oczekiwać, że dowie się o takim incydencie. Natomiast w przypadku śmierci osoby zgłoszenia dokonuje się natychmiast po ustaleniu lub powzięciu podejrzenia związku przyczynowego między systemem AI a incydentem, nie później jednak niż w terminie 10 dni.
Przepisy przewidują przy tym szczególne zasady dotyczące podmiotów stosujących systemy AI wysokiego ryzyka. Jeżeli podmiot stosujący stwierdzi poważny incydent, powinien niezwłocznie poinformować o nim dostawcę, a następnie importera lub dystrybutora oraz właściwy organ nadzoru rynku. Jeżeli nie jest w stanie skontaktować się z dostawcą, obowiązek zgłoszenia z art. 73 AI Act spoczywa odpowiednio na nim.
W konsekwencji przedsiębiorca korzystający z systemu AI nie powinien czekać do upływu maksymalnego terminu przewidzianego dla innych uczestników łańcucha, jeżeli już uzyskał informacje wskazujące na możliwość wystąpienia poważnego incydentu.
Termin zależy od kwalifikacji zdarzenia. Nie istnieje jeden uniwersalny termin na zgłoszenie każdego błędu systemu AI. Termin i adresat zależą od podstawy prawnej. Jeżeli zdarzenie stanowi poważny incydent w rozumieniu AI Act, zastosowanie mogą znaleźć terminy określone w art. 73 rozporządzenia. Jeżeli jednocześnie doszło do naruszenia ochrony danych osobowych, przedsiębiorca musi dodatkowo przeanalizować art. 33 RODO, zgodnie z którym administrator co do zasady ma 72 godziny na zgłoszenie naruszenia organowi nadzorczemu, licząc od momentu uzyskania wiedzy o naruszeniu. Te obowiązki mogą wystąpić równolegle i nie należy traktować zgłoszenia dokonanego na podstawie jednego aktu prawnego jako zastępującego obowiązki wynikające z drugiego.
Błędne działanie systemu sztucznej inteligencji a naruszenie ochrony danych osobowych RODO
W wielu przedsiębiorstwach systemy AI działają na danych osobowych. Mogą analizować CV, korespondencję klientów, nagrania rozmów, dane transakcyjne, informacje o pracownikach czy dane pochodzące z systemów CRM. Błędne działanie AI może zatem jednocześnie prowadzić do naruszenia ochrony danych osobowych.
Przykładem może być wygenerowanie i wysłanie do niewłaściwego odbiorcy dokumentu zawierającego dane klienta. Innym przypadkiem może być nieuprawnione ujawnienie danych osobowych przez system wykorzystujący model generatywny. W takiej sytuacji konieczne jest przeprowadzenie analizy na gruncie RODO.
Art. 4 pkt 12 RODO definiuje naruszenie ochrony danych osobowych jako naruszenie bezpieczeństwa prowadzące do przypadkowego lub niezgodnego z prawem zniszczenia, utracenia, zmodyfikowania, nieuprawnionego ujawnienia lub nieuprawnionego dostępu do danych osobowych przesyłanych, przechowywanych lub w inny sposób przetwarzanych.
Nie ma przy tym znaczenia, że źródłem zdarzenia był algorytm. Z punktu widzenia RODO przedsiębiorca nadal musi ocenić, czy doszło do naruszenia bezpieczeństwa danych osobowych.
72 godziny na zgłoszenie do Prezesa UODO
Jeżeli przedsiębiorca występuje jako administrator danych i stwierdzi naruszenie ochrony danych osobowych, powinien dokonać zgłoszenia organowi nadzorczemu bez zbędnej zwłoki, w miarę możliwości nie później niż w terminie 72 godzin po stwierdzeniu naruszenia, chyba że jest mało prawdopodobne, aby naruszenie skutkowało ryzykiem naruszenia praw lub wolności osób fizycznych. W Polsce właściwym organem nadzorczym jest Prezes Urzędu Ochrony Danych Osobowych.
Termin 72 godzin nie musi być liczony od momentu, w którym doszło do błędu systemu. Może być natomiast liczony od momentu, w którym administrator uzyskał wystarczającą wiedzę pozwalającą stwierdzić, że doszło do naruszenia ochrony danych osobowych. To rozróżnienie ma ogromne znaczenie w przypadku systemów AI, których działanie jest często złożone i wymaga analizy logów, historii zapytań, danych wejściowych oraz wyników wygenerowanych przez model.
Czy trzeba zawiadomić osoby, których dane dotyczą?
Samo zgłoszenie naruszenia Prezesowi UODO nie zawsze oznacza obowiązek poinformowania osób, których dane dotyczą. Art. 34 RODO przewiduje dodatkowy obowiązek w przypadku naruszenia ochrony danych osobowych mogącego powodować wysokie ryzyko naruszenia praw lub wolności osób fizycznych.
W takiej sytuacji administrator powinien bez zbędnej zwłoki zawiadomić osobę, której dane dotyczą, o naruszeniu, z zastrzeżeniem wyjątków przewidzianych w RODO. W praktyce przedsiębiorca musi więc wykonać dwa odrębne testy. Pierwszy dotyczy tego, czy istnieje obowiązek zgłoszenia naruszenia organowi nadzorczemu. Drugi dotyczy tego, czy skala ryzyka uzasadnia bezpośrednie zawiadomienie osoby, której dane dotyczą.
Nie wolno usuwać logów po wystąpieniu błędu
Jednym z najważniejszych działań po stwierdzeniu nieprawidłowego działania AI powinno być zabezpieczenie materiału dowodowego. Dotyczy to w szczególności wersji modelu, konfiguracji systemu, danych wejściowych, promptów, wyników generowanych przez system, logów dostępu, logów bezpieczeństwa oraz informacji o zmianach dokonanych bezpośrednio przed wystąpieniem incydentu.
W praktyce problemem może być automatyczne nadpisywanie logów. Dlatego procedura reagowania na incydent powinna przewidywać możliwość ich zabezpieczenia przed usunięciem.
Ma to znaczenie zarówno dla postępowania wewnętrznego, jak i dla ewentualnego postępowania przed organem nadzorczym lub sądem. Przedsiębiorca powinien również zachować informacje pozwalające ustalić, kto, kiedy i na jakiej podstawie podjął decyzję o wdrożeniu lub wykorzystaniu danego rozwiązania AI.
Przykład 1
Spółka wykorzystuje system AI do automatycznej weryfikacji dokumentów klientów, a wskutek błędnej konfiguracji system przypisuje dokument jednego klienta do konta innej osoby i umożliwia jej dostęp do danych zawartych w dokumencie. Spółka po kilku godzinach wykrywa zdarzenie i ustala, że doszło do nieuprawnionego ujawnienia danych osobowych, dlatego rozpoczyna analizę naruszenia zgodnie z RODO, jednocześnie zabezpieczając logi i informując dostawcę systemu o incydencie. Jeżeli analiza wykaże ryzyko naruszenia praw lub wolności osób fizycznych, spółka powinna rozważyć zgłoszenie naruszenia Prezesowi UODO w terminie wynikającym z art. 33 RODO, a przy wysokim ryzyku również bezpośrednie zawiadomienie osoby, której dane dotyczą. Równolegle należy ocenić, czy zdarzenie spełnia przesłanki poważnego incydentu w rozumieniu AI Act oraz jakie obowiązki wynikają z roli spółki i dostawcy systemu. Niezależnie od obowiązków publicznoprawnych spółka powinna również sprawdzić umowę z dostawcą, ponieważ może ona określać dodatkowe obowiązki dotyczące raportowania, współpracy przy incydencie i odpowiedzialności za szkodę.
Cyberincydent może oznaczać jeszcze inne obowiązki
Niektóre błędy systemów AI nie będą klasycznym incydentem wynikającym z wadliwego modelu, lecz skutkiem cyberataku. Może dojść na przykład do przejęcia konta administratora, manipulacji danymi treningowymi, zatruwania danych, wykorzystania podatności API albo uzyskania nieuprawnionego dostępu do danych przetwarzanych przez system.
W takim przypadku należy rozważyć również zastosowanie przepisów dotyczących cyberbezpieczeństwa. Znaczenie może mieć tutaj między innymi ustawa z 5 lipca 2018 r. o krajowym systemie cyberbezpieczeństwa, a w przypadku podmiotów objętych zakresem unijnej dyrektywy NIS2 – również przepisy wdrażające lub stosujące jej wymagania w polskim porządku prawnym.
Nie każdy przedsiębiorca będzie jednak podlegał takim samym obowiązkom. Konieczne jest ustalenie, czy dany podmiot należy do kategorii objętej właściwymi regulacjami oraz jaki charakter ma incydent.
