Nadzór ludzki nad AI – kto odpowiada za kontrolę systemu w firmie?

Nasz ekspert:
Artykuły autora

Wielkość tekstu:

Wprowadzenie nowoczesnych technologii do przedsiębiorstwa nie oznacza, że odpowiedzialność za ich funkcjonowanie można w całości przenieść na dostawcę oprogramowania czy sam algorytm. Obowiązujący nadzór ludzki nad AI w firmie to nie tylko wymóg formalny, lecz konieczność stworzenia skutecznych mechanizmów kontroli, które pozwalają na szybką reakcję w przypadku nieprawidłowości. Sprawdź, kto powinien odpowiadać za systemy sztucznej inteligencji, jak zorganizować tę funkcję i jakie konsekwencje czekają przedsiębiorców, którzy zrezygnują z rzeczywistego nadzoru człowieka.

Nadzór ludzki nad AI jako obowiązkowy element organizacji firmy

Wprowadzenie systemu sztucznej inteligencji do przedsiębiorstwa nie oznacza, że odpowiedzialność za jego działanie można przenieść na dostawcę technologii albo na sam algorytm. Akt w sprawie sztucznej inteligencji nie ogranicza się przy tym do wymogu formalnego wyznaczenia pracownika, lecz wymaga stworzenia rzeczywistego mechanizmu kontroli, pozwalającego rozpoznać nieprawidłowe działanie, zareagować na nie, a w odpowiednich przypadkach przerwać działanie systemu lub nie uwzględnić jego wyniku. Przeczytaj poniższy artykuł i dowiedz się, kto powinien odpowiadać za nadzór nad AI w firmie, jak prawidłowo zorganizować tę funkcję i jakie konsekwencje mogą powstać, gdy przedsiębiorca pozostawi system bez rzeczywistej kontroli człowieka.

Nadzór człowieka nie jest jedynie zaleceniem organizacyjnym

Jednym z istotnych założeń rozporządzenia AI Act jest niedopuszczenie do sytuacji, w której system AI wysokiego ryzyka pozostaje faktycznie poza kontrolą człowieka. Art. 14 AI Act przewiduje, że systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne.

Znaczenie tego przepisu jest szersze niż samo zapewnienie technicznej możliwości podglądu działania programu. Nadzór ze strony człowieka ma służyć zapobieganiu ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych albo minimalizowaniu takiego ryzyka. Ustawodawca unijny zakłada zatem, że człowiek powinien być elementem rzeczywistego mechanizmu bezpieczeństwa systemu, a nie jedynie formalnym uczestnikiem procesu.

Jest to istotna różnica z punktu widzenia przedsiębiorcy. Możliwość zalogowania się do systemu, przejrzenia jego wyników albo sporadycznego sprawdzenia statystyk nie musi oznaczać, że przedsiębiorstwo zapewniło nadzór wymagany przez przepisy. Jeżeli osoba wyznaczona do kontroli nie rozumie działania systemu, nie ma czasu na jego monitorowanie, nie posiada kompetencji do zakwestionowania wyniku albo nie może zatrzymać procesu, nadzór może mieć charakter wyłącznie pozorny. Właśnie dlatego obowiązki związane z nadzorem należy traktować jako element organizacji procesu wykorzystania AI, a nie wyłącznie jako element dokumentacji technicznej.

Kto odpowiada za nadzór nad systemem AI?

W praktyce pierwszym pytaniem przedsiębiorcy powinno być nie to, który dział ma zajmować się AI, lecz kto konkretnie otrzymał odpowiedzialność za nadzór nad konkretnym systemem i jakie uprawnienia ma wykonywać w ramach tej funkcji. W przypadku podmiotu stosującego system AI wysokiego ryzyka szczególne znaczenie ma art. 26 ust. 2 aktu w sprawie sztucznej inteligencji. Przepis ten stanowi, że podmioty stosujące powierzają sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie.

Oznacza to, że odpowiedzialności nie należy przypisywać abstrakcyjnie firmie, działowi IT czy compliance. W przedsiębiorstwie powinno być możliwe ustalenie, jakie osoby fizyczne zostały wyznaczone do wykonywania funkcji nadzorczej i jakie zadania w tym zakresie im powierzono.

Organizacja funkcji nadzorczej pozostaje zasadniczo po stronie podmiotu stosującego, który powinien uwzględnić charakter systemu, poziom ryzyka, zakres jego autonomii oraz sposób wykorzystywania w konkretnym procesie.

Podmiot stosujący nie może ograniczyć się do instrukcji producenta

Art. 26 ust. 1 aktu w sprawie sztucznej inteligencji nakłada na podmiot stosujący system AI wysokiego ryzyka obowiązek przyjęcia odpowiednich środków technicznych i organizacyjnych zapewniających wykorzystywanie systemu zgodnie z dołączoną do niego instrukcją obsługi.

Instrukcja producenta jest więc istotnym punktem odniesienia, ale nie zastępuje wewnętrznej organizacji przedsiębiorstwa. Dostawca może określić wymagania dotyczące monitorowania systemu, częstotliwości kontroli, interpretacji wyników czy reagowania na określone anomalie. Podmiot stosujący musi natomiast wdrożyć te rozwiązania w swoim środowisku organizacyjnym.

Jeżeli zatem producent wskazuje, że wyniki systemu wymagają weryfikacji przez człowieka przed podjęciem określonej decyzji, przedsiębiorca nie powinien organizować procesu w taki sposób, aby pracownik jedynie mechanicznie zatwierdzał wynik AI. Jeżeli system generuje rekomendację dotyczącą konkretnej osoby, osoba sprawująca nadzór musi mieć rzeczywistą możliwość zapoznania się z rekomendacją, jej podstawą oraz dostępnymi informacjami i podjęcia decyzji odmiennej od wskazania systemu.

Jak powinien wyglądać rzeczywisty nadzór człowieka?

Art. 14 ust. 4 aktu w sprawie sztucznej inteligencji wskazuje szczegółowo, jakie możliwości powinny mieć osoby wyznaczone do sprawowania nadzoru. Powinny one, stosownie do okoliczności i proporcjonalnie, rozumieć odpowiednie możliwości i ograniczenia systemu, monitorować jego działanie, wykrywać anomalie, nieprawidłowe funkcjonowanie i nieoczekiwane wyniki oraz odpowiednio na nie reagować.

Jest to ważne także dlatego, że prawodawca unijny uwzględnia zjawisko określane w przepisie jako błąd automatyzacji. Osoba korzystająca z systemu może bowiem zacząć nadmiernie polegać na wyniku wygenerowanym przez AI, traktując go jako obiektywny i bardziej wiarygodny niż własna ocena.

W praktyce szczególne znaczenie ma więc kompetencja do zakwestionowania wyniku. Pracownik nie powinien otrzymywać instrukcji sprowadzającej się do polecenia: stosuj wynik systemu, chyba że system nie działa. Powinien wiedzieć, w jakich sytuacjach wynik wymaga dodatkowej weryfikacji, jakie sygnały wskazują na możliwą anomalię i komu należy zgłosić problem.

Nadzór musi również odpowiadać charakterowi konkretnego zastosowania. Inaczej będzie wyglądała kontrola systemu wspierającego proces administracyjny, inaczej systemu oceniającego kandydatów do pracy, a jeszcze inaczej systemu wykorzystywanego w procesie mogącym bezpośrednio oddziaływać na zdrowie, bezpieczeństwo lub prawa podstawowe.

Człowiek musi mieć realną możliwość ingerencji

Samo rozpoznanie błędu nie wystarczy, jeżeli osoba odpowiedzialna za nadzór nie może skutecznie zareagować.

Założenie to wynika zarówno z art. 14, jak i z motywu 73 aktu w sprawie sztucznej inteligencji. Wskazano tam na potrzebę zapewnienia osobom sprawującym nadzór odpowiednich kompetencji, szkolenia i uprawnień, a w odpowiednich przypadkach również możliwości podjęcia decyzji, czy i kiedy należy interweniować oraz zatrzymać system, jeżeli nie działa zgodnie z przeznaczeniem.

W konsekwencji przedsiębiorca powinien odpowiedzieć na pytanie, co dokładnie może zrobić pracownik, który stwierdzi nieprawidłowość.

Jeżeli pracownik może jedynie przekazać informację swojemu przełożonemu, ale nie ma możliwości wstrzymania procesu, zakres jego realnej kontroli może być niewystarczający w sytuacji, w której reakcja musi nastąpić natychmiast. Jeżeli natomiast ma możliwość zablokowania określonej rekomendacji, skierowania sprawy do dodatkowej oceny albo czasowego wyłączenia systemu, mechanizm kontroli jest zdecydowanie bardziej rzeczywisty.

Nie oznacza to oczywiście, że każda osoba obsługująca system musi posiadać uprawnienie do wyłączenia całej infrastruktury informatycznej przedsiębiorstwa. Uprawnienia powinny odpowiadać ryzyku i funkcji systemu. Muszą jednak umożliwiać skuteczną reakcję w zakresie niezbędnym do ograniczenia ryzyka.

Nadzór powinien być wpisany w proces biznesowy

Najczęstszym błędem organizacyjnym jest potraktowanie AI jako odrębnego narzędzia informatycznego, zamiast jako elementu procesu biznesowego.

Jeżeli system AI wspiera decyzję podejmowaną przez pracownika, procedura powinna określać moment, w którym wynik AI jest generowany, moment, w którym podlega kontroli człowieka, kryteria wymagające dodatkowej weryfikacji oraz sposób dokumentowania ostatecznej decyzji.

Istotne jest również określenie, kto podejmuje decyzję końcową. Jeżeli wynik AI automatycznie prowadzi do określonego skutku prawnego lub faktycznego, należy odrębnie zbadać nie tylko obowiązki wynikające z aktu w sprawie sztucznej inteligencji, lecz także przepisy sektorowe, przepisy dotyczące ochrony danych osobowych oraz regulacje dotyczące zautomatyzowanego podejmowania decyzji.

Przykład

Spółka wykorzystuje system AI do wstępnej oceny kandydatów ubiegających się o zatrudnienie i przypisuje im poziom rekomendacji. Zarząd wyznaczył pracownika działu HR jako osobę odpowiedzialną za „kontrolę AI”, ale pracownik nie otrzymał szkolenia i zgodnie z wewnętrzną instrukcją powinien zatwierdzać rekomendację systemu, chyba że zauważy oczywisty błąd techniczny. Po kilku miesiącach okazuje się, że system regularnie odrzuca określoną grupę kandydatów, a pracownik nie ma ani kompetencji, ani uprawnienia do przeprowadzenia samodzielnej oceny i odstąpienia od rekomendacji. W takiej sytuacji samo formalne wskazanie pracownika jako osoby nadzorującej nie rozwiązuje problemu, ponieważ przedsiębiorstwo powinno zapewnić mu odpowiednią wiedzę, uprawnienia i możliwość rzeczywistego zakwestionowania wyniku systemu.

Kto ponosi odpowiedzialność, gdy pracownik nie zareaguje?

Nie każda nieprawidłowość działania systemu AI oznacza automatycznie osobistą odpowiedzialność pracownika wyznaczonego do nadzoru.

W pierwszej kolejności należy ustalić, czy pracownik rzeczywiście miał obowiązek podjęcia określonego działania, czy posiadał wymagane informacje, kompetencje i uprawnienia oraz czy przedsiębiorstwo zapewniło mu warunki umożliwiające wykonanie tego obowiązku.

Jeżeli przedsiębiorca wymaga od pracownika monitorowania systemu, ale jednocześnie nie zapewnia mu dostępu do danych niezbędnych do oceny wyników, nie prowadzi szkoleń i nie daje możliwości zatrzymania procesu, nie można automatycznie przenosić całego ciężaru odpowiedzialności na pracownika.

Z perspektywy aktu w sprawie sztucznej inteligencji adresatem obowiązków związanych z nadzorem jest przedsiębiorstwo jako podmiot stosujący, a nie wyznaczony przez nie pracownik. Art. 26 nakłada na nie obowiązek wdrożenia odpowiednich środków technicznych i organizacyjnych oraz powierzenia nadzoru osobom posiadającym wymagane kompetencje, szkolenie i uprawnienia.

Nie oznacza to jednak, że osoba fizyczna nigdy nie może ponosić konsekwencji własnych działań lub zaniechań. Zakres takiej odpowiedzialności należy oceniać na podstawie konkretnych przepisów prawa, stosunku prawnego łączącego ją z przedsiębiorstwem, zakresu powierzonych obowiązków oraz okoliczności konkretnego zdarzenia.

Odpowiedzialność przedsiębiorcy może wykraczać poza sam akt w sprawie sztucznej inteligencji

Należy wyraźnie rozróżnić sankcje administracyjne przewidziane przez akt w sprawie sztucznej inteligencji od innych potencjalnych konsekwencji wykorzystania wadliwie nadzorowanego systemu.

Jeżeli AI zostanie wykorzystana w procesie dotyczącym danych osobowych, mogą pojawić się obowiązki i odpowiedzialność wynikające z ogólnego rozporządzenia o ochronie danych. Jeżeli system będzie wykorzystywany w stosunkach pracowniczych, znaczenie mogą mieć przepisy prawa pracy. Jeżeli jego działanie doprowadzi do szkody majątkowej, należy dodatkowo rozważyć odpowiedzialność odszkodowawczą. W sektorach regulowanych znaczenie mogą mieć również przepisy szczególne.

Brak prawidłowego nadzoru może zatem stać się elementem szerszego problemu prawnego. Nie należy oczekiwać, że samo wykazanie zgodności z jednym obowiązkiem dotyczącym AI wyeliminuje pozostałe ryzyka prawne.

Jakie kary przewiduje akt w sprawie sztucznej inteligencji?

Akt w sprawie sztucznej inteligencji przewiduje istotne sankcje administracyjne. Niezgodność z obowiązkami dotyczącymi podmiotów stosujących, określonymi między innymi w art. 26, może skutkować administracyjną karą pieniężną do 15 mln euro albo, jeżeli naruszenia dopuściło się przedsiębiorstwo, do 3% jego całkowitego rocznego światowego obrotu z poprzedniego roku obrotowego, w zależności od tego, która kwota jest wyższa.

Nie oznacza to oczywiście, że każde naruszenie obowiązków dotyczących nadzoru będzie skutkowało karą w maksymalnej wysokości. AI Act przewiduje uwzględnianie okoliczności konkretnego przypadku, w tym charakteru, wagi i czasu trwania naruszenia oraz jego konsekwencji. Znaczenie może mieć również stopień odpowiedzialności podmiotu, jego sytuacja finansowa i inne okoliczności wskazane w przepisie.

Artykuły
Brak wyników.
Więcej artykułów
Wzory
Brak wyników.
Więcej wzorów