Rozporządzenie AI Act nakłada na dostawców systemów sztucznej inteligencji szereg wymogów, których celem jest zapewnienie bezpieczeństwa i odpowiedzialności. Kluczowym elementem tych regulacji są obowiązki monitorowania w AI Act, obejmujące zarówno etap projektowania, jak i późniejszej eksploatacji systemów. Wyjaśniamy, na czym dokładnie polegają te zobowiązania i jakie dane podlegają weryfikacji w całym cyklu życia technologii AI.
Obowiązki monitorowania w AI Act
Dostawcy ustanawiają i dokumentują – w sposób proporcjonalny do charakteru technologii AI i ryzyka związanego z wykorzystaniem danego systemu AI wysokiego ryzyka – system monitorowania po wprowadzeniu do obrotu.
W ramach systemu monitorowania po wprowadzeniu do obrotu w aktywny i systematyczny sposób zbiera się, dokumentuje i analizuje stosowne dane dotyczące skuteczności działania systemów AI wysokiego ryzyka w całym cyklu ich życia, które to dane mogą być przekazywane przez podmioty stosujące lub mogą być zbierane z innych źródeł.
System ten pozwala dostawcy oceniać, czy zapewniona jest ciągła zgodność systemów AI z wymogami ustanowionymi w AI Act.
Przykład 1.
Spółka ABC jest dostawcą systemu AI służącego do wspierania oceny zdolności kredytowej. Aby wypełnić obowiązki wynikające z AI Act, spółka ustanawia proporcjonalny do ryzyka system monitorowania po wprowadzeniu systemu do obrotu. Spółka przeanalizowała istniejące ryzyka i postanowiła, że system monitorowania będzie obejmował stałe gromadzenie i analizę danych dotyczących działania modelu. Podmioty stosujące system będą przekazywać informacje o błędach modelu oraz zgłoszeniach klientów, a spółka ABC będzie je uzupełniać danymi z audytów i analiz. Na tej podstawie spółka ABC będzie mogła aktualizować model, wprowadzać środki zaradcze i potwierdzać ciągłą zgodność systemu z wymogami AI Act.
W stosownych przypadkach monitorowanie po wprowadzeniu do obrotu obejmuje analizę interakcji z innymi systemami AI.
Obowiązek ten nie obejmuje wrażliwych danych operacyjnych podmiotów stosujących będących organami ścigania.
System monitorowania po wprowadzeniu do obrotu jest oparty na planie monitorowania po wprowadzeniu do obrotu. Plan monitorowania po wprowadzeniu do obrotu stanowi jeden z elementów dokumentacji technicznej wymaganej zgodnie z AI Act.
Dokumentacja techniczna systemu zawiera m.in. szczegółowy opis systemu stosowanego do oceny skuteczności działania systemu AI po wprowadzeniu do obrotu, w tym plan monitorowania po wprowadzeniu do obrotu, a także szczegółowe informacje dotyczące monitorowania, funkcjonowania i kontroli systemu AI, w szczególności w odniesieniu do:
- jego możliwości i ograniczeń w zakresie skuteczności działania, w tym stopnie dokładności w przypadku określonych osób lub grup osób, wobec których system ma być wykorzystywany – ogólny spodziewany poziom dokładności w stosunku do jego przeznaczenia;
- możliwych do przewidzenia niezamierzonych wyników i źródeł ryzyka dla zdrowia i bezpieczeństwa, praw podstawowych i ryzyka powodującego dyskryminację w świetle przeznaczenia systemu AI;
- środków nadzoru ze strony człowieka wymaganych na podstawie art. 14 AI Act, w tym środków technicznych wprowadzonych w celu ułatwienia podmiotom stosującym interpretacji wyników systemów AI;
- w stosownych przypadkach specyfikacji dotyczących danych wejściowych.
W odniesieniu do systemów AI wysokiego ryzyka objętych unijnym prawodawstwem harmonizacyjnym wymienionym w AI Act, w przypadku gdy zgodnie z tym prawodawstwem ustanowiono już system i plan monitorowania po wprowadzeniu do obrotu, w celu zapewnienia spójności, unikania powielania prac i zminimalizowania dodatkowych obciążeń, dostawcy mogą się w stosownych przypadkach zdecydować na zintegrowanie – korzystając ze wzoru, wynikającego z AI Act – z systemami i planami istniejącymi już na podstawie tego prawodawstwa pod warunkiem, że zapewnia ono równoważny poziom ochrony.
Wymogi, względem których należy dokonywać monitoringu
Monitorowanie systemów polega na weryfikacji zgodności systemu z następującymi wymogami:
- ustanowienie, wdrożenie, dokumentowanie i obsługa systemu zarządzania ryzykiem, przy czym przez system zarządzania ryzykiem rozumie się ciągły, iteracyjny proces, planowany i realizowany przez cały cykl życia systemu AI wysokiego ryzyka, wymagający regularnego przeglądu i aktualizacji. Obejmuje on identyfikację i analizę znanego i dającego się racjonalnie przewidzieć ryzyka, oszacowanie i ocenę ryzyka, ocenę innego mogącego wystąpić ryzyka na podstawie analizy danych zebranych z systemu monitorowania po wprowadzeniu do obrotu, a następnie – przyjęcie odpowiednich i ukierunkowanych środków zarządzania ryzykiem zaprojektowanych w celu przeciwdziałania ryzyku;
- systemy AI wysokiego ryzyka, które wykorzystują techniki obejmujące trenowanie modeli AI z wykorzystaniem danych, rozwija się na podstawie zbiorów danych treningowych, walidacyjnych i testowych spełniających kryteria jakości – zbiory danych treningowych, walidacyjnych i testowych podlegają praktykom w zakresie zarządzania danymi stosownym do przeznaczenia danego systemu AI wysokiego ryzyka. Muszą być adekwatne, wystarczająco reprezentatywne oraz w jak największym stopniu wolne od błędów i kompletne z punktu widzenia przeznaczenia. Muszą się one charakteryzować odpowiednimi właściwościami statystycznymi, w tym, w stosownych przypadkach, w odniesieniu do osób lub grup osób, wobec których ma być stosowany system AI wysokiego ryzyka. Te kryteria zbiorów danych mogą zostać spełnione na poziomie pojedynczych zbiorów danych lub na poziomie ich kombinacji;
- dokumentację techniczną dla systemu AI wysokiego ryzyka sporządza się przed wprowadzeniem danego systemu do obrotu lub oddaniem go do użytku oraz dokonuje się jej aktualizacji;
- systemy AI wysokiego ryzyka muszą dysponować technicznymi możliwościami automatycznego rejestrowania zdarzeń w całym cyklu życia danego systemu;
- systemy AI wysokiego ryzyka projektuje się i rozwija w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą podmiotom stosującym interpretację wyników systemu i ich właściwe wykorzystanie;
- do systemów AI wysokiego ryzyka dołącza się instrukcję obsługi w odpowiednim formacie cyfrowym lub innym formacie zawierającą zwięzłe, kompletne, poprawne i jasne informacje, które są istotne, dostępne i zrozumiałe dla podmiotów stosujących;
- systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania systemy AI mogły być skutecznie nadzorowane przez osoby fizyczne. Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system AI wysokiego ryzyka jest wykorzystywany zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności, gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów;
- systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia;
- systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne;
- systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.
Monitorowanie przez organy nadzoru
Urząd ds. AI może podejmować działania niezbędne do monitorowania skutecznego wdrożenia i zapewnienia zgodności z AI Act przez dostawców modeli AI ogólnego przeznaczenia, w tym przestrzegania przez nich zatwierdzonych kodeksów praktyk.
W przypadku gdy system AI jest oparty na modelu AI ogólnego przeznaczenia i ten model i system zostały rozwinięte przez tego samego dostawcę, Urząd ds. AI jest uprawniony do monitorowania i nadzorowania zgodności tego systemu AI z obowiązkami wynikającymi z AI Act.
W przypadku gdy odpowiednie organy nadzoru rynku mają wystarczające powody, by systemy AI ogólnego przeznaczenia, które mogą być wykorzystywane bezpośrednio przez podmioty stosujące do co najmniej jednego celu, który zgodnie z AI Act został zaklasyfikowany jako wysokiego ryzyka, uznać za niezgodne z wymogami, organy te współpracują z Urzędem ds. AI w zakresie przeprowadzenia ocen zgodności i informują o tym odpowiednio Radę ds. AI i pozostałe organy nadzoru rynku.
W przypadku gdy organ nadzoru rynku nie jest w stanie zakończyć postępowania dotyczącego systemu AI wysokiego ryzyka z uwagi na niemożność dostępu do niektórych informacji związanych z danym modelem AI ogólnego przeznaczenia pomimo podjęcia wszystkich stosownych wysiłków w zakresie uzyskania tych informacji, może zwrócić się z uzasadnionym wnioskiem do Urzędu ds. AI, który wyegzekwuje dostęp do takich informacji. W takim przypadku Urząd ds. AI udziela organowi wnioskującemu niezwłocznie, a w każdym razie w terminie 30 dni, wszelkich informacji, które Urząd ds. AI uznaje za istotne do celów ustalenia, czy dany system AI wysokiego ryzyka jest niezgodny z wymogami. Organy nadzoru rynku zapewniają poufność otrzymywanych informacji.
Polecamy:
