System wysokiego ryzyka zgodnie z AI Act - omówienie

Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 roku w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji (akt w sprawie sztucznej inteligencji, AI Act) wprowadza nowe obowiązki dotyczące systemów sztucznej inteligencji. Przeczytaj poniższy artykuł i dowiedz się jakie systemy według AI Act mogą być uznane za system wysokiego ryzyka.

Czym jest system AI w rozumieniu AI Act?

System AI oznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualne.

System AI według AI Act oznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualne.

Elementy definicji systemu AI w rozumieniu AI Act:

• system maszynowy – w takim rozumieniu, że system ten działa na infrastrukturze, w tym oprogramowaniu, które umożliwiają działanie systemu;
• autonomia systemu – system ma możliwość funkcjonowania bez interwencji człowieka (system, który zawsze wymaga interwencji człowieka, nie będzie spełniał definicji);
• adaptacyjność – może zmieniać działanie w trakcie funkcjonowania (fakultatywny element definicji);
• cel – działanie w określonym lub dorozumianym celu;
• mechanizm wnioskowania – system wnioskuje, jak generować wyniki na podstawie analizy danych wejściowych (warunku nie spełniają np. proste predykcje oparte na metodach statystycznych);
• generowanie wyników – skutkiem działania systemu jest wygenerowany wynik, taki jak predykcja, zalecenie lub decyzja;
• wpływ wyników – fakultatywny element mówiący o wpływie wygenerowanych wyników na środowisko fizyczne lub wirtualne.

Kiedy system AI powinien być klasyfikowany jako system wysokiego ryzyka?

Bez względu na to, czy system AI wprowadza się do obrotu lub oddaje do użytku niezależnie od produktów, o których mowa niżej, taki system AI uznaje się za system wysokiego ryzyka, jeżeli spełnione są oba poniższe warunki:

• system AI jest przeznaczony do wykorzystania jako związany z bezpieczeństwem element produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I lub sam system AI jest takim produktem;
• produkt, którego związanym z bezpieczeństwem elementem jest zgodnie z lit. a) system AI, lub sam system AI jako produkt podlegają – na podstawie unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I – ocenie zgodności przez stronę trzecią w związku z wprowadzeniem tego produktu do obrotu lub oddaniem go do użytku.

Oprócz systemów AI wysokiego ryzyka, o których mowa wyżej, za systemy wysokiego ryzyka uznaje się systemy AI, o których mowa w załączniku III do AI Act.

Odstępstwa od ogólnej zasady klasyfikacji

Na zasadzie odstępstwa systemu AI, o którym mowa w załączniku III do AI Act, nie uznaje się za system wysokiego ryzyka, w przypadku gdy nie stwarza on znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym poprzez brak znaczącego wpływu na wynik procesu decyzyjnego.

Akapit pierwszy stosuje się wtedy, gdy spełniony jest którykolwiek z następujących warunków:

• system AI jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego,
• system AI jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka,
• system AI jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji i nie ma na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka – bez odpowiedniej weryfikacji przez człowieka,
• system AI jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III.

Dostawca, który uważa, że system AI, o którym mowa w załączniku III, nie jest systemem wysokiego ryzyka, przed wprowadzeniem tego systemu do obrotu lub oddaniem go do użytku dokumentuje swoją ocenę. Taki dostawca podlega obowiązkowi rejestracji. Na wniosek właściwych organów krajowych dostawca przedstawia dokumentację tej oceny.

Katalog systemów wysokiego ryzyka wskazany w AI Act

Zgodnie z załącznikiem III do AI Act systemy AI wysokiego ryzyka to systemy AI wymienione w którymkolwiek z poniższych obszarów. W każdym z obszarów AI Act szczegółowo wymienia rodzaje systemów AI objętych klasyfikacją jako wysokiego ryzyka (poniżej wskazano je przykładowo – pełna lista w AI Act załącznik nr III):

1. Biometria, w zakresie, w jakim jej stosowanie jest dozwolone na podstawie odpowiednich przepisów prawa Unii lub prawa krajowego, np. systemy zdalnej identyfikacji biometrycznej. Nie obejmuje to systemów AI przeznaczonych do wykorzystania przy weryfikacji biometrycznej, której jedynym celem jest potwierdzenie, że określona osoba fizyczna jest osobą, za którą się podaje.
2. Infrastruktura krytyczna, np. systemy AI przeznaczone do wykorzystywania jako związane z bezpieczeństwem elementy procesów zarządzania krytyczną infrastrukturą cyfrową, ruchem drogowym i procesów ich działania lub zaopatrzenia w wodę, gaz, ciepło lub energię elektryczną.
3. Kształcenie i szkolenie zawodowe, np. systemy AI przeznaczone do wykorzystywania do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub przydzielania osób do tych instytucji na wszystkich poziomach.
4. Zatrudnienie, zarządzanie pracownikami i dostęp do samozatrudnienia.

Przykład 1.

Jako system wysokiego ryzyka należy sklasyfikować np. systemy AI przeznaczone do wykorzystywania do celów podejmowania decyzji wpływających na warunki stosunków pracy, decyzji o awansie lub rozwiązaniu umownego stosunku pracy, przydzielania zadań na podstawie indywidualnych zachowań lub cech osobowości, lub charakteru, lub do monitorowania, lub oceny wydajności i zachowania osób pozostających w takich stosunkach.

5. Dostęp do podstawowych usług prywatnych oraz podstawowych usług i świadczeń publicznych, a także korzystanie z nich, np. systemy AI przeznaczone do wykorzystywania przez organy publiczne lub w imieniu organów publicznych w celu oceny kwalifikowalności osób fizycznych do podstawowych świadczeń i usług publicznych, w tym opieki zdrowotnej, jak również w celu przyznawania, ograniczania, odwoływania lub żądania zwrotu takich świadczeń i usług.
6. Ściganie przestępstw w zakresie, w jakim wykorzystywanie przedmiotowych systemów jest dozwolone na podstawie odpowiednich przepisów prawa Unii lub prawa krajowego, np. systemy AI przeznaczone do wykorzystywania przez organy ścigania lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii w ramach wsparcia udzielanego organom ścigania lub w ich imieniu do oceny ryzyka, że osoba fizyczna stanie się ofiarą przestępstwa.
7. Zarządzanie migracją, azylem i kontrolą graniczną w zakresie, w jakim wykorzystywanie przedmiotowych systemów jest dozwolone na podstawie odpowiednich przepisów prawa Unii lub prawa krajowego, np. systemy AI przeznaczone do wykorzystywania przez właściwe organy publiczne lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii jako wariografy lub podobne narzędzia.
8. Sprawowanie wymiaru sprawiedliwości i procesy demokratyczne, np. systemy AI przeznaczone do wykorzystywania przez organ wymiaru sprawiedliwości lub w jego imieniu w celu wspomagania organu wymiaru sprawiedliwości w badaniu i interpretacji stanu faktycznego i przepisów prawa oraz w stosowaniu prawa do konkretnego stanu faktycznego lub do wykorzystywania w podobny sposób w alternatywnych metodach rozwiązywania sporów. Innym przykładem są systemy AI przeznaczone do wykorzystywania w celu wywierania wpływu na wynik wyborów lub referendum lub na zachowanie osób fizycznych podczas głosowania w wyborach lub referendach. Nie obejmuje to systemów AI, na których wyniki osoby fizyczne nie są bezpośrednio narażone, takich jak narzędzia wykorzystywane do organizowania, optymalizacji lub strukturyzowania kampanii politycznych z administracyjnego lub logistycznego punktu widzenia.