Provider systemu AI wysokiego ryzyka jest najgęściej obciążony obowiązkami w całym AI Act. Tu nie ma dróg na skróty — sekcja 2 rozdziału III to siedem twardych wymogów technicznych, do których dochodzi sześć obowiązków operatorskich z art. 16-21. Ten artykuł rozkłada wszystkie obowiązki na czynniki pierwsze i mapuje je na praktyczne dokumenty, które trzeba mieć przygotowane.

Konteksty: pełny przewodnik po AI Act w AI Act 2024/1689 — przewodnik dla firm, klasyfikacja high-risk w Systemy AI wysokiego ryzyka (art. 6 + zał. III), rola providera w Role w AI Act — provider, deployer, importer, dystrybutor.

Jakie wymogi obejmuje sekcja 2 rozdziału III?

Sekcja 2 ustanawia siedem podstawowych wymogów dla systemów AI wysokiego ryzyka, które dostawca musi zapewnić przed wprowadzeniem systemu do obrotu lub oddaniem do użytku.

Art. 9 — system zarządzania ryzykiem. Dostawca ustanawia, wdraża, dokumentuje i utrzymuje system zarządzania ryzykiem przez cały cykl życia systemu AI. Obejmuje to identyfikację i analizę znanych i racjonalnie przewidywalnych ryzyk dla zdrowia, bezpieczeństwa i praw podstawowych, oszacowanie ryzyk wynikających z błędów użytkowania zgodnie z przeznaczeniem, ocenę pojawiających się ryzyk po wprowadzeniu do obrotu (z monitoringu z art. 72) i przyjęcie odpowiednich środków minimalizujących ryzyko.

Art. 10 — dane i zarządzanie danymi. Zbiory danych treningowych, walidacyjnych i testowych podlegają praktykom zarządzania danymi adekwatnym do przeznaczenia systemu. Wymagane są: znaczenie projektu i decyzje co do pozyskania danych, procesy zbierania danych i pochodzenia, czynniki przygotowawcze (etykietowanie, oczyszczanie, agregacja, anonimizacja, pseudonimizacja), formułowanie założeń, ocena dostępności i adekwatności, badania pod kątem stronniczości i braków, zarządzanie tymi brakami. Dostawca dba o wystarczającą reprezentatywność danych w odniesieniu do osób, na które system będzie miał wpływ.

Art. 11 — dokumentacja techniczna. Dostawca sporządza dokumentację techniczną zgodnie z załącznikiem IV przed wprowadzeniem do obrotu i utrzymuje ją w aktualności. Załącznik IV wymaga m.in.: ogólnego opisu systemu, szczegółowego opisu elementów i procesu rozwoju, danych o monitorowaniu i kontroli, opisu adekwatności wskaźników, opisu systemu zarządzania ryzykiem, opisu zmian wprowadzanych w cyklu życia, kopii deklaracji zgodności UE oraz opisu monitorowania po wprowadzeniu do obrotu.

Art. 12 — zapis zdarzeń. System AI wysokiego ryzyka jest zaprojektowany tak, by automatycznie generował zapis zdarzeń (logi) w trakcie eksploatacji. Logi muszą zapewniać poziom identyfikowalności adekwatny do przeznaczenia systemu, w szczególności do wykrywania sytuacji ryzyka, ułatwiania monitorowania po wprowadzeniu do obrotu (art. 72) oraz dla deployerów — monitorowania działania systemu zgodnie z art. 26.

Art. 13 — transparentność i przekazywanie informacji deployerom. System jest zaprojektowany w sposób umożliwiający deployerom interpretację jego wyników. Dostawca dołącza instrukcję obsługi w odpowiednim formacie cyfrowym lub fizycznym, zawierającą m.in. tożsamość i dane kontaktowe dostawcy, charakterystyki systemu (przeznaczenie, poziom dokładności, znane ograniczenia, zachowania w foreseable misuse), zmiany wprowadzone od pierwszej oceny zgodności, środki nadzoru ze strony człowieka, opis mechanizmów logowania, oczekiwany czas eksploatacji oraz konieczne czynności konserwacyjne.

Art. 14 — nadzór ze strony człowieka. System AI wysokiego ryzyka jest zaprojektowany w sposób umożliwiający skuteczny nadzór człowieka w trakcie eksploatacji. Środki nadzoru są proporcjonalne do ryzyk, poziomu autonomii i kontekstu wykorzystania. Mają one umożliwić osobie nadzorującej zrozumienie zdolności i ograniczeń systemu, monitorowanie jego działania, świadomość ryzyka „automation bias", interpretację wyników, podjęcie decyzji o nieużywaniu systemu lub jego zatrzymaniu, a także zatrzymanie systemu poprzez przycisk awaryjny lub równoważną procedurę. Dla wybranych systemów biometrycznych (zał. III pkt 1 lit. a) wymagana jest weryfikacja przez co najmniej dwie osoby.

Art. 15 — dokładność, solidność i cyberbezpieczeństwo. System AI wysokiego ryzyka jest projektowany i rozwijany w taki sposób, aby osiągał odpowiedni poziom dokładności, solidności (robustness) i cyberbezpieczeństwa oraz aby spójnie funkcjonował przez cały cykl życia. Komisja może we współpracy z odpowiednimi zainteresowanymi stronami opracować poziomy odniesienia i metodyki pomiaru. Cyberbezpieczeństwo obejmuje odporność na próby manipulacji wynikami systemu, szczególnie poprzez data poisoning, model poisoning, ataki kontradyktoryjne i confidentiality attacks.

Jakie obowiązki operatorskie spoczywają na dostawcy (art. 16-21)?

Z art. 16 wynika lista 12 obowiązków dostawcy systemu AI wysokiego ryzyka — to praktycznie spis zobowiązań proceduralnych obok wymogów technicznych.

Lit. art. 16Obowiązek
aZapewnienie zgodności systemu AI wysokiego ryzyka z wymogami sekcji 2
bWskazanie na systemie nazwy, zarejestrowanej nazwy handlowej lub znaku towarowego oraz adresu dostawcy
cPosiadanie systemu zarządzania jakością zgodnie z art. 17
dPrzechowywanie dokumentacji wskazanej w art. 18
ePrzechowywanie zapisów zdarzeń (logi) generowanych automatycznie, gdy znajdują się pod kontrolą dostawcy (art. 19)
fZapewnienie przeprowadzenia procedury oceny zgodności przed wprowadzeniem do obrotu (art. 43)
gSporządzenie deklaracji zgodności UE (art. 47)
hUmieszczenie oznakowania CE na systemie AI wysokiego ryzyka, opakowaniu lub w dokumentach (art. 48)
iSpełnienie obowiązków rejestracji z art. 49 (rejestracja w bazie UE)
jPodjęcie niezbędnych działań naprawczych i przekazanie informacji w przypadku niezgodności (art. 20)
kWykazanie zgodności na uzasadnione żądanie organu krajowego
lZapewnienie zgodności z wymogami dostępności określonymi w dyrektywie (UE) 2016/2102 i 2019/882

Art. 17 — system zarządzania jakością (QMS). Dostawca wdraża QMS zapewniający zgodność z rozporządzeniem. Obejmuje on co najmniej strategię zgodności, techniki, procedury i systematyczne działania na potrzeby projektowania, kontroli projektu i weryfikacji systemu, opracowania, kontroli jakości i zapewnienia jakości systemu, badań, testów i procedur walidacyjnych, specyfikacji technicznych (w tym norm) stosowanych przez dostawcę, systemy i procedury zarządzania danymi, system zarządzania ryzykiem z art. 9, system monitorowania po wprowadzeniu do obrotu z art. 72, procedury związane ze zgłaszaniem poważnych incydentów (art. 73), wewnętrzny audyt, kontrolę dostawców i podwykonawców, zarządzanie zasobami, ramy odpowiedzialności określające kierownictwo i pozostały personel.

Art. 18 — przechowywanie dokumentacji. Dostawca przechowuje przez 10 lat od wprowadzenia systemu do obrotu lub oddania do użytku dokumentację techniczną, dokumenty QMS, dokumentację zatwierdzeń i decyzji jednostek notyfikowanych oraz deklarację zgodności UE — i udostępnia te dokumenty właściwym organom krajowym na ich wniosek.

Art. 19 — automatycznie generowane zapisy zdarzeń. Dostawca przechowuje logi przez okres adekwatny do przeznaczenia systemu, co najmniej 6 miesięcy, o ile prawo Unii lub prawo krajowe (w szczególności prawo dot. ochrony danych osobowych) nie stanowi inaczej.

Art. 20 — działania naprawcze i obowiązki informacyjne. Dostawca, który uważa lub ma podstawy uważać, że wprowadzony do obrotu lub oddany do użytku system AI wysokiego ryzyka nie jest zgodny z rozporządzeniem, niezwłocznie podejmuje niezbędne działania naprawcze (w tym wycofanie z rynku, dezaktywację) i informuje dystrybutorów, deployerów, upoważnionego przedstawiciela oraz importerów. Informuje też organy nadzoru rynku oraz, jeśli ma zastosowanie, jednostkę notyfikowaną.

Art. 21 — współpraca z właściwymi organami. Na uzasadniony wniosek właściwego organu dostawca przekazuje wszelkie informacje i dokumenty niezbędne do wykazania zgodności, w jednym z oficjalnych języków UE wskazanym przez ten organ, oraz udostępnia organom dostęp do logów wygenerowanych automatycznie przez system.

Jak wygląda procedura oceny zgodności i oznakowanie CE?

Z art. 43 wynika, że dla systemów AI wysokiego ryzyka stosuje się jedną z dwóch procedur: kontrola wewnętrzna (załącznik VI) lub ocena na podstawie systemu zarządzania jakością i oceny dokumentacji technicznej z udziałem jednostki notyfikowanej (załącznik VII).

Po pomyślnym przejściu procedury dostawca sporządza pisemną, zachowywaną przez 10 lat deklarację zgodności UE zgodnie z art. 47 i umieszcza oznakowanie CE zgodnie z art. 48. Oznakowanie umieszcza się w sposób widoczny, czytelny i nieusuwalny — fizycznie na systemie lub na opakowaniu, a w przypadku systemów AI dostarczanych cyfrowo — w dokumentach.

Jaka jest rola rejestracji w bazie danych UE?

Z art. 49 wynika obowiązek rejestracji systemu AI wysokiego ryzyka w bazie danych UE prowadzonej przez Komisję (art. 71) przed wprowadzeniem systemu do obrotu lub oddaniem do użytku. Rejestracja obejmuje informacje wskazane w załączniku VIII (m.in. tożsamość dostawcy, opis systemu, status oceny zgodności, deklaracja zgodności).

Z art. 49 ust. 2 wynika obowiązek rejestracji także dla dostawców, którzy uznali system z załącznika III za niewysokiego ryzyka zgodnie z wyjątkiem z art. 6 ust. 3 — wtedy rejestracja dokumentuje samą decyzję klasyfikacyjną.

Co po wprowadzeniu systemu do obrotu? Monitoring i incydenty.

Z art. 72 wynika obowiązek monitorowania systemu po wprowadzeniu do obrotu (post-market monitoring). Dostawca aktywnie i systematycznie zbiera, dokumentuje i analizuje dane dotyczące działania systemu w całym okresie eksploatacji, dostarczane przez deployerów lub zbierane samodzielnie. Monitoring umożliwia ciągłą ocenę zgodności z wymogami sekcji 2 i identyfikację potrzeby aktualizacji lub działań naprawczych.

Z art. 73 wynika obowiązek zgłaszania poważnych incydentów związanych z systemem AI wysokiego ryzyka — niezwłocznie po stwierdzeniu związku przyczynowego między systemem a incydentem (lub gdy taki związek jest racjonalnie prawdopodobny), nie później niż 15 dni po jego stwierdzeniu. W przypadku poważnego naruszenia obowiązków wynikających z prawa UE chroniących prawa podstawowe — termin krótszy. W przypadku śmierci osoby zgłoszenie nie później niż 10 dni od stwierdzenia.

Mapa dokumentów, które provider powinien mieć

Z naszego doświadczenia kompletny zestaw dla jednego systemu AI wysokiego ryzyka obejmuje:

  • polityka i procedura zarządzania ryzykiem (art. 9);
  • dokumentacja jakości danych treningowych i procedur ich zarządzania (art. 10);
  • dokumentacja techniczna zgodna z załącznikiem IV (art. 11);
  • specyfikacja loggingu (art. 12) i procedury przechowywania logów (art. 19);
  • instrukcja obsługi dla deployera (art. 13);
  • model nadzoru ze strony człowieka (art. 14);
  • raporty z testów dokładności, solidności i cyberbezpieczeństwa (art. 15);
  • ramy QMS — polityki, procedury, zakresy odpowiedzialności (art. 17);
  • deklaracja zgodności UE (art. 47);
  • procedura oceny zgodności i jej dokumentacja (art. 43);
  • rejestracja w bazie danych UE (art. 49);
  • procedury post-market monitoring i raportowania incydentów (art. 72-73);
  • protokoły działań naprawczych (art. 20).

Jak możemy Ci pomóc?

W Legal Geek prowadzimy projekty wdrożenia obowiązków providera systemu AI wysokiego ryzyka. Od inwentaryzacji systemów i klasyfikacji ryzyka, przez przygotowanie systemu zarządzania ryzykiem, dokumentacji technicznej i polityk QMS, po ścieżkę oceny zgodności i rejestrację w bazie UE. Współpracujemy z zespołami technicznymi (CTO, ML engineers) i compliance, dopasowując dokumentację do realiów działalności. Chcę pomocy z wdrożeniem providera!

Co dalej w cyklu?

Źródła