Jste připraveni na reportování incidentů podle AI Actu?

Na koho a kdy dopadá AI Act?

Využívání umělé inteligence je v Evropské unii upraveno samostatnou regulací, Aktem o umělé inteligenci (AI Act). Ten postupně nabývá účinnosti a dopadá na organizace, které systémy umělé inteligence vyvíjejí, distribuují i využívají v každodenní praxi.

Jaké jsou hlavní mezníky účinnosti (aplikovatelnosti) AI Actu?

Od 2. února 2025 jsou účinná obecná ustanovení AI Actu (např. působnost této regulace, definice, povinné školení zaměstnanců) a zákaz využití AI ve velmi rizikových oblastech, pro činnosti jako je manipulace lidí, jejich automatické hodnocení na základě chování (tzv. sociální skóre), plošné snímání a rozpoznávání obličejů atd.
Pravidla pro činnost dozorových úřadů, dozor na úrovni EU a pravidla pro obecné modely AI jsou účinná od 2. srpna 2025.
Zbytek AI Actu, včetně postupů pro řízení rizik, dokumentaci, kontrolu kvality atd. pro vysoce rizikové AI systémy, bude plně účinný od dne 2. srpna 2027.

Co to je vysoce rizikový systém AI?

AI Act rozděluje způsoby využití AI podle jejich rizikovosti. Rizikovosti pro dotčené osoby a jejich základní práva a povinnosti. Jak jsme si výše řekli, některé AI systémy jsou kvůli hrozícímu zásadnímu zásahu do práv a svobod lidí nepřijatelné a v Evropské unii je zakázáno AI takovýmto způsobem používat.

Způsoby využití AI, které do práv fyzických osob také výrazně zasahují, ale podle okolnosti může být míra tohoto zásahu akceptovatelná, jsou nazývány vysoce rizikovými systémy AI. Jejich využití je podle AI Actu přípustné, ale před jejich uvedením na trh a v průběhu jejich využívání podléhá řadě dalších požadavků, včetně nařízení rizik, kontroly kvality, transparentnosti, dostupnosti dokumentace atd.

Jaké systémy jsou dle AI Actu považovány za vysoce rizikové? Jedná se o využití AI v oblastech klíčových pro fungování společnosti či státu, konkrétně:

biometrická identifikace,
kritická infrastruktura
vzdělávání (např. hodnocení přijímacích zkoušek), které může určovat přístup ke vzdělání či průběhu profesního života,
bezpečnostní komponenty výrobků (např. aplikace AI v chirurgii),
oblast HR, tzn. zaměstnávání, hodnocení a řízení zaměstnanců (např. software pro třídění životopisů nebo pro hodnocení výkonu),
základní soukromé a veřejné služby (např. hodnocení zájemců o úvěr či životní pojištění a žádostí o některé sociální dávky,
vymáhání práva, které může zasahovat do základních práv (např. hodnocení spolehlivosti důkazů),
řízení migrace, azylu a ochrany hranic (např. automatizované posuzování žádostí o víza),
výkon spravedlnosti a demokratických procesů (např. řešení založená na AI pro vyhledávání soudních rozhodnutí)

Jaké incidenty se budou reportovat?

Součástí řídícího systému pro vysoce rizikoví AI systémy je i povinnost evidovat a hodnotit incidenty, které jsou s jejich využíváním spojeny, a závažné incidenty oznamovat příslušným dozorovým úřadům. Jedná se o už několikátou povinnost evidovat, hodnotit a reportovat závažné incidenty spojené se zpracováním dat, provozem informačních systémů, kritické infrastruktury atd. Tuto povinnost řeší řada regulací od GDPR v oblasti zpracování osobních údajů přes nařízení DORA pro finanční sektor až po směrnici NIS2, resp. nový zákon o kybernetické bezpečnosti, pro poskytovatele důležitých služeb z oblastí, jako je energetika, doprava, výrobní průmysl, zdravotnictví, odpadní hospodářství atd. A nyní do sbírky přibude AI Act.

Na koho povinnost reportovat závažné incidenty dopadne?

Povinnost monitorovat, hodnotit a reportovat závažné incidenty dopadne především na poskytovatele vysoce rizikových systémů AI. Poskytovatelem se dle AI Actu rozumí ta organizace, která buď sama vyvíjí systém AI či obecný model AI nebo nechává vyvíjet systém AI či obecný model AI a uvádí je na trh, případně organizace, která uvádí systém AI vyvinutý někým jiným do provozu pod svým vlastním jménem, názvem nebo ochrannou známkou.

Co je to závažný incident podle AI Actu?

Závažnost incidentů je podle různých regulací hodnocena různě. Jednou z pohledu zásahu do práv dotčených osob (GDPR), jindy s ohledem na dopad na provozované služby či infrastrukturu.

Závažným incidentem podle AI Actu se rozumí chyba, incident nebo špatné fungování AI systému, které přímo nebo nepřímo vedou k některému z těchto následků:

Smrt nebo závažné poškození zdraví člověka
Závažné a nevratné narušení správy nebo provozu kritické infrastruktury (např. dopravní či energetické soustavy)
Porušení právních předpisů EU, které jsou vydány za účelem ochrany základních práv (právo na život, na zdraví, na ochranu soukromí atd.)
Závažné poškození majetku nebo životního prostředí

Komu, kdy a jak se budou incidenty reportovat? Poradí metodika Evropské komise

V jakých lhůtách se budou incidenty reportovat? Jaké informace je nutno dozorovým úřadům o závažném incidentu spojeném s AI sdělit? Jakým kanálem a v jakém formátu?

Na některé z těchto otázek dává odpověď přímo AI Act, konkrétně jeho článek č. 73. Je ale pravda, že tyto odpovědi nejsou vždy zcela jasné. Jen lhůty pro ohlášení incidentu najdeme v tomto článku pro různé situace hned tři, navíc doplnění povinností při oznamování incidentů a stanovení lhůty zohledňovat závažnost incidentu.

Pro vyjasnění postupů souvisejících s reportingem závažných incidentů spojených s AI proto Evropská komise zveřejnila návrh výkladových vodítek a návrh šablony pro oznamování incidentů. Komise oba dokumenty předložila k veřejné konzultaci, komentáře a připomínky lze zasílat do 7. listopadu 2025. Po vydání finální verze, kterou lze očekávat na začátku příštího roku, budeme mít dost času na rozšíření současného procesu pro incident management i o tuto novou povinnost.

Návrh výkladových vodítek: zde

Návrh šablony pro reporting incidentů: zde