Právní průšvihy při nasazování AI nástrojů – praktické zkušenosti, kdy se to nepovedlo (2. část)

Takový normální compliance projekt

Své téma budu nahlížet primárně očima těch, kteří nástroje umělé inteligence reálně zavádějí. A protože mám praktickou zkušenost s projekty v několika zdravotnických zařízeních, vybral jsem si jeden konkrétní projekt, kde jsme s kanceláří měli možnost posuzovat aktuální a reálný stav umělé inteligence v takto hyperregulovaném prostředí.

Jednalo se o jedno z největších českých zdravotnických zařízení. Má 50 klinik, asi 3 000 zaměstnanců a ročně odbaví více než 50 000 pacientů. A my jsme měli posoudit, jaké právní požadavky dopadají na takové zdravotnické zařízení při zavádění nástrojů umělé inteligence.

Zejména šlo postavení klasické gap analýzy. Měli jsme omezený scope. Neprocházeli jsme celých 16 nebo více právních předpisů, ale dívali jsme se skutečně na ty základní, klíčové regulace, jako je zákon o zdravotních službách, vedení zdravotnické dokumentace, akt o umělé inteligenci, nařízení o ochraně osobních údajů a některé kyberbezpečnostní otázky, respektive produktová regulace zdravotnických technologií, tedy nařízení MDR a IVDR.

Měli jsme vytvořit i jakýsi checklist toho, co musí organizace provést, když má zavést nástroje umělé inteligence. Měli jsme se také probrat tím, co už organizace zavedeno má a jakým způsobem jsou u těchto nástrojů splněny námi identifikované povinnosti. Výsledek byl ten, že jsme připravili tři materiály, které jsme prezentovali managementu.

Výsledek byl také ten, že původně jsme projekt škálovali na zhruba 2,5 měsíce před Vánocemi, takže tam měla být krátká pauza kolem Vánoc. Nakonec ale byla realita byla jiná – s projektem jsme strávili šest měsíců, protože se probudilo Ministerstvo zdravotnictví a začalo dotčené nemocnice stíhat s podobnými požadavky jako my. Takže jen dotazníkové šetření ohledně nástrojů umělé inteligence nakonec zabralo 4,5 měsíce.

Pro ty z vás, kteří se budou chtít této problematice věnovat: není to úplně triviální projekt a je potřeba na něj plánovat správné kapacity, lidské i časové.

AI ve zdravotnictví

AI ve zdravotnictví je velmi zajímavá problematika, ona vůbec AI v byznysu aktuálně je velmi zajímavá problematika, protože ti z vás, kteří mají aktivní účty na LinkedInu nebo jiných sociálních sítích, musí propadat šílenému „AI FOMO“.

Všichni zavádějí AI, všichni pracují s AI a kdo si přes víkend nestřihne jednu nebo dvě AI aplikace pomocí nějakého vibe-kódovacího nástroje, tak ten víkend nestrávil správně. Realita je nicméně trochu jinde. McKinsey k tomu má poměrně čerstvou statistiku z dubna tohoto roku a ten jednoznačně říká, že nejčastější využití nástrojů umělé inteligence je dnes v oblastech, kde se pracuje s informacemi a daty, jako je marketing, IT, znalostní management.

Zdravotnictví je, upřímně řečeno, poměrně popředu. Na druhou stranu, když se podíváte na tu vlastní disciplínu, to znamená poskytování péče, tak tam míra adopce AI nástrojů v tuto chvíli, naštěstí či bohužel, není úplně vysoká. Navíc, Anthropic, výrobce nástroje Claude, má k tomu také poměrně recentní studii, která se zabývá substituovatelností práce v jednotlivých odvětvích.

A zatímco IT je z 95 % substituovatelné a ze 60 % už dnes substituované, tak třeba právní služby jsou substituovatelné asi jen z 83 % a my jsme někde na 15 %. Takže ti z vás, kteří používají AI maximálně ke sumarizování e-mailů nebo přípravě prezentací, jsou v podstatě na forhontě aktivit, o kterých se bavíme.

Krásný nový svět v číslech

Ve zdravotnictví tedy skutečně míra adopce v tuto chvíli také není úplně vysoká, ale i tak jsme při procházení výstupů z úvodní fáze projektu zjistili, že v té velké nemocnici už dnes v ekosystému běžně funguje nějakých 9 rutinně používaných AI nástrojů. Z toho 2 byly velké jazykové modely, konkrétně OpenAI a Microsoft Copilot. Šest z těch nástrojů obvykle nemá žádnou dokumentaci, která by naplňovala povinnosti podle MDR, IVDR nebo aktu o umělé inteligenci. To znamená shadow AI v učebnicové podobě. Jsou to nástroje mimo standardní systém podnikové nebo odborné governance v organizaci. Všichni to ale velmi chtěli a všichni to velmi milovali, zejména radiologická klinika. Tam byli úplně nadšení, protože ti doktoři říkali: já na tom ušetřím dvě hodiny práce, a to se s tím „crcám“. Průměrně, a to odpovídá i jiným statistikám, je změřená časová úspora zhruba 2 až 2,5 hodiny na pracovníka v takovém prostředí.

Když jsme se zkusmo ptali, jaký je průměrný nárůst produktivity, říkali lékaři, že tím uspoří desetinu času. Skvělý byl jeden pan profesor, který říkal: já s tím dělám skoro všechno a ušetřím třetinu své práce, protože to aspoň nemusím po kolezích číst, což je zjevně ta nejdůležitější aplikace. Když se nicméně podíváte na hodnotu 10 až 30 % nárůstu produktivity, opět to odpovídá i globálním statistikám, které zveřejňuje Gartner.

Současně pár nelichotivých čísel, která se netýkají té konkrétní nemocnice, ale vyplývají ze statistik, které jsem posbíral z jedné globální studie agregované University of Melbourne: 58 % zaměstnanců dnes používá AI nástroje k pracovním úkolům zcela pravidelně, přičemž 70 % nemá žádnou placenou licenci, takže používají free nástroje, tedy bez právních záruk a s tím, že do těch nástrojů sypou data, která nástroje aktivně používají k učení vlastních modelů. 48 % zaměstnanců nemá vůbec žádný problém vložit tam citlivá data a 66 % zaměstnanců vezme data, která nástroj vyplivne, nehodnotí je, neověřuje je vůči více zdrojům a bere je jako danou práci.

Když tedy budete chtít něčím začít v oblasti umělé inteligence, vysvětlete prosím zaměstnancům, že ten stroj, statistická mašina na průměry z průměrů, se pravděpodobně v řadě případů mýlí. A ve zdravotnictví bych se nechtěl úplně tímto způsobem mýlit.

Hlavní výstupy compliance projektu

Jaká jsou hlavní zjištění běžného compliance projektu pro velkou nemocnici, ve které bez nějaké větší governance už dnes lékaři používají neauditovanou, nezkontrolovanou umělou inteligenci, včetně diagnostické práce?

První poučkou je, že když jsem tady říkal nenaleťte na „AI FOMO“, na ten „hype“ kolem umělé inteligence“, úplně stejně to lze říct o vedoucích pracovnících.

V nemocnici ti, kteří nejvíc tlačili na zavádění nástrojů umělé inteligence, ať už českých, nebo zahraničních, byli vedoucí pracovníci na klinikách, protože přicházeli s tím, že říkali: nám to zjednoduší práci, zrychlí a zefektivní péči a udělá to spoustu administrativní práce, kterou doktoři dnes dělat nechtějí. A je těžké doktory, i juniorní, poučit, že tu práci dělat mají.

Druhá věc je, a to už je spíše vedlejší rovina celé diskuse, že řada těch pracovníků byla nicméně nějakým způsobem osobně zapojená v tvorbě těch nástrojů. To znamená, že nemocnice je velmi intenzivně ve výzkumu a součástí tohoto výzkumu je i spolupráce s akademickými institucemi a s lékařskými fakultami, protože se tam provádějí nejrůznější zkoušky i testy technologií. A musím říct, že to, co jsme identifikovali jako jeden z hlavních driverů, bylo, že řada vrcholových lékařů si zjevně chtěla vystavět svůj vlastní pomník v oblasti umělé inteligence a neváhala proto použít nemocnici jako testovací prostředí. Takže nejde vždycky o tlak efektivity nebo lepší péče, často jsou to i vedlejší důvody.

Co se týče hlavních neshod, které v takových organizacích v praxi nastávají, není často problém v technologii. Problém je nedostatečná governance a compliance, nedostatečná příprava. Ta nepřipravenost organizace vůbec zavést něco jako nástroj umělé inteligence spočívá v tom, že na to vnitřní systémy zkrátka nepamatují. Nepamatuje na to datová politika, nepamatuje na to technická strategie, nepamatuje na to bezpečnostní architektura. A nejčastější problémy, které v praxi najdete, jsem už zmiňoval: shadow AI, jako je shadow IT, tedy nezdokumentované, neauditované, neschválené aplikace, do kterých lidé dávají svoje data nebo data třetích osob.

Časté problémy v praxi:

ShadowAI
Nejasná role poskytovatele vs. zavádějícího subjektu
Absence interních pravidel a schvalovacích procesů
Nedostatečné vyhodnocení regulatorních dopadů
Podcenění kybernetických a datových rizik

A co je tím základním problémem? Agenti umělé inteligence, které si jednoduše pustíte na mobilním telefonu. Dnes už úplně každá z velkých aplikací takového agenta má a do něj můžete data přesouvat pomocí jednoduchých aplikací, jako je třeba instant messaging. Přes Signal si vytáhnete data z informačního systému, pošlete je do mobilu, v mobilu je zpracujete a vracíte si zpátky odpověď. To znamená, že i organizace, které aktivně například blokují přístup do AI modelů, mohou mít problém právě s tímto.

Další oblastí jsou nejasné role při zavádění nástrojů. Často jsme se potkávali s tím, že v nemocnici docházelo k nějakému klinickému výzkumu nebo testování aplikací a současně ti výrobci hodně tlačili na to, aby data získaná z tohoto testování nebo například kazuistiky, které byly používány jako testovací případy, bylo možné v nástroji dále používat. To znamená, že role zařízení, tedy nemocnice, která je typicky zavádějícím subjektem, takzvaným deployerem, potom začala přecházet více do role spolutvůrce nebo minimálně poskytovatele datasetu pro vývoj AI nástroje. To s sebou samozřejmě nese výrazně větší množství povinností, což opět nebylo dobře adresováno v governance a v compliance systému organizace.

V řadě případů jde o naprostou absenci interních pravidel. S tím jsme se nesetkali pouze u tohoto zařízení, ale u většího množství zařízení. Budiž jim omluvou to, že všichni se zaklínali tím, že čekají na konkrétní aktivitu ze strany ústředního správního úřadu. Ministerstvo zdravotnictví tehdy avizovalo, že připraví materiály a nástroje pro řízení governance oblasti AI. Stalo se přesně to, co všichni očekávali, vznikla komise, která je údajně aktivní a v tuto chvíli ty materiály tvoří.

Dalším problémem je nedostatečné vyhodnocování regulatorních dopadů. Obecně jde o neschopnost nástroje změřit, vyhodnotit jejich reálná rizika a dopady do té poskytované a regulované služby, kterou je zdravotní péče a zásadní podceňování kybernetických a datových rizik. To znamená, že i lékaři pravidelně opakovali takovou „falešnou mantru“: když já tam nezadám konkrétní informace toho člověka, tak přece ten nástroj vůbec neví, která bije. Pro něj je to nějaký člověk s nějakou diagnózou. To je moc hezké, ale pořád ten nějaký člověk s nějakou diagnózou má určitá práva, minimálně v oblasti ochrany soukromí a tak dále.

Role zdravotnického zařízení podle AIA

Už jsem zmiňoval, že povinnosti podle AI Actu nevznikají pouze výrobcům AI systémů, tedy vendorům a distributorům, ale vznikají i zavádějícím subjektům. A to je něco, co se v těch zařízeních a u tohoto našeho konkrétního klienta dost systematicky podceňuje.

Hlavní problém, který tam je, je provozní. Řada těch nástrojů nemá automatickou schopnost uchovávat svoje stavové informace, logovat svoje činnosti a řada zdravotnických zařízení ani nemá představu, jakým způsobem by s těmi daty měla nakládat.

Velmi složitým a velmi nestandardním procesem bývá monitoring incidentů a jejich reporting, jednak ve vztahu vůči výrobcům a dodavatelům a jednak ve vztahu vůči dozorovým orgánům, kterými jsou v případě systémů umělé inteligence ve zdravotnictví v tuto chvíli zejména Státní úřad pro kontrolu léčiv a Ministerstvo zdravotnictví České republiky jako primární subjekty.

Další oblastí je nedostatečná investice do AI gramotnosti zaměstnanců. I když organizace vědí, že zaměstnanci takové nástroje používají, je to veřejné tajemství, se kterým všichni pracují. Zásadní problém je tak vůbec zajistit, aby se ti lidé byli schopni v této oblasti nějak vzdělat. Častý je provozní problém: já nemůžu žádat po přednostovi kliniky, aby si našel čtyři hodiny svého času a přišel na školení. Tak to nemusí být školení na čtyři hodiny. Udělejte videokurz na 20 minut nebo univerzitu 10 × 5 minut. To snad ti lidé najdou. Ale ne, nenajdou si čas ani na tohle. Takže to je potom víc otázka vůle a snahy.

Poslední věc, která je samozřejmě v souvislosti s nástroji docela problematická, zvlášť ve zdravotnictví, je jejich používání souladně s nějakou dokumentací, návodem a určenými účely. Mimo jiné proto, že často ani vendoři sami nemají dokumentaci zpracovanou dostatečně kvalitně a souladně s požadavky MDR, IVDR a AI Actu.

Největší praktické problémy při implementaci

Problém často vzniká už jen tím, že si organizace neumí vyhodnotit reálné dopady změn a reálné dopady technologií a proměny, které taková technologie, jako je umělá inteligence, představuje. Navíc, je to technologie s minimálním prahem pro vstup. Největší problém u řady technologií dnes paradoxně nespočívá v tom, že lidi musíte vzdělávat, aby s nimi uměli začít pracovat, ale v tom, že ty technologie jsou tak nízkoprahové, že stačí člověku jen ukázat: podívej, sem takhle napíšeš otázku a ono ti to odpoví. Ten člověk to třikrát, čtyřikrát zkusí, ono to má hlavu a patu a v tu chvíli je lapen. Když mu současně nevysvětlíte, jaké jsou limity toho odpovídacího mechanismu, co je architektonickým základem systému, že to není úplně sofistikovaná znalostní báze, ale v řadě případů spíš vyhodnocování nějakých patternů, má ten člověk opravdu tendenci předpokládat, že ten nástroj o té aktivitě reálně přemýšlí, a nelze mu to snadno rozmluvit.

Základní problém, se kterým jsme se pravidelně setkávali, je, že governance, systém dokumentace, který má říkat, kdo co řídí, kdo rozhoduje, kdo vyhodnocuje rizika, kdo vymáhá plnění právních povinností a jakým způsobem se třeba dokladuje plnění povinností podle AI Actu, jsou typicky věci, které jsou velmi často fragmentované. Řeší se po různých vertikálách. Svoje si v oblasti GDPR odpracuje DPO, svoje si v oblasti bezpečnosti odpracuje nemocniční CISO, svoje si v oblasti právní governance a compliance odpracuje právní oddělení, ale neintegruje se to.

Druhá věc, se kterou jsme se často potkávali, je, že skutečně neexistuje kvalitní centrální evidence těch nástrojů. S tím samozřejmě souvisí propagace shadow AI v organizaci, ale souvisí s tím také to, že nikdo neměl v tuto chvíli nebo doposud potřebu ty nástroje aktivně zkoumat, vyhodnocovat a nějak dokumentovat jejich reálné použití. V řadě případů se i tak velká organizace, jako je ta zmíněná nemocnice, potýká s tím, že tam neví levá ruka, co dělá pravá. Takže ani nikdo není schopen zpětně dohledat, jak se tam ten nástroj vlastně zjevil. Najednou ho na klinice začal někdo používat. Ano, pak dodatečně zjistíte, že ho přinesl přednosta kliniky, který ho viděl na mezinárodní konferenci, strašlivě se mu zalíbil a sehnal si přístup. A najednou ho používá sedm podřízených lékařů, aniž by se kdo zabýval tím, že by si přečetl dokumentaci, jak nástroj efektivně používat a jestli plní právní požadavky vyžadované v české jurisdikci.

Není řešeno, zde smluvní dokumentace dodavatelů odpovídá požadavkům AI Actu, MDR a IVDR.

Chybí proces klasifikace AI systémů, zejména co se týče jejich rizikovosti. Na tyto systémy se pohříchu často hledí tak, že to jsou prostě systémy AI a nikdo už se nezabývá otázkou, jestli jsou to systémy vysoce rizikové, což u zdravotnických systémů je poměrně časté.

Překryv regulací

Málo se řeší překryv regulací. To samozřejmě vede k tomu, že compliance nemusí být stoprocentně efektivní.

Digitální compliance, tak jak je vymezená v digitální dekádě Evropské unie, má čtyři základní vertikály.

první vertikála: informační a datová bezpečnost
druhá vertikála: ochrana soukromí a osobních údajů
třetí vertikála: umělá inteligence
čtvrtá vertikála: digitální služby a digitální ekonomika

Přidal bych k tomu ještě pátou vertikálu, a tou jsou oborové, odvětvové předpisy, jako v případě zdravotnictví právě MDR a IVDR.

Problém s regulacemi a jejich překryvem je ten, že regulace nepoužívají ani stejnou nomenklaturu, ani stejný přístup a v řadě případů vůbec nejsou žádným způsobem obsahově alignovány. To vede k tomu, že když řešíte třeba nástroj umělé inteligence, tak dodavatel je jednak dodavatelem ve smyslu aktu o umělé inteligenci, ale současně může být a bývá také zpracovatelem osobních údajů. A současně také může být osobou povinnou jako poskytovatel nebo dodavatel v rámci dodavatelského řetězce subjektu, který je povinným subjektem podle zákona o kybernetické bezpečnosti v režimu vyšších povinností.

Všechny tyto role musí být sladěny a musí na ně governance compliance systém pamatovat. Bez kvalitní interní governance prostě nelze, a to je základní výsledek našeho zkoumání, AI zavádět bezpečně a predikovatelně.

Co musí mít nemocnice připraveno

Jak si takový governance systém u zavádějící organizace, notabene u poskytovatele zdravotní péče, představit? Je to celá řada dokumentů. Samozřejmě nechci být proponentem toho, že si musíte všechno hned, teď a okamžitě sepsat. To byste odcházeli se značnou skepsí a dost možná po mně i něčím házeli.

Nicméně je podle mého názoru dobré začít pracovat na střeše pyramidy, na jejím vrcholu. Začít s nějakou AI strategií a definicí governance frameworku, aby skutečně bylo jasno, jakým způsobem se nástroje do organizace dostávají, kdo o tom rozhoduje, kdo vyhodnocuje rizika, kdo dělá ex ante analýzu bezpečnosti, ex ante analýzu plnění právních povinností a kdo dělá due diligence dodavatele.

Standardní bezpečnostní problematika se v organizacích, které léčí lidi a nedělají kybernetickou bezpečnost, z povahy věci standardně příliš neřeší. Měla by existovat nějaká metodika pro provádění DPIA a té obdoby, kterou zná akt o umělé inteligenci, fundamental rights impact assessment, čili FRIA. Měla by samozřejmě být řešena specifická problematika nakládání se zdravotními daty, jak pro trénink, tak pro aktivní využívání v nástrojích umělé inteligence. A měla by být řešena problematika školení zaměstnanců a hlášení bezpečnostních incidentů.

A pro připomenutí: nástroje umělé inteligence jsou specifickou bezpečnostní doménou.

Čtyři ze šesti trendů v oblasti kybernetické bezpečnosti jsou dnes spojeny s umělou inteligencí. Je to tedy oblast, na kterou, a na modely umělé inteligence obecně, dnes cílí celá řada specifických útoků. A pokud lidé v organizaci nejsou dostatečně vzděláni tak, aby byli schopni rozpoznat nestandardnost chování umělé inteligence, nemusí být schopni je odhalit.

Model drifting ve zdravotnictví má i celou řadu zajímavých implikací, které jsou pozitivní. Často bývá citována studie Emory University z roku 2022, která odhalila, že nástroje umělé inteligence jsou schopny rozpoznávat rasu a etnicitu skenovaných subjektů, pokud jim ukážete dostatečně velké množství, dostatečně velký dataset skenů plic. Nikdo dodnes neví, jak to ty nástroje dělají a jak to zpracovávají, ale je to docela zajímavá a slibná možnost, že by nám mohly skutečně efektivně pomáhat i v oblastech, ve kterých jsme to nečekali.

AI compliance jako provozní disciplína

AI compliance nemůže být jednorázový projekt, který si splním a tím skončím, ale má to být kontinuální provozní disciplína, která změní chování organizace. Organizace by neměla v tuto chvíli primárně řešit technická rizika a technické problémy, protože ty jsou dokumentovatelné a pravděpodobně v budoucnu budou řešitelné, ale měla by si nejprve zamést na vlastním prahu vytvořením racionálního compliance systému, do kterého musí být zapojen odborný management, generický management, samozřejmě všechny relevantní právní a compliance role a i role bezpečnostní.

Závěrečná doporučení

V tomto příspěvku vše dokumentuji na nemocnici, velkém zdravotnickém zařízení, ale můžete si to přenést do praxe jakékoliv organizace, která chce zavádět umělou inteligenci a chce ji efektivně používat. Jestliže to tak dělat chcete a pravděpodobně to dává smysl, je potřeba, aby se AI governance stala součástí rutinního řízení, minimálně compliance projektů.

Vyhněte se chaosu, snažte se zavádět nástroje AI tak, aby bylo od začátku patrné, jaký obchodní cíl a jakou službu reálně mají pokrýt, co mají reálně vyřešit, a investujte do vzdělávání pracovníků. I když digitální omnibus možná škrtne celou problematiku AI literacy, standardně fungující organizace vždycky bude investovat do vzdělání, protože z jiných výzkumů víme, že vzdělání v oblasti bezpečnosti technologií, včetně AI, je ta nejvíc návratná investice, kterou můžete udělat. Má návratnost přes 500 % v ROI vyjádření.