Když úředník podepsal rozhodnutí vytvořené umělou inteligencí

Umělá inteligence jako pomocník, nebo skrytý spoluautor rozhodnutí?

Použití technologií ve veřejné správě není samo o sobě problematické. Správně navržené systémy mohou zrychlit řízení, omezit rutinní administrativu, snížit chybovost, pomoci s orientací ve spise a uvolnit úředníkům prostor pro skutečné právní posouzení. Problém nevzniká tehdy, když umělá inteligence pomůže úředníkovi najít dokument, seřadit časovou osu nebo upozornit na chybějící přílohu. Problém vzniká ve chvíli, kdy začne ovlivňovat samotné jádro rozhodování, aniž by bylo zřejmé, jak silný tento vliv byl.

Představme si správní řízení s rozsáhlým spisem. Účastník předložil několik podání, listiny a specifické námitky. Úředník využije nástroj umělé inteligence, který vytvoří shrnutí spisu a návrh rozhodnutí – text působí přesvědčivě. Obsahuje popis skutkového stavu, právní argumentaci i návrh odůvodnění. Jednu zásadní námitku však systém zkrátí tak, že ztratí svůj původní význam. Nevynechá ji úplně. Právě v tom je problém méně viditelný. Námitka se v textu objeví, ale pouze v tak obecné podobě, že se s ní rozhodnutí ve skutečnosti nevypořádá.

Úředník návrh přečte, upraví několik formulací, doplní číslo jednací a rozhodnutí podepíše. Účastník se následně brání s tím, že jeho hlavní argument nebyl skutečně posouzen. Správní orgán odpoví, že rozhodnutí vydal oprávněný úředník a že umělá inteligence byla použita pouze jako pomocný nástroj. Právě zde se ukazuje podstata problému. Pokud umělá inteligence pouze pomohla s jazykovou úpravou textu, právní význam jejího použití bude omezený. Pokud však určovala, které části spisu jsou podstatné, jak mají být shrnuty, a jak se s nimi má správní orgán vypořádat, pak už nejde jen o technickou pomůcku. V takovém případě se stala součástí rozhodovacího procesu. A rozhodovací proces veřejné správy musí být zpětně vysvětlitelný.

Veřejná moc nemůže říct: „To navrhl systém“

Veřejná moc nemůže být vykonávána způsobem, kdy se odpovědnost při přezkumu schová za technickou mezivrstvu. Pokud rozhodnutí zasáhne do práv člověka, musí být zřejmé, kdo ho učinil, z jakých podkladů vycházel a jakými úvahami se řídil. To platí bez ohledu na to, zda koncept rozhodnutí napsal člověk od začátku, nebo zda mu jej připravil systém. Formule „umělá inteligence byla pouze podpůrný nástroj“ proto nebude vždy dostačující. Podpůrný nástroj může mít různou intenzitu vlivu. Jiný význam má automatická kontrola překlepů, jiný význam má shrnutí spisu a zcela jiný význam má návrh právního závěru nebo textu odůvodnění.

Čím blíže je výstup umělé inteligence samotnému jádru rozhodnutí, tím silnější musí být požadavky na lidskou kontrolu, digitální auditní stopu a vysvětlitelnost. Podpis úředníka má význam tehdy, pokud potvrzuje skutečné posouzení věci. Pokud pouze legalizuje výstup systému, stává se z něj procesní fasáda. To by bylo nebezpečné nejen pro účastníka řízení, ale i pro samotnou důvěru ve veřejnou správu.

Lidský dohled nesmí být fikce

V debatě o umělé inteligenci se často objevuje pojem lidský dohled. Na papíře působí uklidňujícím dojmem. Systém něco navrhne, člověk výstup zkontroluje a rozhodne. Odpovědnost tedy zůstává u člověka. Jenže v praxi bude rozhodující, zda je tento dohled skutečný, nebo pouze formální. Skutečný dohled znamená, že úředník ví, kdy byl systém použit, jaký výstup vytvořil, jaké jsou jeho limity a které části musí samostatně ověřit. Má možnost návrh odmítnout, změnit, doplnit nebo zcela ignorovat. Není tlačen k tomu, aby výstup systému přebíral jen proto, že to urychluje práci. Má dostatečný čas, odborné znalosti i procesní prostor k tomu, aby mohl jednat odpovědně.

Iluzorní dohled vzniká tam, kde člověk sice formálně rozhoduje, ale reálně pouze potvrzuje výsledek technologického procesu. Systém připraví návrh, text působí odborně, pracoviště je zatíženo množstvím věcí a neformální očekávání směřuje k rychlosti. Úředník pak nemusí být skutečným hodnotitelem výstupu, ale posledním článkem administrativního řetězce. Takový dohled nechrání nikoho. Nechrání účastníka řízení, protože jeho věc nebyla skutečně individuálně posouzena. Nechrání úředníka, protože na něj přenáší odpovědnost za výsledek, který neměl reálnou možnost plnohodnotně ověřit. Nechrání ani správní orgán, protože vytváří pouze iluzi kontroly.

Veřejná správa proto bude muset rozlišovat mezi situací, kdy člověk umělou inteligenci skutečně používá jako nástroj, a situací, kdy je člověk používán jako formální potvrzení výstupu systému.

Přesvědčivý omyl je nebezpečnější než viditelná chyba

U běžného administrativního pochybení bývá chyba často viditelná. Chybí podpis, nesedí datum, je zjevně opomenut dokument, nesprávně je uvedeno jméno nebo číslo jednací. U výstupů generativní umělé inteligence může být situace složitější. Text může být plynulý, formálně správný a stylisticky přesvědčivý, a právě proto může být chyba hůře rozpoznatelná.

Systém může například vytvořit odůvodnění, které se tváří jako vypořádání námitky, ale ve skutečnosti ji obchází. Může použít správný právní pojem v nesprávném kontextu. Může spojit dvě podobné situace, které se právně liší. Může převzít obecnou argumentaci z jiné věci a použít ji tam, kde neodpovídá individuálním okolnostem případu. To je zvlášť nebezpečné ve veřejné správě, kde má odůvodnění rozhodnutí zásadní význam. Odůvodnění není literární doplněk výroku. Je to prostor, v němž správní orgán ukazuje, že věc skutečně posoudil, že slyšel argumenty účastníka a že jeho závěr není libovůlí.

Pokud umělá inteligence pomůže odůvodnění napsat, nemusí to být samo o sobě špatně. Pokud však nahradí skutečnou úvahu, vzniká problém. Právně kvalitní rozhodnutí totiž není jen text, který vypadá jako odůvodnění. Je to zachycení skutečné myšlenkové cesty správního orgánu. Právě proto bude u umělé inteligence ve veřejné správě důležité nejen to, zda je výstup správný jazykově, ale zda je správný procesně, skutkově a právně.

Odpovědnostní mlha a úředník jako poslední člověk v řetězci

Použití umělé inteligence ve veřejné správě může svádět k rozptýlení odpovědnosti. Úředník může tvrdit, že vycházel z nástroje schváleného úřadem. Úřad může odkázat na externího dodavatele. Dodavatel může namítat, že systém fungoval podle zadání a že konečné rozhodnutí učinil člověk. Metodik může tvrdit, že nastavil pouze obecná pravidla. IT správce může uvést, že zajišťoval pouze provoz systému. Výsledkem může být odpovědnostní mlha.

Právní stát si však nemůže dovolit výkon veřejné moci, u něhož není jasné, kdo za něj odpovídá. Adresát veřejné správy nesmí nést následky toho, že si stát zorganizoval rozhodování nepřehledným technologickým způsobem. To neznamená, že za každé pochybení bude odpovídat jedna konkrétní osoba. Naopak, použití umělé inteligence může vyžadovat složitější posouzení. Jiná bude situace, kdy úředník bezmyšlenkovitě převezme chybný návrh. Jiná bude situace, kdy byl systém špatně navržen, špatně nasazen, nedostatečně testován nebo provozován v agendě, pro kterou se nehodil. A jiná bude situace, kdy vedení úřadu vytvoří tlak na rychlost, který fakticky znemožní řádnou lidskou kontrolu.

Stejně tak však nesmí být konkrétní úředník posledním člověkem v řetězci, na kterého se odpovědnost jednoduše přenese. Pokud má nést odpovědnost za kontrolu výstupu systému, musí mít jasná pravidla, dostatek času, znalost limitů systému a reálnou možnost výstup odmítnout nebo přepracovat. Odpovědnost za rozhodování s využitím umělé inteligence proto nebude možné redukovat ani na větu „rozhodl úředník“, ani na větu „chybu způsobil systém“. Bude nutné zkoumat celý proces: zadání, výběr systému, jeho nastavení, provoz, metodiku, lidskou kontrolu i konkrétní převzetí výstupu do rozhodnutí. Právě v tom spočívá jedna z nejtěžších výzev budoucí veřejné správy. Bude muset chránit adresáta rozhodnutí před neprůhledným systémem a zároveň chránit úředníka před tím, aby se stal obětním beránkem technologického řešení, které sám nenavrhl a neměl pod kontrolou.

Závěr

Umělá inteligence může být pro veřejnou správu významným pomocníkem. Může zrychlit práci, zpřehlednit spisy, pomoci s orientací v rozsáhlých podkladech a snížit administrativní zátěž. Nesmí se však stát skrytým spoluautorem rozhodnutí, jehož skutečný vliv nelze zpětně dohledat. V opravdovém právním státě nestačí, aby rozhodnutí bylo podepsáno oprávněnou osobou. Musí být také zřejmé, že tato osoba věc skutečně posoudila. Lidský podpis nesmí být pouhou procesní maskou strojového závěru.

Budoucnost veřejné správy proto nebude stát na jednoduché otázce, zda umělou inteligenci používat, nebo nepoužívat. Bude stát na otázce, jakým způsobem ji používat, aby nezmizela odpovědnost, přezkoumatelnost a důvěra. Veřejnost nepřijme umělou inteligenci ve veřejné správě pouze proto, že bude rychlá. Přijme ji tehdy, pokud bude vnímat, že je kontrolovatelná, spravedlivá a odpovědnostně uchopitelná.

Pokud rozhodnutí připraví stroj a podepíše člověk, nesmí se právo spokojit s formální odpovědí, že rozhodl člověk. Musí se ptát, zda člověk skutečně rozhodoval, nebo pouze potvrdil výsledek systému. Právě tato otázka bude jednou z nejdůležitějších zkoušek veřejné správy v době umělé inteligence. Budoucnost nebude patřit úřadům, které pouze nasadí nové technologie. Bude patřit těm, které dokážou spojit technologickou efektivitu s právní odpovědností.

Oba autoři článku jsou státní zaměstnanci Finanční správy ČR. Shora uvedený text je vyjádřením soukromého názoru autorů, který se nemusí shodovat s právním názorem Finanční správy ČR, a tedy nemůže založit (nebo změnit) případnou správní praxi v dané oblasti.