Řízení AI v organizacích veřejné správy

✓  Co může organizace udělat už nyní?

✓  Působit na hlavní faktory, které ovlivňují přijetí a využívání AI:

ⓘ  Podle provedených studií se ukazuje, že zaměstnanci veřejné správy sice AI využívají, ale spíše nárazově a pro jednotlivé úkony, než systematicky a např. i s kombinací více nástrojů tak, aby se AI stala integrálním nástrojem každodenní práce. Tento proces má svůj vývoj, který vyžaduje vzdělávání, osvojování dovedností, pravidel i posilování vlastního sebevědomí.

Pro vedení organizací z toho plyne několik výzev:

• Brát AI dovednosti jako nový typ kompetence zaměstnanců. Zajišťovat a podporovat kontinuální rozvoj a cílené učení zaměstnanců pro posilování sebevědomí a aktualizaci jejich dovednosti.
• Vytvářet rámec a pravidla pro využívání AI (i s rozlišením různých rolí).
• Vyvíjet a zlepšovat AI nástroje i jejich využití ve spolupráci se zaměstnanci jako odborníky na věcné agendy, a zajišťovat propojení technologie s problémy, které mají řešit.

✓  Při zavádění je možné využít regulační sandboxy pro pilotování AI nástrojů pro veřejný sektor. Tato kontrolovaná reálná testovací prostředí pomáhají identifikovat technické/etické problémy a ověřit přijetí uživateli.
Vyplatí se investovat do robustní infrastruktury, včetně interních cloudových platforem či výpočetních klastrů.

Strategický záměr a přínos

• Jaký AI nástroj zavádíme a jaký cíl tím sledujeme?
• Jaký problém řeší a jak zapadá do strategie a priorit organizace i celé veřejné správy?
• Jaké metriky úspěchu a očekávané přínosy nastavíme?
• Je rozsah nasazení přiměřený a časově realistický?

Uživatelé a jejich kompetence

• Kdo bude s AI interagovat (zaměstnanec, příjemce výstupu, správce)?
• Jaká je jejich úroveň kompetencí a jak zajistíme školení/podporu?
• Existuje možnost AI nepoužívat nebo na místo AI komunikovat s člověkem?
• Jsou aktéři transparentně informováni, že pracují s AI či jejími výstupy?

Procesní integrace a rozsah

• Které procesy/agendy budou dotčeny? Jedná se o zásah do kritických procesů/agend?
• Zasahuje nástroj celou organizaci, nebo pouze část/specifickou agendu?
• Jak AI navazuje na existující procesy a rozhodovací pravomoci?
• S jakými systémy bude AI spolupracovat a jak je řízena návaznost, propojenost, toky informací?
• Nahrazuje AI jiný IT systém/člověka/přináší novou funkci/doplňuje stávající?

Informace, kvalita a ochrana

• K jakým údajům má AI přístup? Jaký je zdroj a způsob vkládání/správy?
• Jsou údaje klasifikovány dle citlivosti a je rozsah vkládaných údajů omezen na nezbytné minimum?
• Jak je zajištěna kvalita, ověřitelnost a sledování bias ve vstupech?
• Kdo má kontrolu nad údaji v celém životním cyklu AI a jak detekujeme únik/zneužití?

Model, transparentnost a kontrolovatelnost

• Je znám původ nástroje/model (včetně dokumentace), jeho limity a předpoklady?
• Je míra vysvětlitelnosti a vysledovatelnosti odpovídající riziku?
• Jaké jsou přístupové role, auditní role a jak je nastaven dohled nad změnami?
• Je nastaven proces validace/testování před nasazením i po něm?

Přiměřenost a volba řešení

• Byly zvažovány ne-AI alternativy a proč nepostačují?
• Proč volíme právě toto AI řešení (varianta, poskytovatel, vývoj/nákup)?
• Jaké jsou známé limity, rizika a jak je eliminujeme?
• Jaké jsou náklady (vč. nákladů obětované příležitosti) oproti alternativám a jak to ovlivní rozhodnutí o volbě řešení?

Minimalizace újmy a základní práva

• Hrozí využití k sociálnímu hodnocení, sledování v reálném čase či zásahu do základních lidských práv? Jaké jsou pojistky?
• Mohou být dopady využití AI nezvratitelné či zásadní? Jak zajistíme lidskou kontrolu?
• Může AI nepřiměřeně zasahovat do autonomie osob nebo vytvářet diskriminaci? 
• Jak je řešena možnost námitky, opravného prostředku a přezkoumatelnost?

Stakeholdeři a participace

• Které skupiny budou nejvíce ovlivněny a jaké mají potřeby/obavy?
• Jak budou zapojeny napříč životním cyklem AI (návrh, test, provoz) a s jakým cílem?
• Jaká je jejich role ve schvalování/využívání a jaký mají reálný vliv?
• Proběhla cílená komunikace a bylo poskytnuto srozumitelné vysvětlení?

Právo, bezpečnost a soulad s požadavky

• Byl proveden právní rozbor (ochrana osobních údajů, sektorové normy, veřejné zakázky apod.)?
• Jak naplníme bezpečnostní požadavky?
• Jsou definovány odpovědnosti a dohledové mechanismy pro celý životní cyklus AI?
• Je zajištěna auditovatelnost (evidence rozhodnutí, kontrolní body, důkazní stopa)?

Nasazení, provoz a zlepšování (PDCA)

• Je popsán postup nasazení, kritéria „kam až AI sahá“ a plán ukončení?
• Jsou nastaveny metriky výkonu/kvality?
• Existuje plán řízení rizik a incidentů?
• Jak probíhá průběžné přezkoumání a zlepšování (PDCA,  opětovná validace)?

✓  U každého člověka v dané roli se musíme ptát, jaká je jeho znalost problematiky AI ve vztahu k jeho odpovědnostem, jaké jsou jeho kompetence, jak byl na danou roli připraven a vybaven, zda má vše, co pro výkon role potřebuje.

Manažer

Osoba odpovědná za strategická rozhodnutí o tom, zda a jak bude AI v organizaci využívána.

Typické úkoly a odpovědnosti:

• Stanovuje cíle a strategii využívání AI.
• Zajišťuje soulad s právem a etickými zásadami.
• Přiděluje odpovědnosti, zdroje a určuje priority.

Bez jasné rozhodovací autority hrozí nekoordinovanost, nedostatečná odpovědnost a ztráta důvěry v AI řešení.

AI uživatel

Zaměstnanec, který aktivně využívá nástroje nebo systémy založené na AI při výkonu své agendy.

Typické úkoly a odpovědnosti:

• Využívá AI v souladu s interními pravidly a etickými zásadami.
• Vyhodnocuje výstupy AI a uplatňuje vlastní úsudek a kritické myšlení.
• Hlásí nesrovnalosti, chyby či rizika spojená s využíváním AI.

Klíčový pro zajištění „lidské kontroly“ nad technologií a pro realistickou zpětnou vazbu, jak AI skutečně pomáhá v praxi.

Vlastník věcného procesu

Osoba odpovědná za konkrétní agendu nebo proces, do kterého je AI implementována.

Typické úkoly a odpovědnosti:

• Definuje cíle využití AI v daném procesu, aby se AI nemíjela účinkem.
• Určuje požadavky na kvalitu a správnost výstupů.
• Spolupracuje s IT a poskytovateli na správném nastavení nástroje.

Zajišťuje, že AI řešení skutečně odpovídá potřebám organizace a podporuje věcnou agendu, nikoliv naopak.

Bezpečnostní / IT podpora

Technický garant zajišťující, že nástroje AI jsou provozovány bezpečně a v souladu s interními, právními i bezpečnostními a technologickými požadavky.

Typické úkoly a odpovědnosti:

• Spravuje přístupová práva, údaje a technickou infrastrukturu, zajišťuje spolehlivost.
• Monitoruje kybernetická rizika a zabezpečení AI.
• Poskytuje technickou podporu uživatelům.

Bez této role nelze zaručit ochranu údajů, dostupnost ani důvěryhodnost AI řešení.

Dodavatel / vývojář

Externí nebo interní partner, který navrhuje, vyvíjí nebo dodává AI řešení pro organizaci. 

Typické úkoly a odpovědnosti:

• Zajišťuje transparentnost algoritmů, dokumentaci a testování.
• Spolupracuje s organizací při vyhodnocování dopadů AI.
• Dodržuje bezpečnostní a etické standardy stanovené organizací.

Jeho přístup a kvalita práce mají přímý vliv na důvěru, funkčnost a udržitelnost AI.

AI mentor / zkušený uživatel

Interní ambasador, který pomáhá kolegům s orientací v AI nástrojích a rozvíjí digitální kompetence a know-how organizace.

Typické úkoly a odpovědnosti:

• Rozvíjí a metodicky vede ostatní uživatele.
• Sleduje trendy a dobrou praxi v oblasti AI.
• Působí jako spojka mezi uživateli, vedením a IT.

Podporuje kulturu etického a odpovědného využívání AI, zvyšuje důvěru zaměstnanců a pomáhá překonávat nechuť ke změnám.