Klasifikace rizika AI systému: Praktický návod podle AI Actu

Proč je správná klasifikace rizika AI systému klíčová?

Evropská unie se stala průkopníkem v regulaci umělé inteligence s přijetím Nařízení EU 2024/1689, známého jako AI Act. Cílem tohoto přelomového předpisu je zajistit, aby AI systémy používané v EU byly bezpečné, transparentní, etické a respektovaly základní práva občanů. Pro každého, kdo vyvíjí, nasazuje nebo používá AI systémy, je zásadní pochopit, jaký dopad bude mít tento akt na jeho činnost. A prvním a nejdůležitějším krokem je právě správná klasifikace rizika vašeho AI systému.

Není to jen byrokratické cvičení. Správná klasifikace rizika AI systému je základem pro určení, jaké povinnosti se na vás jako poskytovatele nebo uživatele vztahují. Špatná klasifikace může vést nejen k finančním sankcím, které mohou dosáhnout desítek milionů eur, ale také k poškození reputace, ztrátě důvěry zákazníků a potenciálním právním sporům. Jde o to, jakou úroveň diligence a jaká opatření musíte přijmout, aby váš AI systém splňoval přísné požadavky AI Actu a přitom nadále efektivně sloužil svému účelu.

Čtyři kategorie rizika podle AI Actu: Základní přehled

AI Act dělí AI systémy do čtyř kategorií rizika, které slouží jako základ pro odstupňované požadavky. Tyto kategorie jsou navrženy tak, aby zohledňovaly potenciál AI systému způsobit újmu jednotlivcům nebo společnosti. Pochopení těchto kategorií je klíčové pro navigaci v regulaci a zajištění souladu. Více o rizikových kategoriích se dočtete v našem podrobném článku.

Tyto čtyři kategorie zahrnují: 1. Zakázané AI systémy, 2. AI systémy s vysokým rizikem, 3. AI systémy s omezeným rizikem a 4. AI systémy s minimálním nebo žádným rizikem. Každá kategorie má odlišné dopady na povinnosti poskytovatelů a uživatelů AI systémů, od naprostého zákazu až po minimální požadavky na transparentnost. Je důležité si uvědomit, že definice 'AI systému' je poměrně široká (viz čl. 3 a 4 AI Actu) a zahrnuje širokou škálu technologií, což vyžaduje pečlivé zvážení při klasifikaci.

Cílem této hierarchie je zajistit, aby AI s největším potenciálem škodlivosti podléhala nejpřísnější regulaci, zatímco méně rizikové systémy mají větší volnost. To umožňuje inovace, ale zároveň chrání občany EU. Následující kroky vám pomohou určit, kam váš AI systém spadá.

Krok za krokem: Jak určit riziko vašeho AI systému

Proces klasifikace rizika vašeho AI systému by měl probíhat systematicky. Projděte si následující kroky, abyste zjistili, do které kategorie váš systém spadá. Je to rozhodovací strom, který vás provede od nejpřísnějších kategorií k těm nejméně regulovaným.

Krok 1: Je váš AI systém zakázaný?

Nejprve se musíte ujistit, že váš AI systém nespadá do kategorie zakázaných systémů, jak je definováno v čl. 5 AI Actu. Tyto systémy jsou považovány za nepřijatelné z hlediska základních práv a hodnot EU. Příklady zahrnují: AI systémy, které používají subliminální techniky nebo záměrně manipulativní techniky k podstatnému ovlivnění chování osoby způsobem, který způsobuje nebo pravděpodobně způsobí fyzickou nebo psychickou újmu; systémy pro sociální bodování; systémy pro biometrickou kategorizaci citlivých dat (jako je rasový původ, politické názory, náboženské přesvědčení); a systémy vzdálené biometrické identifikace v reálném čase ve veřejně přístupných prostorech (s několika omezenými výjimkami pro vymáhání práva). Pokud váš systém spadá do této kategorie, jeho vývoj a nasazení v EU je zakázáno.

Krok 2: Spadá váš AI systém do kategorie vysokého rizika?

Pokud váš AI systém není zakázaný, dalším krokem je zhodnotit, zda spadá do kategorie vysokého rizika. Článek 6 AI Actu a zejména Příloha III podrobně specifikují oblasti, které jsou považovány za vysokorizikové. Jedná se o systémy, které mají potenciál způsobit významnou újmu zdraví, bezpečnosti nebo základním právům. Příloha III uvádí tyto oblasti:

1. Biometrické identifikační a kategorizační systémy: S výjimkou těch, které jsou zakázány, sem spadají systémy pro rozpoznávání obličeje, otisků prstů, hlasu, sítnice apod., používané pro identifikaci osob.

2. Správa a provoz kritické infrastruktury: Systémy určené k použití jako bezpečnostní komponenty při řízení a provozu kritické digitální infrastruktury, silniční dopravy, zásobování vodou, plynem, teplem a elektřinou. Příkladem může být AI řídící semafory nebo distribuci energie.

3. Vzdělávání a odborná příprava: AI systémy určené k hodnocení, přijímání nebo přidělování osob do vzdělávacích a odborných institucí nebo k hodnocení jejich výsledků (např. automatické hodnocení esejů, AI pro výběr na univerzity).

4. Zaměstnávání, řízení pracovníků a přístup k samostatné výdělečné činnosti: Systémy určené k náboru, výběru uchazečů, hodnocení výkonu, rozhodování o povýšení nebo ukončení pracovního poměru. Příkladem je AI, která filtruje životopisy nebo monitoruje produktivitu zaměstnanců.

5. Přístup k základním soukromým a veřejným službám a jejich využívání: AI systémy určené k hodnocení úvěruschopnosti, přidělování sociálních dávek, přístupu k pojištění nebo k naléhavým službám. Například AI, která rozhoduje o schválení půjčky nebo nároku na dávky v nezaměstnanosti.

6. Vymáhání práva: AI systémy určené k hodnocení rizika recidivy, detekci trestných činů, analýze důkazů nebo predikci kriminality. Příkladem je AI pro profilování podezřelých nebo pro prediktivní policejní činnost.

7. Řízení migrace, azylu a kontroly hranic: AI systémy určené k ověřování pravosti cestovních dokladů, pomoci při zkoumání žádostí o azyl nebo k detekci skryté přepravy osob. Příkladem je AI pro automatickou detekci padělaných pasů.

8. Správa spravedlnosti a demokratické procesy: AI systémy určené k podpoře soudních orgánů při hledání faktů, při výzkumu a interpretaci práva nebo při uplatňování práva. Příkladem může být AI, která analyzuje soudní spisy.

Pokud váš AI systém spadá do jedné z těchto kategorií, je klasifikován jako vysokorizikový a podléhá nejpřísnějším požadavkům AI Actu, včetně posouzení shody, zavedení systému řízení rizik, technické dokumentace, lidského dohledu a dalších.

Krok 3: Je váš AI systém s omezeným rizikem?

Pokud váš AI systém není zakázaný ani vysokorizikový, zvažte, zda spadá do kategorie omezeného rizika. Tyto systémy nepředstavují tak závažné riziko jako systémy vysokorizikové, ale přesto vyžadují určitou úroveň transparentnosti, aby uživatelé byli informováni. Článek 50 AI Actu (dříve čl. 52 v návrhu) se zaměřuje na povinnosti transparentnosti. Příklady zahrnují:

1. Chatboti a systémy interagující s lidmi: Poskytovatelé musí zajistit, aby uživatelé byli informováni, že komunikují s AI systémem, pokud to není z kontextu zřejmé. To platí pro mnoho online chatbotů nebo virtuálních asistentů.

2. Systémy pro rozpoznávání emocí a biometrickou kategorizaci: Tyto systémy musí jasně informovat osoby, které jsou jim vystaveny, o jejich použití.

3. Deepfakes a AI generovaný obsah: Poskytovatelé musí zajistit, aby bylo jasně označeno, že obsah (např. audio, video, obrázky) byl uměle generován nebo manipulován. Pro detailnější pohled na transparentnost chatbotů a AI generovaného obsahu si přečtěte náš článek: AI Act a chatboti: Co musím označit?

Krok 4: Je váš AI systém s minimálním nebo žádným rizikem?

Většina AI systémů spadá do kategorie minimálního nebo žádného rizika. Tyto systémy obvykle nepředstavují významné riziko pro základní práva nebo bezpečnost. Patří sem například spam filtry, doporučovací systémy pro e-commerce nebo streamovací platformy, AI pro hry, jednoduché překladače nebo AI systémy pro optimalizaci interních procesů bez přímého dopadu na jednotlivce. Na tyto systémy se vztahují minimální požadavky AI Actu, nicméně se stále doporučuje dodržovat etické principy a dobrovolné kodexy chování.

Důsledky klasifikace: Co to znamená pro vás?

Jakmile správně klasifikujete svůj AI systém, okamžitě zjistíte rozsah povinností, které na vás dopadají. Pro systémy s minimálním nebo žádným rizikem jsou povinnosti minimální, ačkoli se doporučuje dodržovat osvědčené postupy a etické směrnice. U systémů s omezeným rizikem je klíčová transparentnost, tedy informování uživatelů o interakci s AI nebo o AI generovaném obsahu (čl. 50).

Nejrozsáhlejší povinnosti pak čekají na poskytovatele a uživatele AI systémů s vysokým rizikem. Ti musí zavést robustní systém řízení rizik, provádět posouzení shody před uvedením na trh, udržovat podrobnou technickou dokumentaci, zajistit lidský dohled, dbát na přesnost, robustnost a kybernetickou bezpečnost systému a vést záznamy o jeho fungování. Dále musí provádět posouzení dopadu na základní práva, zaregistrovat systém do databáze EU a opatřit jej označením CE. To vše představuje značné investice do procesů a technologií, ale je to nezbytné pro dodržení předpisů a budování důvěry v AI.

V podstatě, čím vyšší riziko AI systém představuje, tím větší břemeno odpovědnosti a regulačních požadavků leží na poskytovateli. Správná klasifikace je proto nejen právní nutností, ale i strategickým rozhodnutím, které ovlivní celý životní cyklus vašeho AI systému.

Závěr: Nepodceňujte sílu správné klasifikace

Klasifikace rizika AI systému podle AI Actu je prvním a nejdůležitějším krokem k zajištění souladu s novou evropskou regulací. Nepodceňujte tento proces – má zásadní dopad na vaše povinnosti, náklady a potenciální rizika. Správná identifikace kategorie rizika vám pomůže nejen vyhnout se pokutám, ale také budovat důvěru ve vaše AI řešení a zajistit, že jsou vyvíjena a používána odpovědně.

Pamatujte, že AI Act je živý dokument a interpretace se mohou vyvíjet. Být proaktivní a pravidelně přezkoumávat klasifikaci vašich AI systémů je klíčové pro dlouhodobý úspěch. Pokud si nejste jisti, jak váš AI systém klasifikovat nebo potřebujete pomoci s implementací požadavků AI Actu, neváhejte využít náš nástroj pro sken webu a identifikaci AI prvků. Získáte tak jasný přehled o potenciálních rizicích a krocích, které je potřeba podniknout.

Navštivte aishield.cz/scan a udělejte první krok k bezpečné a compliant AI.

Související články

• Více o rizikových kategoriích se dočtete v našem podrobném článku.
• AI Act a chatboti: Co musím označit?