Biometrické AI systémy: Co AI Act zakazuje a povoluje

Úvod do Biometrických AI systémů a AI Actu

Vstupujeme do éry, kdy se umělá inteligence stává nedílnou součástí našich životů, a s ní i technologie schopné rozpoznávat a analyzovat lidské rysy. Biometrické AI systémy, využívající například rozpoznávání obličeje, otisků prstů nebo chůze, slibují zvýšení bezpečnosti a pohodlí. Nicméně, jejich nasazení s sebou nese i značné etické a právní výzvy, zejména v oblasti ochrany soukromí a základních práv občanů. Právě proto Evropská unie přichází s komplexní regulací.

Dne 13. března 2024 byl schválen přelomový AI Act (Nařízení EU 2024/1689), který představuje první globální právní rámec pro umělou inteligenci. Jeho cílem je zajistit, aby AI systémy byly bezpečné, transparentní, etické a respektovaly základní práva EU občanů. Pro biometrické AI systémy zavádí AI Act jedny z nejpřísnějších pravidel, rozlišující mezi zcela zakázanými a vysoce rizikovými aplikacemi, které jsou povoleny jen za velmi specifických podmínek.

Porozumění těmto pravidlům je klíčové pro všechny vývojáře, dodavatele i uživatele AI systémů, kteří chtějí působit na evropském trhu. Tento článek vás provede složitostmi AI Actu ve vztahu k biometrii, objasní, co je zakázáno, co je povoleno a jaké povinnosti z toho vyplývají pro vaši organizaci.

Co AI Act ZAKAZUJE: Červená čára pro biometrii

Jádrem regulace biometrických AI systémů v AI Actu jsou jednoznačné zákazy, které mají chránit soukromí a svobody občanů. Nejpřísnější zákaz se týká používání systémů biometrické identifikace v reálném čase (tzv. 'real-time') na veřejně přístupných místech. To znamená, že AI systémy, které by v přímém přenosu analyzovaly obličeje kolemjdoucích s cílem je identifikovat, jsou v EU obecně zakázány. Tento zákaz je zakotven v Článku 5 AI Actu, který specifikuje seznam zakázaných AI praktik.

Konkrétně, Článek 5 odstavec 1 písm. d) zakazuje zavádění, uvádění na trh nebo používání systémů AI pro vzdálenou biometrickou identifikaci osob v reálném čase na veřejně přístupných místech za účelem vymáhání práva. Důvodem je vysoké riziko nepřiměřeného dohledu, diskriminace a porušení základních práv, jako je právo na soukromí a ochranu osobních údajů. Tento zákaz má zabránit vzniku masového dohledu a sledování občanů.

Kromě real-time biometrické identifikace na veřejných místech AI Act zakazuje i další AI systémy, které by zneužívaly biometrická data nebo vedly k sociálnímu bodování či manipulaci. Patří sem například systémy pro rozpoznávání emocí v oblastech vymáhání práva, řízení hranic, pracoviště nebo vzdělávacích institucí, s výjimkou specifických lékařských účelů. Rovněž jsou zakázány systémy, které by využívaly biometrická data k vytváření kategorií osob na základě citlivých atributů, jako je rasa, náboženské nebo politické přesvědčení, a to s cílem diskriminace.

Tyto zákazy představují jasnou červenou čáru, kterou EU stanovuje pro aplikace AI, jež považuje za nepřijatelně rizikové pro společnost. Porušení těchto zákazů může vést k vysokým pokutám, jak je popsáno v Článku 99 AI Actu, dosahujícím až 35 milionů EUR nebo 7 % celosvětového ročního obratu firmy, podle toho, která částka je vyšší. Více o pokutách se dozvíte v našem článku o pokutách za porušení AI Actu.

Kdy je Biometrie POVOLENA: Výjimky a přísná pravidla

Ačkoliv jsou zákazy přísné, AI Act neuzavírá dveře před veškerým využitím biometrických AI systémů. Existují velmi omezené a přesně definované výjimky pro vzdálenou biometrickou identifikaci na veřejně přístupných místech, a to pouze pro účely vymáhání práva a pouze pro identifikaci 'po události' (tzv. 'post-remote'). Tyto výjimky musí být schváleny soudním orgánem nebo nezávislým správním orgánem a podléhají přísným podmínkám, které jsou detailně popsány v Článku 5 odstavci 2 AI Actu.

Mezi tyto výjimky patří například cílené vyhledávání obětí trestných činů, včetně pohřešovaných dětí; předcházení konkrétní, podstatné a bezprostřední hrozbě teroristického útoku; nebo identifikace osob podezřelých ze spáchání závažného trestného činu, pro který je v dotčeném členském státě trestní sazba alespoň tři roky odnětí svobody. Vždy je nutné, aby použití bylo přísně nezbytné a přiměřené, s ohledem na povahu hrozby, závažnost trestného činu a předpokládané důsledky pro práva a svobody dotčených osob.

Další typy biometrických systémů, které nejsou zakázány, ale jsou považovány za 'vysoce rizikové', jsou například biometrické ověřovací systémy pro přístup k zabezpečeným prostorám nebo pro odemykání mobilních zařízení. Tyto systémy sice nejsou zakázány, ale musí splňovat řadu přísných požadavků stanovených pro vysoce rizikové AI systémy, jak je uvedeno v Článku 10 a následujících, a také v Příloze III AI Actu. Mezi tyto požadavky patří mimo jiné systémy řízení rizik, vysoká kvalita dat, technická dokumentace a lidský dohled.

Je důležité rozlišovat mezi biometrickou identifikací a biometrickým ověřováním. Zatímco identifikace hledá shodu s databází mnoha osob, ověřování pouze potvrzuje totožnost jedné osoby, která se hlásí. AI Act se primárně zaměřuje na identifikaci jako na rizikovější činnost. Všechny povolené biometrické systémy, zejména ty vysoce rizikové, podléhají transparentním povinnostem a musí zohledňovat dopady na základní práva uživatelů.

Biometrické systémy jako vysoce rizikové AI a související povinnosti

I pokud biometrický systém nespadá do kategorie zakázaných, s velkou pravděpodobností bude klasifikován jako 'vysoce rizikový' podle Přílohy III AI Actu. Tato kategorie zahrnuje systémy, které představují významné riziko pro zdraví, bezpečnost nebo základní práva osob. Provozovatelé a dodavatelé těchto systémů musí splnit řadu přísných povinností, aby zajistili jejich soulad se zákonem.

Mezi klíčové povinnosti patří zavedení a udržování systému řízení rizik, který identifikuje, analyzuje a minimalizuje potenciální rizika. Dále je nezbytná vysoká kvalita dat, na kterých je AI systém trénován, aby se předešlo diskriminaci a chybám. Dodavatelé musí také zajistit důkladnou technickou dokumentaci, vedení záznamů, transparentnost a poskytování informací uživatelům o fungování systému. Důraz je kladen i na lidský dohled, který zajišťuje, že AI systém nebude přijímat kritická rozhodnutí bez možnosti zásahu člověka.

Pro vysoce rizikové AI systémy je navíc povinné provést posouzení shody, které dokládá, že systém splňuje všechny požadavky AI Actu. V některých případech, zejména pokud systém nasazují orgány veřejné moci, je vyžadováno i posouzení dopadu na základní práva (Fundamental Rights Impact Assessment – FRIA), které hodnotí potenciální dopady systému na práva občanů, včetně ochrany osobních údajů. Tyto kroky jsou zásadní pro zajištění důvěryhodnosti a zákonnosti používání biometrických AI systémů.

V neposlední řadě je nutné mít na paměti, že AI Act se doplňuje s dalšími předpisy, jako je obecné nařízení o ochraně osobních údajů (GDPR). Biometrické údaje jsou považovány za zvláštní kategorii osobních údajů, a proto jejich zpracování podléhá ještě přísnějším pravidlům. Integrace požadavků obou předpisů je nezbytná pro každou organizaci využívající biometrii. Více o vztahu AI Actu a GDPR naleznete v našem blogu AI Act a GDPR: Jak spolu souvisí.

Dopady pro firmy a organizace a jak se připravit

Pro firmy a organizace, které vyvíjejí, dodávají nebo nasazují biometrické AI systémy v EU, má AI Act zásadní dopady. Je nezbytné provést důkladnou analýzu stávajících i plánovaných systémů a posoudit jejich soulad s novými pravidly. To zahrnuje identifikaci, zda systém spadá do kategorie zakázaných, nebo vysoce rizikových AI, a následné přizpůsobení procesů a technologií.

Příprava na AI Act vyžaduje komplexní přístup. Doporučujeme zahájit audit všech AI systémů, které vaše organizace používá nebo plánuje používat, s důrazem na ty, které využívají biometrii nebo rozpoznávání obličeje. Následně je potřeba implementovat robustní systém řízení rizik, zajistit kvalitu dat a zavést adekvátní transparentní mechanismy. V případě vysoce rizikových systémů je nutné projít procesem posouzení shody a případně získat certifikaci.

Nedodržení AI Actu může mít vážné finanční a reputační důsledky. Kromě již zmíněných pokut hrozí i ztráta důvěry zákazníků a poškození značky. Proaktivní přístup a včasná adaptace jsou proto klíčové. Využijte nástroje a poradenství, které vám pomohou s orientací v AI Actu a zajištěním souladu vašich AI systémů. Důkladná příprava na zákon je investicí do budoucnosti vaší firmy v digitálním světě.

AIshield.cz nabízí komplexní řešení pro analýzu a zajištění souladu vašich webových stránek a AI nástrojů s AI Actem. Náš skener webu dokáže identifikovat potenciální rizika a pomůže vám připravit se na nadcházející regulaci.

Související články

• více o pokutách za porušení AI Actu
• AI Act a GDPR: Jak spolu souvisí