AI Act: Provozovatel vs výrobce — kdo je odpovědný?

AI Act: Nový rámec pro odpovědnost v éře AI

Evropská unie se stala průkopníkem v regulaci umělé inteligence s přijetím Nařízení EU 2024/1689, známého jako AI Act. Cílem tohoto přelomového zákona je zajistit bezpečnost, důvěryhodnost a etické používání systémů AI na jednotném trhu. Jedním z klíčových aspektů, které AI Act řeší s nebývalou precizností, je vymezení odpovědnosti. Nejde o to, zda je systém AI dobrý nebo špatný, ale kdo nese odpovědnost za jeho soulad s předpisy v různých fázích životního cyklu.

Zásadní pro pochopení AI Actu je rozlišení mezi dvěma hlavními aktéry: providerem (často překládaným jako výrobce) a deployerem (provozovatelem). Toto rozlišení není pouhým byrokratickým cvičením, ale fundamentálním pilířem, který určuje, kdo má jaké povinnosti, kdo musí provádět posouzení shody, a na koho se obrátí regulační orgány v případě problémů. Chybné pochopení nebo záměna těchto rolí může vést k závažným právním a finančním následkům, včetně pokut, které mohou dosáhnout desítek milionů eur.

V tomto článku se podrobně zaměříme na definice, povinnosti a příklady obou rolí. Rozebereme si, kdy se provozovatel může stát výrobcem, a jaké dopady to má na přenos odpovědnosti. Je klíčové, aby každá organizace, která se dotýká systémů AI, přesně věděla, do které kategorie spadá a jaké povinnosti z toho pro ni plynou. AI Act vyžaduje proaktivní přístup a pečlivé plánování.

Provider (Výrobce): Architekt systému AI

Role providera, neboli výrobce, je definována v článku 3 odst. 14 AI Actu. Jedná se o fyzickou nebo právnickou osobu, veřejný subjekt, agenturu nebo jiný orgán, který vyvíjí systém AI nebo si ho nechává vyvinout za účelem uvedení na trh nebo do provozu pod svým jménem nebo ochrannou známkou. Klíčové je, že provider je tím, kdo vnáší systém AI do oběhu na trh EU. Může to být například společnost, která vyvíjí základní AI modely, nebo firma, která vytváří konkrétní AI aplikaci (např. nástroj pro HR screening, diagnostický software pro lékaře).

Povinnosti providera jsou rozsáhlé a jsou detailně popsány v článcích 16 až 25 AI Actu. Zahrnují mimo jiné zajištění souladu systému AI s požadavky na vysoce rizikové systémy (pokud do této kategorie spadá, viz náš článek o /ai-act/rizikove-kategorie), zavedení systému řízení kvality, vypracování technické dokumentace, provedení posouzení shody, zavedení systému řízení rizik, a zajištění lidského dohledu nad systémem. Provider musí také zajistit, aby systém AI byl transparentní, přesný, robustní a bezpečný. Je odpovědný za to, že systém je navržen a vyvinut tak, aby minimalizoval rizika a dodržoval základní práva.

Kromě počáteční fáze vývoje a uvedení na trh má provider povinnost provádět post-marketingový monitoring. To znamená sledovat výkon systému AI po jeho uvedení do provozu, shromažďovat data o jeho používání a případných incidentech, a přijímat nápravná opatření, pokud je to nutné. Provider je také povinen registrovat vysoce rizikové systémy AI do databáze EU a zajistit, aby jeho systémy byly označeny značkou CE, což je potvrzení shody s AI Actem.

Provozovatel (Deployer): Uživatel s klíčovou odpovědností

Provozovatel, neboli deployer, je definován v článku 3 odst. 16 AI Actu jako fyzická nebo právnická osoba, veřejný subjekt, agentura nebo jiný orgán, který používá systém AI pod svou pravomocí, s výjimkou případů, kdy je systém AI používán v rámci osobní neprofesionální činnosti. Jednoduše řečeno, provozovatel je koncový uživatel systému AI, který jej integruje do svých vlastních procesů a rozhodování. Příkladem může být nemocnice používající AI pro analýzu rentgenových snímků, banka využívající AI pro hodnocení úvěruschopnosti klientů, nebo firma nasazující AI pro automatizovaný nábor zaměstnanců.

Povinnosti provozovatele jsou popsány v článku 29 AI Actu a jsou stejně zásadní jako ty providerovy, byť se liší povahou. Provozovatel má za úkol zajistit, aby systém AI byl používán v souladu s návodem k použití a v rámci jeho určeného účelu. To zahrnuje implementaci adekvátního lidského dohledu, monitorování výkonu systému v reálném prostředí, zajištění kvality vstupních dat a v případě potřeby přijímání nápravných opatření. Provozovatel je odpovědný za to, aby AI systém nepřekračoval své limity a aby jeho výstupy byly řádně interpretovány a ověřovány lidmi.

Dále, provozovatelé vysoce rizikových systémů AI mají povinnost provádět posouzení dopadů na základní práva (Fundamental Rights Impact Assessment – FRIA) před uvedením systému do provozu, pokud to vyžadují vnitrostátní právní předpisy (např. ve spojení s GDPR). Musí také uchovávat automaticky generované záznamy (logy) po dobu minimálně šesti měsíců, aby bylo možné sledovat činnost systému a ověřovat shodu. V podstatě, zatímco provider je odpovědný za to, že systém je navržen správně, provozovatel je odpovědný za to, že je systém správně používán a spravován v každodenním provozu.

Kdy se role mění? Přenos odpovědnosti

AI Act počítá i se situacemi, kdy může dojít k přenosu odpovědnosti nebo ke změně role. Článek 26 AI Actu stanovuje, že fyzická nebo právnická osoba (tedy typicky původní provozovatel), která provede podstatnou změnu systému AI nebo jej uvede na trh či do provozu pod svým jménem nebo ochrannou známkou, je považována za providera. To znamená, že na ni přecházejí veškeré povinnosti providera, včetně nutnosti provést nové posouzení shody a zajistit soulad se všemi příslušnými požadavky.

Příkladem takové změny může být situace, kdy společnost koupí hotový AI systém od externího providera, ale následně jej podstatně modifikuje pro své vlastní specifické potřeby, nebo jej začne prodávat jako součást svého vlastního produktu. Podstatná změna může zahrnovat úpravu algoritmů, změnu účelu použití nebo integraci s jinými systémy, která má dopad na bezpečnost, přesnost nebo spolehlivost AI. Je klíčové pečlivě vyhodnotit, zda provedené úpravy dosahují prahu podstatné změny, protože v takovém případě se z původního provozovatele stává plnohodnotný výrobce s celou řadou nových povinností a rizik.

Dále existují i další aktéři, jako jsou dovozci a distributoři, kteří mají své vlastní povinnosti podle AI Actu (články 27 a 28). Ti musí ověřit, že systémy AI, které uvádějí na trh, mají označení CE, že je k nim přiložena potřebná dokumentace a že provider splnil své povinnosti. Ačkoliv se nejedná o providera ani deployera v hlavním smyslu, jejich role je důležitá pro zajištění celého dodavatelského řetězce a pro minimalizaci rizik spojených s neregulovanými nebo neshodnými systémy AI.

Proč je toto rozlišení klíčové pro váš byznys?

Jasné pochopení a dodržování rolí providera a provozovatele je pro každou organizaci využívající AI zásadní. Nejde jen o vyhnutí se pokutám, které podle článku 99 a 100 AI Actu mohou dosahovat až 35 milionů eur nebo 7 % celkového ročního obratu, ale především o budování důvěry, zajištění etického provozu a minimalizaci provozních rizik. Každá firma musí mít interně jasně definované procesy, které zohledňují její roli v ekosystému AI. To zahrnuje analýzu, zda je vaše firma providerem, provozovatelem, nebo se v určitých situacích stává obojím.

Provozovatelé musí pečlivě vybírat své providery a ověřovat jejich shodu s AI Actem, stejně jako prověřovat technickou dokumentaci a certifikace. Providery naopak musí zajistit, že jejich systémy jsou navrženy tak, aby provozovatelům umožnily snadné a bezpečné dodržování jejich vlastních povinností. Vzájemná komunikace a transparentnost mezi těmito aktéry jsou klíčové. Uzavírání smluv, které jasně vymezují odpovědnost a sdílení informací, je nezbytností.

AI Act není jen souborem pravidel, ale výzvou k transformaci přístupu k vývoji a nasazování umělé inteligence. Proaktivní přístup k dodržování předpisů, pečlivé plánování a průběžné monitorování jsou nezbytné pro udržení konkurenceschopnosti a pro vyhnutí se nákladným chybám. Včasná identifikace vaší role a s ní spojených povinností vám umožní efektivně řídit rizika a plně využívat potenciál AI v souladu s evropskými hodnotami a právními předpisy.

Závěr a jak vám AIshield.cz pomůže s dodržováním AI Actu

Rozlišení mezi providerem (výrobcem) a deployerem (provozovatelem) je fundamentálním kamenem Nařízení EU o umělé inteligenci. Každá z těchto rolí nese specifické a rozsáhlé povinnosti, které mají zajistit, že systémy AI jsou bezpečné, transparentní a etické. Ignorování těchto rozdílů nebo nejasné vymezení odpovědností může vést k závažným právním a finančním problémům. AI Act není něčím, co lze brát na lehkou váhu – je to závazný právní rámec, který mění pravidla hry pro celý AI průmysl.

Ať už jste provider, který vyvíjí nové AI produkty, nebo provozovatel, který je integruje do svých operací, je nezbytné mít nástroje a znalosti k efektivnímu řízení shody. AIshield.cz je zde, aby vám pomohl navigovat složitým světem AI Actu. Nabízíme komplexní řešení pro audit a zajištění souladu vašich AI systémů s novými předpisy.

Chcete mít jistotu, že vaše AI systémy splňují všechny požadavky AI Actu? Nenechávejte nic náhodě. Využijte náš skenovací nástroj, který vám poskytne rychlý přehled o potenciálních rizicích a pomůže vám identifikovat oblasti pro zlepšení. Navštivte aishield.cz/scan a začněte s komplexním skenováním vašich AI systémů ještě dnes. Získejte klid, že vaše podnikání je v souladu s nejnovějšími regulacemi.

Související články

• Zjistěte více o rizikových kategoriích AI systémů
• Prozkoumejte, jaké pokuty hrozí za nedodržení AI Actu