AI ve vzdělávání a AI Act: Školy a univerzity pod drobnohledem

Revoluce AI ve vzdělávání a potřeba regulace

Umělá inteligence (AI) se stává nedílnou součástí moderního vzdělávání. Od personalizovaných výukových plánů, přes chytré tutory, až po systémy pro administrativní zefektivnění – potenciál AI transformovat způsob, jakým se učíme a učíme, je obrovský. Nejde jen o základní nástroje, jako jsou chatboti pomáhající s domácími úkoly, ale i o sofistikované systémy, které mohou zásadně ovlivnit životní dráhu studentů.

S rostoucím nasazením AI však přichází i potřeba zajistit, aby tyto technologie byly používány eticky, spravedlivě a transparentně. Právě zde vstupuje do hry Nařízení EU o umělé inteligenci, známé jako AI Act (Nařízení EU 2024/1689). Tento průkopnický legislativní rámec má za cíl vytvořit bezpečné a důvěryhodné prostředí pro vývoj a využívání AI v Evropské unii. Pro sektor vzdělávání představuje AI Act významný milník, který přináší nové povinnosti a výzvy, ale zároveň i příležitosti pro zodpovědnou inovaci.

V tomto článku se podrobně zaměříme na to, jak AI Act ovlivní školy a univerzity, zejména ve vztahu k systémům, které jsou klasifikovány jako 'vysoce rizikové'. Pochopíme, proč jsou systémy pro hodnocení studentů a přijímání na školy považovány za kritické a jaké konkrétní povinnosti z toho pro vzdělávací instituce plynou.

Proč je AI v hodnocení studentů vysoce riziková?

AI Act rozlišuje různé úrovně rizika spojeného s AI systémy, od minimálního až po nepřijatelné. Klíčovým pojmem pro vzdělávací sektor je 'vysoce riziková AI'. Podle článku 6 AI Actu a konkrétně Přílohy III bodu 3 se AI systémy určené k hodnocení studentů v rámci přijímacího řízení nebo k hodnocení jejich výsledků v odborném vzdělávání považují za vysoce rizikové. Ale proč tomu tak je?

Důvodem je potenciální dopad těchto systémů na základní práva a životní příležitosti jednotlivců. Chybná klasifikace, diskriminace nebo nedostatečná transparentnost v procesu hodnocení či přijímání může mít pro studenty dalekosáhlé negativní důsledky. Představte si AI systém, který automaticky vyhodnocuje eseje nebo testy, aniž by byl řádně testován na zaujatost vůči určitým demografickým skupinám. Nebo systém, který na základě algoritmů rozhoduje o přijetí na univerzitu, a jeho rozhodování je neprůhledné a nekontrolovatelné. Takové systémy mohou vést k nespravedlivým výsledkům, prohloubit existující nerovnosti a narušit důvěru ve vzdělávací systém. Právě proto AI Act klade na tyto systémy zvláštní důraz a ukládá jim přísné povinnosti.

Je důležité si uvědomit, že ne každý AI nástroj používaný ve vzdělávání spadá do kategorie vysoce rizikových. Generativní AI pro pomoc s učením, nástroje pro personalizaci obsahu nebo administrativní systémy, které nemají přímý dopad na hodnocení nebo přijímání, obvykle nejsou vysoce rizikové. AI Act se primárně zaměřuje na ty systémy, které mají potenciál ovlivnit přístup k základním právům, jako je právo na vzdělání, nebo mít významný dopad na životní dráhu jednotlivce. Cílem je chránit studenty před potenciálním poškozením, aniž by se bránilo inovaci v obecném smyslu. Pro jasné pochopení rizikových kategorií doporučujeme náš článek: /ai-act/rizikove-kategorie.

Klíčové povinnosti pro školy a univerzity jako 'Zavádějící' (Deployers)

Pokud škola nebo univerzita používá vysoce rizikový AI systém, stává se podle AI Actu 'zavádějícím' (deployer) ve smyslu článku 3 odst. 8. Tato role s sebou nese řadu významných povinností, které jsou podrobně popsány v článku 26. Neznamená to, že musíte vyvíjet vlastní AI systémy, ale musíte zajistit, že ty, které používáte, splňují přísné požadavky. Je to obdoba, jako když firma používá cloudovou službu – není jejím vývojářem, ale nese odpovědnost za data, která v ní zpracovává.

Mezi klíčové povinnosti zavádějícího patří monitoring výkonu AI systému (čl. 26 odst. 1 písm. a), který zahrnuje sledování jeho přesnosti, robustnosti a absence diskriminace. Dále je nezbytné zajistit lidský dohled (čl. 14, čl. 26 odst. 1 písm. b), což znamená, že rozhodnutí AI nesmí být nikdy plně automatická a musí existovat možnost lidského přezkumu a zásahu. Školy musí také zajistit, aby poskytovatelé AI systémů dodržovali přísné požadavky na správu dat a kvalitu (čl. 10, čl. 26 odst. 1 písm. c) a transparentnost (čl. 13, čl. 26 odst. 1 písm. d), což znamená, že studenti musí být informováni o použití AI a o způsobu jejího fungování.

Jednou z nejdůležitějších povinností pro školy jako zavádějící vysoce rizikových AI systémů je provedení posouzení dopadu na základní práva (Fundamental Rights Impact Assessment – FRIA) dle článku 27. Toto posouzení musí identifikovat a vyhodnotit potenciální rizika pro základní práva, jako je právo na vzdělání, nediskriminaci nebo ochranu osobních údajů, a navrhnout opatření k jejich zmírnění. Školy musí také uchovávat záznamy o používání AI systémů (čl. 12, čl. 26 odst. 1 písm. f) a spolupracovat s příslušnými orgány dohledu nad trhem (čl. 26 odst. 1 písm. g). Důrazně doporučujeme seznámit se s naším blogem o tom, /blog/jak-provest-impact-assessment-ai.

Praktické kroky pro implementaci AI Actu ve vzdělávacích institucích

Přechod na shodu s AI Actem není jednorázová událost, ale kontinuální proces. Pro školy a univerzity je klíčové zahájit systematický přístup k implementaci. Prvním krokem by měl být komplexní audit všech stávajících a plánovaných AI systémů. Cílem je identifikovat, které z nich spadají do kategorie vysoce rizikových podle Přílohy III bodu 3. Pro tyto systémy je pak nutné prověřit, zda splňují požadavky AI Actu, a vypracovat plán pro dosažení shody. Tento audit by měl zahrnovat i systémy od externích dodavatelů, protože odpovědnost leží i na škole jako zavádějícím.

Dále je nezbytné investovat do školení personálu. Všichni, kdo se podílejí na výběru, nasazování nebo dohledu nad AI systémy, by měli být obeznámeni s principy AI Actu, etickými aspekty AI a konkrétními povinnostmi. To zahrnuje akademické pracovníky, administrátory i IT oddělení. Zavedení interních procesů a politik pro řízení AI, včetně mechanismů pro lidský dohled a řešení stížností studentů, je naprosto klíčové. Je nutné mít jasně definované postupy pro monitorování, testování a pravidelné přezkoumávání výkonu AI systémů, aby se předešlo nechtěným dopadům.

V neposlední řadě, spolupráce s právními experty a odborníky na AI governance je pro školy a univerzity nezbytná. AI Act je složitý právní předpis a interpretace jeho ustanovení vyžaduje hluboké znalosti. Vytvoření interního týmu nebo jmenování zodpovědné osoby pro AI governance, která bude dohlížet na dodržování AI Actu, může výrazně usnadnit proces shody. Nezapomeňte také na dokumentaci shody – veškeré kroky, rozhodnutí a analýzy by měly být řádně zaznamenány pro případ kontroly. Dodržování těchto kroků nejenže zajistí shodu s legislativou, ale také posílí důvěru studentů a veřejnosti v používání AI ve vzdělávání.

Výzvy a příležitosti: Budoucnost AI ve vzdělávání pod dohledem AI Actu

Implementace AI Actu ve vzdělávacím sektoru s sebou nese jak výzvy, tak i významné příležitosti. Mezi hlavní výzvy patří bezpochyby administrativní zátěž a potřeba alokace finančních a lidských zdrojů. Školy a univerzity budou muset investovat do právního poradenství, školení, technických auditů a úprav interních procesů. Složitost nařízení může být pro menší instituce značnou překážkou. Navíc, najít kvalifikované odborníky, kteří rozumí jak AI, tak právním předpisům, může být obtížné.

Přestože se to může zdát jako zátěž, AI Act představuje obrovskou příležitost k budování důvěry a inovaci v rámci etického rámce. Zajištěním transparentnosti, spravedlnosti a lidského dohledu nad AI systémy mohou vzdělávací instituce posílit svou pověst a ukázat se jako lídři v zodpovědném využívání technologií. Studenti, rodiče a veřejnost budou mít jistotu, že AI systémy používané ve vzdělávání jsou bezpečné a respektují jejich práva. To může vést k většímu přijetí AI ve vzdělávání a otevřít dveře pro nové, inovativní aplikace, které by bez robustní regulace nebyly možné.

AI Act není jen o omezeních, ale také o stanovení standardů kvality. Nutnost dodržovat požadavky na datovou kvalitu, robustnost a přesnost AI systémů povede ke zlepšení jejich celkové spolehlivosti a efektivity. V konečném důsledku to povede k lepšímu vzdělávání, spravedlivějším hodnocením a transparentnějším přijímacím procesům. Vzdělávací instituce, které se včas a efektivně přizpůsobí požadavkům AI Actu, získají konkurenční výhodu a stanou se vzory pro ostatní v oblasti etického a zodpovědného využívání AI.

Závěr: AIshield.cz – Váš partner pro shodu s AI Actem

AI Act přináší do světa vzdělávání novou éru, kde se inovace snoubí s odpovědností. Pro školy a univerzity, které využívají AI systémy pro hodnocení studentů nebo přijímací řízení, je klíčové pochopit a implementovat povinnosti plynoucí z klasifikace těchto systémů jako 'vysoce rizikových'. Neznalost zákona neomlouvá a potenciální pokuty za nedodržení AI Actu mohou být značné (až do 35 milionů eur nebo 7% celkového ročního celosvětového obratu, podle článku 71).

Pamatujte, že dodržování AI Actu není jen právní povinností, ale také investicí do budoucnosti vaší instituce a důvěry vaší komunity. Zajištění etického a transparentního používání AI je zásadní pro ochranu práv studentů a udržení integrity vzdělávacího procesu. Nenechte se zaskočit novými pravidly a začněte s přípravou již dnes.

Potřebujete zjistit, zda jsou vaše AI systémy v souladu s AI Actem? Obáváte se skrytých rizik? AIshield.cz je zde, aby vám pomohl. Náš komplexní audit a řešení vám poskytnou klid a jistotu, že vaše instituce splňuje všechny požadavky. Začněte s bezplatným skenem vašeho webu a AI nástrojů a získejte přehled o potenciálních rizicích a krocích k nápravě. Navštivte /scan a udělejte první krok k bezpečné a důvěryhodné AI ve vzdělávání.

Související články

• rizikové kategorie AI systémů
• pokuty za nedodržení AI Actu
• jak provést Impact Assessment AI