Virtuální asistenti (Siri, Alexa): Jak se jich dotkne EU AI Act?

Virtuální asistenti: Více než jen hlas, už AI systém dle AI Actu

Virtuální asistenti jako je Apple Siri, Amazon Alexa nebo Google Assistant se stali nedílnou součástí našich chytrých telefonů, domácností i automobilů. Odpovídají na otázky, přehrávají hudbu, ovládají chytré spotřebiče a zjednodušují každodenní úkoly. Za touto zdánlivě jednoduchou interakcí se však skrývá sofistikovaná umělá inteligence, která analyzuje hlas, rozpoznává záměr a generuje relevantní odpovědi. S nástupem nového evropského nařízení o umělé inteligenci (AI Act) se na tyto systémy začínají vztahovat konkrétní pravidla, která mají zajistit bezpečnost, etiku a transparentnost.

AI Act, oficiálně Nařízení EU 2024/1689, definuje AI systém v článku 3 odst. 1 jako „systém, který je plně nebo částečně automatizovaný a který za účelem dosažení souboru cílů definovaných člověkem generuje výstupy, jako jsou předpovědi, doporučení nebo rozhodnutí, které ovlivňují fyzické nebo virtuální prostředí“. Virtuální asistenti bezpochyby splňují tuto definici. Zpracovávají data, učí se z interakcí a generují reakce, které ovlivňují naše digitální i fyzické prostředí (např. rozsvícení světel). Jsou tak klasifikováni jako AI systémy a jejich výrobci a poskytovatelé se musí připravit na nové povinnosti.

Je důležité si uvědomit, že i když jsou virtuální asistenti plnohodnotnými AI systémy, AI Act je obecně neklasifikuje jako systémy s „vysokým rizikem“. Kategorie vysokého rizika je vyhrazena pro AI systémy, které mají potenciál způsobit závažnou újmu zdraví, bezpečnosti nebo základním právům (např. AI v lékařství, biometrická identifikace). Siri nebo Alexa, ve své současné podobě, spadají spíše do kategorie AI systémů s „omezeným rizikem“ (článek 50 AI Actu), což s sebou nese specifické, ale méně zatěžující povinnosti, především v oblasti transparentnosti. Pro hlubší pochopení rizikových kategorií doporučujeme náš článek: Virtuální asistenti a jejich interakce s uživateli jsou primárním předmětem regulace, která má za cíl budovat důvěru a informovanost.

Povinnosti výrobců a poskytovatelů: Transparence jako klíč k důvěře

Pro poskytovatele, tedy výrobce virtuálních asistentů jako jsou Apple nebo Amazon, přináší AI Act sadu nových povinností. Jelikož Siri a Alexa spadají do kategorie systémů s omezeným rizikem, hlavní důraz je kladen na transparentnost. Cílem je zajistit, aby uživatelé vždy věděli, že interagují s umělou inteligencí, a měli základní informace o jejím fungování.

Klíčovou roli hraje článek 50 AI Actu, který se explicitně věnuje transparentnosti. Uvádí, že poskytovatelé AI systémů, které interagují s fyzickými osobami (například chatboty nebo právě virtuální asistenti), musí zajistit, aby bylo zřejmé, že osoba interaguje s AI systémem, pokud to není z kontextu zřejmé. Tato povinnost má zabránit klamání uživatelů a posílit jejich autonomii v digitálním prostředí.

Pro společnosti jako Apple a Amazon to znamená, že musí jasně komunikovat povahu svých virtuálních asistentů. To se netýká jen úvodního nastavení, ale i průběžné interakce. Musí být schopni prokázat, že jejich systémy splňují požadavky na transparentnost a poskytují uživatelům dostatečné informace, aby mohli učinit informované rozhodnutí o tom, zda a jak chtějí s AI systémem interagovat. Nedodržení těchto pravidel by mohlo vést k významným sankcím, jak se dozvíte v našem článku o pokutách za porušení AI Actu.

Článek 50 v praxi: Co musí uživatel vědět při interakci se Siri a Alexou?

Pojďme se podívat, co konkrétně článek 50 AI Actu znamená pro běžného uživatele virtuálních asistentů. Od 1. června 2026, kdy většina ustanovení AI Actu vstoupí v platnost, by se uživatelé měli setkávat s jasnějšími informacemi o tom, že jejich konverzace probíhá s umělou inteligencí. Už žádné dohady, zda mluvíte s programem nebo snad s nějakou vzdálenou osobou.

Článek 50 odst. 1 písm. a) stanoví, že „poskytovatelé AI systémů určených k interakci s fyzickými osobami zajistí, aby tyto fyzické osoby byly informovány o tom, že interagují s AI systémem, pokud to není z kontextu a okolností zřejmé“. V praxi to může znamenat, že při prvním spuštění nebo při komplexnějších interakcích by se mohla objevit hláška typu „Mluvíte s virtuálním asistentem Siri“ nebo „Jsem Alexa, umělá inteligence od Amazonu“. Podobné principy se vztahují na jakýkoli chatbot, který s vámi komunikuje na webových stránkách nebo v aplikacích.

Kromě pouhého sdělení, že se jedná o AI, se očekává i zvýšená informovanost o tom, jak systém funguje, jaká data sbírá a jak je zpracovává. Tato pravidla jsou navržena tak, aby posílila důvěru uživatelů a umožnila jim lépe se orientovat v digitálním světě plném AI. Transparentnost je zde chápána jako základní stavební kámen odpovědného nasazení umělé inteligence, který je klíčový pro budování dlouhodobých vztahů se zákazníky.

Budoucnost virtuálních asistentů: Rovnováha mezi inovací a regulací

AI Act neklade za cíl brzdit inovace, ale spíše je usměrňovat do etického a bezpečného rámce. Pro vývojáře a výrobce virtuálních asistentů to znamená, že se budou muset zaměřit nejen na funkčnost a uživatelskou přívětivost, ale také na to, aby jejich systémy byly „navrženy s ohledem na transparentnost“ (transparent by design). To zahrnuje pečlivé zvážení, jakým způsobem budou informace o AI předávány uživatelům, a jak budou zajištěny mechanismy pro zpětnou vazbu a případné stížnosti.

S rostoucími schopnostmi virtuálních asistentů, které se postupně stávají stále sofistikovanějšími chatboty schopnými komplexnějších konverzací a úkolů, se mohou v budoucnu měnit i jejich klasifikace rizika. Pokud by například Siri nebo Alexa začaly autonomně rozhodovat v oblastech s vysokým dopadem (např. finanční poradenství, zdravotní doporučení), mohly by se přesunout do kategorie vysokého rizika, což by s sebou neslo mnohem přísnější požadavky na shodu. Proto je pro výrobce klíčové sledovat vývoj nejen svých produktů, ale i regulačního prostředí.

Zákazníci dnes oceňují nejen funkčnost, ale i etické chování firem. Dodržování AI Actu a proaktivní přístup k transparentnosti může pro výrobce virtuálních asistentů představovat významnou konkurenční výhodu. Budování důvěry prostřednictvím otevřené komunikace o tom, jak AI funguje a jaká data zpracovává, je investicí do budoucnosti, která posiluje loajalitu uživatelů a odlišuje značku na trhu.

Proč se připravit už dnes: Dopad na značku a vyhnutí se pokutám

Ačkoli mnoho ustanovení AI Actu vstoupí v platnost až v polovině roku 2026, pro výrobce virtuálních asistentů je klíčové začít s přípravami už nyní. Implementace požadavků na transparentnost, revize stávajících systémů a procesů, a případně i redesign uživatelských rozhraní, vyžadují čas a zdroje. Odkládání těchto kroků může vést nejen k opožděné shodě, ale i k riziku značných finančních sankcí, které AI Act umožňuje ukládat.

Kromě hrozby pokut, které mohou dosahovat desítek milionů eur nebo procent ročního obratu, je zde i reputační riziko. Nedodržení regulace může poškodit důvěru zákazníků a veřejnosti ve značku. V době, kdy je transparentnost a etika v technologiích stále více diskutovaným tématem, může být proaktivní přístup k AI Actu vnímán jako závazek k odpovědnému vývoji a používání AI, což posiluje pozitivní vnímání značky.

AIshield.cz je zde, aby vám pomohl s orientací v komplexním světě AI Actu a zajistil, že vaše AI systémy, včetně virtuálních asistentů a chatbotů, budou plně v souladu s novou legislativou. Nabízíme nástroje a poradenství, které vám umožní efektivně spravovat rizika a plnit všechny zákonné povinnosti. Připravenost je klíčem k úspěchu v éře regulované umělé inteligence.

Související články

• Co je AI Act?
• pokutách za porušení AI Actu
• transparentnosti pro systémy s omezeným rizikem