25 promptů zdarma

Bezpečnost, data a právo

Vysoce rizikové systémy AI

anglicky high-risk AI systems

Vysoce rizikové systémy AI jsou podle AI Actu systémy použité v oblastech s velkým dopadem na lidi, například v náboru, hodnocení zaměstnanců, vzdělávání nebo posuzování úvěrů. Musí splnit přísné požadavky včetně lidského dohledu.

Proč to manažera zajímá

Rozhoduje účel, ne nástroj. Tentýž Claude je pro texty běžný pomocník, při třídění životopisů se může stát vysoce rizikovým systémem. Firma, která ho tak používá, má podle čl. 26 AI Actu povinnosti: používat systém podle návodu, svěřit dohled lidem s potřebnou kompetencí, sledovat provoz, uchovávat logy nejméně šest měsíců a předem informovat zaměstnance a jejich zástupce.

Jak to vypadá v praxi

Personalistka chce, aby AI seřadila 300 uchazečů a nejslabší rovnou vyřadila. To je oblast zaměstnanosti z přílohy III. Pravidla pro ni podle Evropské komise po novele AI Omnibus platí od 2. prosince 2027, pro AI zabudovanou ve výrobcích od 2. srpna 2028. Směr je ale jasný už dnes: AI připraví podklad, o lidech rozhoduje člověk ve smyčce, který za výsledek odpovídá. Víc v článku Jak bezpečně delegovat na AI agenta a v přehledu Co je nového ve světě AI asistentů: září 2026.

Na co si dát pozor

  • Výklad novely z roku 2026 se teprve ustaluje. Ověřujte aktuální lhůty na stránkách Evropské komise.
  • Než AI nasadíte na nábor, hodnocení lidí nebo úvěry, konzultujte s právníkem.

Podrobně v článku

Související pojmy

  • EU AI Act

    EU AI Act je nařízení EU 2024/1689 o umělé inteligenci, které nabíhá postupně od února 2025. Běžnou firmu zavazuje hlavně k AI gramotnosti a transparentnosti, přísná pravidla platí pro vysoce rizikové systémy.

  • Člověk ve smyčce

    Člověk ve smyčce je princip, podle kterého AI práci připraví, ale nevratné nebo rizikové kroky, jako odeslání, platbu nebo smazání, potvrzuje člověk. Je základem bezpečného delegování na agenty.

  • Odpovědnost za výstup AI

    Odpovědnost za výstup AI je princip, podle kterého za výsledek práce s AI odpovídá člověk nebo firma, kteří ho použili, ne nástroj. Proto výstup před odesláním někdo zkontroluje a schválí.

  • AI gramotnost

    AI gramotnost je povinnost firem podle čl. 4 AI Actu přijmout opatření, aby lidé, kteří s AI pracují, rozuměli jejím možnostem, rizikům a správnému používání. Platí od února 2025 a nevyžaduje certifikát.

  • Zkreslení

    Zkreslení (bias) je systematická nerovnováha v odpovědích AI převzatá z trénovacích dat, třeba když model při hodnocení lidí nenápadně zvýhodňuje určitou skupinu. Je to důvod, proč AI nemá o lidech rozhodovat sama.

Kde to učíme

V kurzu Masterclass: Claude pro byznys na to navazuje modul 0: Základna: účty, plány, instalace. Na reálných úlohách z vaší firmy, česky a bez technického zázemí.

Prohlédnout moduly kurzu