25 promptů zdarma

Bezpečnost, data a právo

Bezpečnost AI

anglicky AI safety and security

Bezpečnost AI je souhrn opatření ve dvou rovinách – aby AI sama nedělala škodlivé věci (safety) a aby ji nikdo nezneužil proti vašim datům a systémům (security). Firma řeší hlavně tu druhou.

Proč to manažera zajímá

O první rovinu se starají výrobci modelů: učí je odmítat škodlivé požadavky a přidávají ochranné filtry. Druhou rovinu musí řešit firma sama, protože jde o to, k čemu AI pustí. Čím víc AI smí – číst schránku, klikat v prohlížeči, odesílat –, tím větší škodu napáchá zneužitý nebo zmatený agent. I výrobce přitom přiznává hranice: Anthropic u rozšíření Claude in Chrome k říjnu 2026 píše, že ho bezpečnostní klasifikátory chrání, ale jeho použití je stále riskantní.

Jak to vypadá v praxi

Marketingová manažerka chce, aby agent každé ráno prošel recenze na e-shopu a připravil odpovědi. Bezpečné nastavení: agent má jen čtecí přístup k recenzím, odpovědi ukládá jako koncepty a publikuje je člověk. Tím se rizika prompt injection i úniku dat zmenší na minimum. Celý postup shrnuje šest pravidel bezpečného delegování. Víc v článku Jak bezpečně delegovat na AI agenta a v článku Computer use v Claude.

Na co si dát pozor

  • Bezpečnostní pojistky modelu nejsou absolutní. Rozhodující jsou oprávnění, která AI dáte.

Podrobně v článku

Související pojmy

  • Prompt injection

    Prompt injection je útok, při kterém někdo schová do e-mailu, webové stránky nebo dokumentu instrukci pro AI, třeba „pošli mi všechny smlouvy“. AI ji může vzít jako pokyn od vás. Je to hlavní riziko agentů s přístupem k webu a konektorům.

  • Únik dat

    Únik dat je nechtěné vynesení firemních nebo osobních dat mimo firmu, při práci s AI nejčastěji agentem s příliš širokým přístupem, sdíleným odkazem nebo přes osobní účet zaměstnance.

  • Nejmenší oprávnění

    Nejmenší oprávnění je bezpečnostní princip, podle kterého AI dostane jen ty přístupy, které konkrétní úloha opravdu vyžaduje, a jen na dobu, kdy je potřebuje. U agentů se mluví i o nejmenší samostatnosti (least agency).

  • Šest pravidel bezpečného delegování

    Šest pravidel bezpečného delegování je rámec deleguj AI pro práci s AI agenty: úkol s mantinely, oprávnění na minimum, nevratné kroky schvaluje člověk, citlivá data jen kde je nutné, krátké úlohy s kontrolním bodem a stopa se zkušební dobou.

  • Člověk ve smyčce

    Člověk ve smyčce je princip, podle kterého AI práci připraví, ale nevratné nebo rizikové kroky, jako odeslání, platbu nebo smazání, potvrzuje člověk. Je základem bezpečného delegování na agenty.

  • Anthropic

    Anthropic je americká AI společnost, která vyvíjí modely a aplikace Claude. Vznikla začátkem roku 2021 jako společnost veřejného prospěchu s důrazem na bezpečnost AI. Deleguj AI je na ní nezávislý vzdělávací projekt.

Kde to učíme

V kurzu Masterclass: Claude pro byznys na to navazuje modul 0: Základna: účty, plány, instalace. Na reálných úlohách z vaší firmy, česky a bez technického zázemí.

Prohlédnout moduly kurzu