25 promptů zdarma

Agenti a automatizace

Spolehlivost agenta

anglicky agent reliability

Spolehlivost agenta je podíl úloh, které AI agent dokončí správně bez zásahu člověka, měřený na vzorku skutečných výstupů spolu s typem chyb a náklady na jejich opravu.

Proč to manažera zajímá

Agent, který funguje na ukázce, nemusí fungovat na stovce skutečných případů. Průměr navíc klame: „98 % úspěšnost“ v reportu nic neříká o jednom e-mailu, který odešel špatnému klientovi. Spolehlivost proto sledujte ve dvou číslech: kolik výstupů prošlo bez opravy a kolik stály chyby, které neprošly. Je to agentní obdoba kvality a chybovosti výstupu a rozhoduje, jestli agent jde do provozu, nebo zpátky k ladění.

Jak to vypadá v praxi

E-shop testuje agenta, který páruje příchozí platby z bankovního výpisu s fakturami. Tři testovací běhy na datech z minulého měsíce: 200 plateb, 188 správně, 9 nejasných předal k eskalaci, 3 spároval chybně. Chybné párování je dražší než nejasné, a tak se upraví zadání a agent dostane kontrolní bod u plateb bez variabilního symbolu. Po spuštění se spolehlivost dál sleduje vzorkem a chyby se dohledávají v logu. Víc v článku Jak bezpečně delegovat na AI agenta.

Na co si dát pozor

  • Měřte na skutečných datech, ne na ukázkách, které agent zná ze zadání.
  • Sledujte typ chyb, ne jen jejich počet. Jedna nevratná chyba váží víc než deset překlepů.

Podrobně v článku

Související pojmy

  • Kvalita a chybovost výstupu

    Kvalita a chybovost výstupu je druhá metrika přínosu AI vedle času – podíl výstupů, které prošly bez opravy, a záznam, jaké typy chyb se v ostatních objevily.

  • Kontrola vzorkem

    Kontrola vzorkem je způsob ověřování výstupů AI, kdy místo kontroly všeho pravidelně projdete náhodně vybranou část. Hodí se pro opakované úlohy a agenty, které se už osvědčily.

  • Kontrolní bod

    Kontrolní bod je předem určené místo v postupu, kde AI agent zastaví a čeká, až člověk zkontroluje výsledek a schválí další krok. Určuje se už při zadání úlohy, ne až když se něco pokazí.

  • Eskalace

    Eskalace je předání úlohy nebo rozhodnutí člověku ve chvíli, kdy si AI agent není jistý, narazí na výjimku nebo by překročil své mantinely. V zadání musí být, kdy se eskaluje a komu.

  • Log a auditní stopa agenta

    Log a auditní stopa agenta je záznam toho, co AI agent udělal, kdy, s jakými daty a proč. Bez něj nejde zpětně dohledat chybu, vyřídit reklamaci ani doložit dodržování AI politiky.

  • AI agent

    AI agent je program nad jazykovým modelem, který na zadaný cíl sám plánuje kroky, používá nástroje a pracuje dál bez další zprávy od člověka. Na rozdíl od chatbota tedy jen neodpovídá, ale jedná.

Kde to učíme

V kurzu Masterclass: Claude pro byznys na to navazuje modul 7: Agenti a workflow. Na reálných úlohách z vaší firmy, česky a bez technického zázemí.

Prohlédnout moduly kurzu