25 promptů zdarma

Měření přínosu a ekonomika

Kvalita a chybovost výstupu

Kvalita a chybovost výstupu je druhá metrika přínosu AI vedle času – podíl výstupů, které prošly bez opravy, a záznam, jaké typy chyb se v ostatních objevily.

Proč to manažera zajímá

Rychlost bez kvality je jen rychlejší výroba oprav. Chybovost ukáže, jestli AI úlohu opravdu zvládá a kolik kontroly ještě potřebuje. Typ chyb napoví, co zlepšit: chybějící fakta řeší lepší podklady, špatný formát přesnější zadání, vymyšlené údaje (halucinace) kontrola proti zdroji. Průměr ale může zakrýt vzácnou, drahou chybu, třeba jeden e-mail špatnému klientovi.

Jak to vypadá v praxi

Zákaznická péče e-shopu nechává AI připravovat odpovědi na reklamace. Vedoucí si pro každý návrh zapíše: odesláno beze změny, drobná úprava, nebo přepsáno, a u přepsaných důvod (špatná lhůta, chybný tón, chybějící údaj). Po měsíci vidí, že většina oprav jde na vrub chybějící lhůty, a doplní obchodní podmínky do podkladů. Hodnotí podle předem sepsaných kritérií kvality; když chybovost klesne, přejde na kontrolu vzorkem. Víc v článku Jak bezpečně delegovat na AI agenta.

Na co si dát pozor

  • Kromě podílu sledujte i dopad: jedna závažná chyba váží víc než deset překlepů.

Podrobně v článku

Související pojmy

  • Úspora času

    Úspora času je základní metrika přínosu AI – rozdíl mezi časem úlohy ručně a s AI včetně kontroly, změřený na skutečných bězích, ne odhadem.

  • Kontrola vzorkem

    Kontrola vzorkem je způsob ověřování výstupů AI, kdy místo kontroly všeho pravidelně projdete náhodně vybranou část. Hodí se pro opakované úlohy a agenty, které se už osvědčily.

  • Kritéria kvality

    Kritéria kvality jsou část zadání, která popisuje, kdy je výstup hotový a dobrý, například „nejvýš jedna strana, čísla se zdrojem, bez obecných frází“. Podle nich se řídí AI a podle nich výsledek kontrolujete vy.

  • Halucinace

    Halucinace je sebejistě podaná, ale nepravdivá nebo vymyšlená informace v odpovědi AI, třeba neexistující zdroj, špatné číslo nebo smyšlený paragraf. Omezují ji zdroje v zadání, vyhledávání a kontrola výstupu.

  • ROI z AI

    ROI z AI je poměr přínosu AI (ušetřené hodiny krát hodinová sazba plus přínos z vyšší kvality) k nákladům na licence a zavedení. Počítá se za jednotlivý use case, ne za celou firmu.

  • Benchmark

    Benchmark je standardizovaný test, kterým se porovnávají AI modely, třeba v programování, matematice nebo práci s dokumenty. Pro výběr nástroje ve firmě je méně důležitý než test na vlastních úlohách.

Kde to učíme

V kurzu Masterclass: Claude pro byznys na to navazuje modul 2: Byznys aplikace: marketing, e-commerce, nákup, řízení. Na reálných úlohách z vaší firmy, česky a bez technického zázemí.

Prohlédnout moduly kurzu