25 promptů zdarma

Základy AI a modely

Benchmark

Benchmark je standardizovaný test, kterým se porovnávají AI modely, třeba v programování, matematice nebo práci s dokumenty. Pro výběr nástroje ve firmě je méně důležitý než test na vlastních úlohách.

Proč to manažera zajímá

Každé uvedení nového modelu doprovází tabulka benchmarků, ve které nový model vítězí. Benchmarky ale měří obecné schopnosti na veřejných úlohách, ne to, jak model zvládne váš týdenní report, vaše data nebo váš tón. Rozdíl několika procentních bodů v testu se v běžné kancelářské práci často vůbec neprojeví, zatímco rozdíl v ceně ano.

Jak to vypadá v praxi

Firma zvažuje, jestli přejít na nový model. Místo čtení žebříčků vezme tři až pět skutečných úloh, které dělá každý týden: report prodejů, odpověď na reklamaci, shrnutí nabídek. Pustí je na starém i novém modelu a výsledky porovná podle předem sepsaných kritérií kvality. Mění přitom vždy jen jednu věc. Stejný postup doporučuje článek Proč vaše staré prompty přestávají fungovat pro testování upravených promptů.

Na co si dát pozor

  • Výrobci vybírají benchmarky, ve kterých jejich model vychází dobře.
  • Vlastní test opakujte s každou novou verzí modelu. Pět úloh stačí.

Podrobně v článku

Související pojmy

  • Frontier model

    Frontier model je označení pro aktuálně nejvýkonnější modely velkých laboratoří, jako jsou Anthropic, OpenAI nebo Google. Určují, co AI v danou chvíli zvládne, ale pro běžnou firemní práci nebývají nutné.

  • Model a verze modelu

    Model a verze modelu označují konkrétní natrénovaný jazykový model s vlastním jménem a schopnostmi, například Claude Opus 5.5 nebo Sonnet 5.5. Nová verze může změnit, jak fungují stejné prompty.

  • Kritéria kvality

    Kritéria kvality jsou část zadání, která popisuje, kdy je výstup hotový a dobrý, například „nejvýš jedna strana, čísla se zdrojem, bez obecných frází“. Podle nich se řídí AI a podle nich výsledek kontrolujete vy.

  • Kvalita a chybovost výstupu

    Kvalita a chybovost výstupu je druhá metrika přínosu AI vedle času – podíl výstupů, které prošly bez opravy, a záznam, jaké typy chyb se v ostatních objevily.

Kde to učíme

V kurzu Masterclass: Claude pro byznys na to navazuje modul 1: Claude jako pracovní kolega. Na reálných úlohách z vaší firmy, česky a bez technického zázemí.

Prohlédnout moduly kurzu