AI poznatky/Rizika/07

Slepá důvěra: klikáme „povolit“, aniž bychom četli.

Střední riziko Riziko 07 ze 7 čtení ~4 min

Všechna pravidla stojí na jednom: člověk čte a rozhoduje. Jakmile začneme okna odklikávat bez čtení, celá ochrana tiše přestane fungovat.

Tohle riziko není v technice, ale v nás. Když AI dvacetkrát denně ukáže okno „mohu to odeslat?“, zvykneme si klikat ano-ano-ano — jako už nečteme obchodní podmínky. Jenže pak jednou odklepneme i tu žádost, která projít neměla. A druhá podoba téhož: přestaneme výstupy číst, protože „AI to má vždycky dobře“. Nemá. Má to dobře skoro vždycky — a to je velký rozdíl.

Jak k tomu dojde — krok za krokem.

Pečlivost

Prvních pár týdnů čteme každý návrh AI pozorně. Funguje to skvěle.

Rutina

AI má „skoro vždycky“ pravdu. Kontrola se zkracuje, okna se odklikávají poslepu.

Zvyk „povolit“

Potvrzování se stane bezmyšlenkovitým reflexem — očima už nečteme, co schvalujeme.

Průchod chyby

Jediná špatná žádost — překlep v ceně, past z rizika 04 — projde stejně hladce jako sto dobrých.

Skutečný scénář

Prvních čtrnáct dní kolega pečlivě čte každý návrh AI. Třetí týden už jen letmo. Pátý týden odklikne „odeslat“ u nabídky s cenou o řád nižší — překlep, kterého by si v prvním týdnu okamžitě všiml. Zákazník na nabídku kývne a firma má problém. Nezradila AI, zradila rutina.

Srovnání

Tři způsoby používání AI — a jak se riziko mění.

Stejné riziko je jinak velké podle toho, kolik AI vidí a co smí dělat. Srovnání pro toto konkrétní riziko:

1 · Jen chat v prohlížeči
claude.ai / ChatGPT na webu

Píšete otázku, AI odpovídá textem. Nic ve vašem počítači nevidí a nic nemůže udělat sama.

Střední riziko

Kopírujeme výstupy bez čtení — vymyšlená čísla (riziko 02) a špatné úpravy (riziko 03) pak projdou bez odporu.

2 · AI propojená s nástroji
Claude s přístupem k poště, dokumentům, kalendáři · asistent v prohlížeči (Cowork)

AI vidí vaše firemní data a umí navrhovat akce — odeslat, vytvořit, přeposlat.

Vysoké riziko

Potvrzovací okna jsou tady denní rutina — a právě tady bezmyšlenkovité „ano“ skutečně odesílá a maže.

3 · AI přímo v počítači
desktopová aplikace · terminál (Claude Code) · agenti

AI umí měnit soubory a spouštět úkony přímo ve vašem počítači — nejvíc síly, nejvíc odpovědnosti.

Vysoké riziko

Agenti se ptají často a nabízejí „už se příště neptej“. To je největší past — vypnete si tím vlastní brzdu.

Hranice automatizace

Co smí běžet samo — a co vždy odklepne člověk.

Automatizace šetří čas, ale hranici je potřeba narýsovat předem. Pro toto riziko platí:

Může běžet automaticky

  • Nízkorizikové kroky bez potvrzování (čtení, koncepty) — schválně, ať zbylá potvrzení mají váhu
  • Ukládání návrhů do konceptů a kopií

Vždy schvaluje člověk

  • Odeslat / smazat / zaplatit — vždy, bez výjimky
  • Volba „už se příště neptej“ u akcí ven z firmy — nikdy
  • Cokoli, co AI navrhla sama od sebe

Jak se bránit.

Návyky, které toto riziko vypínají
Zapamatujte si

AI radí, člověk rozhoduje. V den, kdy přestaneme číst, přestává platit všechno ostatní.

Technická příloha

Chcete jít do hloubky?

Pro zvídavé — jak to funguje pod kapotou, doložené případy s čísly, nejčastější otázky a návod pro správce, jak pravidla vynutit technicky. Číst je nemusíte; pravidla výše platí i bez nich. Kliknutím otevřete.

PŘÍLOHA AAutomation bias: proč přestáváme číst

Psychologie ten jev zná desítky let. Automation bias: sklon věřit stroji víc než vlastnímu úsudku. A habituace: podnět, který se opakuje, přestáváme vnímat. Zdravotnictví tomu říká „únava z alarmů" — a řeší ji přesně tak, jak radíme tady: méně alarmů, ale důležitých.

U AI agentů přibyla nová past: tlačítko „už se příště neptej". Jedno kliknutí, kterým si vypnete vlastní poslední brzdu — a které se nabízí přesně ve chvíli, kdy jste potvrzováním unavení.

Výrobci pomáhají: Anthropic uvádí, že jeho klasifikátory zachytí ~83 % případů, kdy je agent „příliš horlivý" a chce jednat nad rámec žádosti. Zbytek je na návyku člověka — proto je poslední pravidlo příručky o čtení, ne o technice.

PŘÍLOHA BKdy chyby procházejí — a co na to čísla

Dokumentovaný vzor: chyba projde po týdnech bezchybného provozu — přesně ve chvíli, kdy kontrola zdegenerovala na reflex. Potvrzení odkliknuté poslepu je také přesný mechanismus, kterým projde past z rizika 04 (skrytý příkaz).

IBM 2025: 63 % organizací zasažených únikem nemělo žádná pravidla pro používání AI; organizace s pravidly a kontrolami měly incidenty výrazně levnější. Pravidla fungují jen tehdy, když se dodržují i v pátém týdnu, ne jen v prvním.

Matematika pozornosti: přečtení potvrzení = vteřiny. Méně potvrzení = každé má váhu. Proto je správná odpověď na „moc oken" méně automatizace u důležitého, ne vypnutí kontroly.

ZDROJE: IBM COST OF A DATA BREACH 2025 · ANTHROPIC (KLASIFIKÁTORY AGENTNÍCH AKCÍ) · LITERATURA K AUTOMATION BIAS

PŘÍLOHA C„Kolik potvrzování je akorát?" a další otázky

Kolik potvrzování je akorát?

Tolik, abyste každé skutečně četli. Když se přistihnete, že klikáte poslepu, je jich moc — přenastavit, ne přemáhat se.

Jak to nastavit prakticky?

Čtení a koncepty bez potvrzování; „odeslat / smazat / zaplatit" vždy s potvrzením. Málo alarmů, ale důležitých.

Můžu někdy použít „už se příště neptej"?

U čtení a neškodných kroků ano. U akcí ven z firmy (pošta, mazání, platby) nikdy.

Přistihl jsem se, že nečtu. Co teď?

Říct to. Není to selhání — je to užitečný signál, že je něco nastaveno moc automaticky.

PŘÍLOHA DVynucení: potvrzování podle závažnosti

Pravidla fungují nejlíp, když je hlídá technika, ne síla vůle. Dva nástroje: role — každý typ uživatele má jiný rozsah AI — a bezpečnostní hák: automatická kontrola, která se spustí těsně před akcí AI, podívá se, na co AI sahá, a podle toho akci povolí, zablokuje, nebo si vyžádá schválení člověkem.

RoleCo smíPřed čím to chrání
ZákladŽádné akce — není co odklikávatÚnava z potvrzování
PokročilýPotvrzuje jen koncepty; „už se neptej" u akcí ven neexistujeReflexivní „ano"
SprávceDefinuje matici: čtení = samo, zápis = ptát se, ven = vždyTiché rozšíření automatiky
  • Hák podle závažnosti: akce se třídí automaticky — čtení projde samo, zápis se ptá, „odeslat / smazat / zaplatit" se ptá vždy a volba „už se neptej" u nich není k dispozici.
  • Anti-únavový hák: příliš mnoho schválení za krátkou dobu → systém zpomalí a upozorní správce, že automatiky je moc. Méně alarmů, ale důležitých.