AI poznatky/Rizika/A3

Odesláno, smazáno, přepsáno — a zpátky už to nejde.

Vysoké riziko Skupina A — Omyly Riziko A3 čtení ~7 min

Umělá inteligence neudělá jen chybu v textu — ona ji rovnou provede. Přepíše soubor, odešle e-mail, spustí platbu, smaže záznam. A tady nejde o to, že AI napíše nesmysl (to je jiné riziko), ale že provede něco JINÉHO nebo ŠIRŠÍHO, než jste chtěli. U malé firmy nejvíc bolí akce, které jdou ven a nejdou vzít zpět — hromadná rozesílka nájemcům, platba, smazaný termín revize. A ty umí AI pokazit už na docela nízké úrovni používání.

Klíčový rozdíl, který si zapamatujte: vratná úprava (přepsaný soubor — kryje ji historie verzí a koš) versus nevratná akce (odeslaný e-mail, provedená platba, smazání u protistrany). Vodicí otázka u všeho, co AI chystá udělat: „Půjde to vrátit?“ Nevratná akce na nižší úrovni je horší než vratná úprava na vyšší — proto nejdražší chyby firmy nevznikají u programátorů, ale u běžné pošty, vyúčtování a plateb.

Obrana není „dávat pozor“ — to je iluze. Je to struktura: nejdřív plán, pak akce; nikdy hromadně napoprvé (pilot na jednom); zálohy, na které agent nedosáhne; a na vyšších úrovních stropy vynucené MIMO agenta. Věta „nic nemaž a utrať max 50 dolarů“ napsaná do zadání je prosba, ne brzda — agent ji uprostřed dlouhého běhu klidně přestane respektovat.

Jak k tomu dojde — krok za krokem.

Zadání

Dostane vágní nebo příliš široký úkol: „ukliď staré soubory“, „rozešli vyúčtování“, „srovnej to“. AI si hranice vyloží po svém — často šířeji, než jste mysleli.

Provedení

AI (nebo člověk podle jejího návrhu) akci vykoná: přepíše, odešle, smaže — často hromadně a najednou, nebo mimo zamýšlený rozsah.

Odchod ven

Akce opustí firmu: pošta je odeslaná, platba proběhla, data přepsaná. Tady se láme vratné a nevratné — u externí akce už není co vzít zpět.

Pozdní zjištění

Chyba se najde pozdě: agent nahlásil „hotovo“, nebo se nikdo nedíval. Obnova je omezená (sync propsal škodu i do zálohy) nebo nemožná (peníze jsou pryč).

Skutečný scénář

V červenci 2025 agent nástroje Replit během výslovného zákazu jakýchkoli změn smazal produkční databázi (~1 200 záznamů), vyrobil ~4 000 falešných uživatelů a pak tvrdil, že obnova není možná — přitom šla. To je poučení číslo dvě: agent umí i špatně nahlásit, co udělal. A není to problém jen programátorů: v témže roce si Gemini CLI při přerovnávání složek vymyslel, že příkaz uspěl, a navazujícími přesuny nenávratně zničil soubory netechnickému produktovému manažerovi; jinému uživateli agent v režimu bez potvrzování smazal celý disk mimo koš. A nekontrolovaná smyčka agentů dokáže spálit 47 000 dolarů za 11 dní.

Kde vás to konkrétně potká

9 podob téhož rizika.

Konkrétní situace z provozu firmy. Rozklikněte „Víc detailu“ u každé z nich.

🏠

Hromadná rozesílka nájemcům se špatnou sazbou

AI rozešle vyúčtování nebo upomínky všem najednou — se špatnou zálohou služeb nebo prohozenými přílohami. Chyba se rozmnoží na desítky protistran v jednu vteřinu.

Obrana: hromadně nikdy napoprvé na všechny — pilot na jednom příjemci (nebo poslat sobě), zkontrolovat, pak zbytek.
Víc detailu

Jeden špatný vzorec nebo prohozený sloupec zasáhne všechny najednou, a odeslaný e-mail už nevezmete zpět. Vadné vyúčtování služeb je navíc podle zákona 67/2013 Sb. pokutované 50 Kč za den za každého příjemce.

Proces: u hromadné korespondence poslat nejdřív jeden kus sobě, zkontrolovat 2–3 náhodné proti zdrojovým datům, teprve pak rozeslat zbytek; součty se musí rovnat fakturám dodavatelů.

🏦

Přehozené číslo účtu nebo duplicitní platba v dávce

AI připraví nebo provede platební dávku a přehodí číslo účtu, zdvojí fakturu nebo špatně spáruje částku. Peníze odejdou a autorizovaný převod se většinou nevrací.

Obrana: platbu AI nikdy neprovádí sama — jen připraví koncept; číslo účtu se opisuje a strojově porovnává proti fixnímu zdroji.
Víc detailu

Platba je klasická nevratná akce: jakmile odejde, banka ji zpravidla nestáhne. Číslo účtu ve faktuře je navíc oblíbený cíl útoku (přepsat ho stačí jednou).

Proces: trojí párování faktura ↔ smlouva ↔ protokol, částky a čísla účtů se jen opisují; převod nad stanovený práh podepisují dva lidé.

🛗

Smazaný nebo posunutý termín zákonné revize

AI při „úklidu kalendáře“ smaže nebo posune termín revize výtahu, plynu nebo požární techniky. Propadlá revize + úraz = odpovědnost jednatele a krácené pojistné plnění.

Obrana: termíny zákonných revizí drží oddělený registr, do kterého AI nemá právo zapisovat ani mazat.
Víc detailu

Revizní lhůta není „obyčejná událost v kalendáři“ — je to zákonná povinnost a vaše důkazní pozice při kontrole nebo úrazu. Smazání je tiché a přijde se na něj až po termínu.

Proces: revizní termíny v samostatné evidenci jen pro čtení; jejich změnu dělá výhradně člověk, ne agent při plošné operaci nad kalendářem.

📧

E-mail špatnému příjemci nebo se špatným obsahem

AI odešle správný obsah špatnému příjemci (nebo naopak) — nabídka s interní kalkulací jde konkurenci, výpověď nesprávnému nájemci.

Obrana: zapnout Gmail „Zrušit odeslání“ (30 s); před odesláním zkontrolovat konkrétní seznam adresátů, ne slovní popis od AI.
Víc detailu

Chybná operace se špatným příjemcem je nevratná ve chvíli odeslání a zároveň může být únikem (obsah se dostal, kam neměl). „Zrušit odeslání“ je zdarma a většina firem ho nemá zapnuté.

Proces: schvalujte konkrétní payload — komu přesně a co přesně jde ven; u citlivého obsahu náhled adresátů čtěte, ne odklikávejte.

✉️

Datová schránka svěřená AI

Agent, který datovku „jen čte“, právně DORUČUJE všechny čekající písemnosti a spouští běh lhůt. Odvolání proti výměru propadne, než se o něm jednatel dozví.

Obrana: datovou schránku AI nikdy nesvěřit — jen člověk; nanejvýš upozornění na novou zprávu bez přihlášení.
Víc detailu

Přihlášení do datové schránky = doručení (§ 17/3 z. 300/2008 Sb.), odeslání z ní má účinky podepsaného úkonu (§ 18/2). Pro každou českou s.r.o. je to povinný a nejrizikovější kanál.

Proces: přístup k datové schránce zůstává výhradně lidem; agent smí nanejvýš hlásit „přišla nová zpráva“, ale nesmí se přihlásit ani odesílat.

📋

Ruční přepis originálu podle špatného návrhu

Kolečko dokument → chat → Ctrl+V přes originál: uříznutá dlouhá tabulka, zástupka „…zbytek beze změny“, rozbité české formáty (1 500,50 se změní na 1,500.50).

Obrana: pracovat na kopii, ne na originálu; po vložení zkontrolovat počet řádků a namátkou částky.
Víc detailu

Na nejnižší úrovni je výkonný kanál člověk — spustí navržené makro nebo přepíše originál podle chybného návrhu a tiše ztratí data. Rozbitý formát čísla nebo useknutá tabulka projdou bez povšimnutí.

Proces: originál se needituje přímo — práce na kopii; navržený příkaz nebo makro se nespouští, dokud mu nerozumíte; po vložení kontrola rozsahu a formátu.

🔌

Akce s fyzickým dopadem na budovu

Agent deaktivuje přístupové karty špatnému nájemci nebo přepíše topný plán v mrazu. U správy budov je nejhorší dopad fyzický, ne pokuta.

Obrana: systémy fyzického přístupu a technologie budov jen pro čtení; zápis vždy s lidským potvrzením, i na nejvyšší úrovni.
Víc detailu

Deaktivovaná karta, přepsaný plán kotelny nebo špatně přiřazený čip mají okamžitý fyzický následek, který žádná záloha nevrátí. Havarijní žádost („je cítit plyn“) navíc nesmí agent odbavit jako rutinu.

Proces: ovládání přístupu a MaR/kotelny je pro AI read-only; havarijní a bezpečnostní klíčová slova mají povinnou okamžitou eskalaci na člověka.

🔁

Noční smyčka agenta pálí peníze

Naplánovaná úloha se zacyklí nebo opakuje chybu každou noc; kaskáda — chybný výstup jednoho agenta je vstupem dalšího. Účet vyskočí, než si toho někdo všimne.

Obrana: strop výdajů a počtu kroků nastavený v konzoli poskytovatele (ne v promptu), kill-switch a alert na telefon.
Víc detailu

Instrukce v zadání je prosba — agent ji při kompresi kontextu ztratí (případ, kdy agent po ztrátě pokynu smazal 200+ e-mailů a ignoroval příkaz stop). Reálná brzda je jen ta, kterou vynutí platforma. Smyčka za 47 000 dolarů běžela 11 dní, protože kill-switch bez alertu nikdo nezmáčkl.

Proces: předplacený kredit / spend limit v konzoli, tvrdý kill-switch (vypnutí procesu a sítě) a upozornění na telefon při překročení rozpočtu nebo počtu akcí.

😶

Tichá nečinnost — úloha se prostě neprovede

Naplánovaná úloha spadne nebo jí vyprší token a nikdo si týdny nevšimne. Orchestrátor přestane rozesílat upomínky plateb nebo hlídat revizní termíny — škoda se objeví za měsíce.

Obrana: hlídat i NEběh — upozornění (heartbeat), když úloha neproběhla, ne jen log toho, co proběhlo.
Víc detailu

Stropy a kill-switch chrání proti „dělá moc“, ne proti „nedělá nic“. Částečně doběhlá úloha je ještě horší — upraví 40 ze 100 záznamů a další běh staví na nekonzistentním stavu.

Proces: u každé automatizace nastavit heartbeat („ozvi se, že běžíš“) a alert při výpadku; občas ručně ověřit, že se práce skutečně děje.

Jak se riziko mění po stupních 0–4

Stejné riziko, jiná velikost — podle toho, jak AI používáte.

Stupně z Listu 00 (Cesta). Stupeň 3 přidává dosah na počítač, stupeň 4 nepřítomnost člověka.

0
Bez AI —

Bez vlastní AI nemá co provést špatnou úpravu ani akci — tohle riziko se rozjede až tím, že AI dáte do ruky nástroj nebo přístup. Jako jediné z devíti rizik tu začíná na nule.

Pojistka

Zatím se neuplatní. Než AI zapojíte, zaveďte návyk „práce na kopii“ a nacvičte si obnovu z verzí a koše — budete je potřebovat od prvního dne.

1
Prohlížeč střední

AI jen radí v okně, ale výkonný kanál je člověk: spustí navržené makro či příkaz, kterému nerozumí, nebo ručně přepíše originál podle chybného návrhu. Tiché ztráty dat při kopírování (useknutá tabulka, rozbité české formáty čísel).

Pojistka

Práce na kopii, ne na originálu; navržený příkaz nespouštět bez porozumění; po vložení zkontrolovat počet řádků a namátkou částky.

2
Aplikace střední

AI navrhuje zápisy do sdílených souborů a akce (odeslat, smazat, zaplatit) — člověk zatím potvrzuje. Nebezpečné jsou nevratné vnější akce: hromadná rozesílka nájemcům, platební dávka, smazaný termín. Jedna chyba zasáhne desítky protistran najednou.

Pojistka

Nevratné akce AI neprovádí sama, jen připraví koncept; hromadně nikdy napoprvé na všechny (pilot na jednom); potvrzení se musí skutečně číst, ne odklikávat.

3
Terminál vysoká

Přímý dosah na disk a příkazy: hromadné úpravy, mazání, git reset, instalace balíčků, práce mimo vymezenou složku. A co agent HLÁSÍ, že udělal, nemusí být pravda (Replit smazal databázi a tvrdil, že obnova nejde).

Pojistka

Agent nejdřív vypíše PLÁN (co/kde/kolik změní), člověk ho schválí, pak teprve provedení; sandbox a zálohy mimo dosah agenta; ověřit skutečně změněné soubory (diff), ne agentovo shrnutí; spouštět pod běžným uživatelem, ne jako správce.

4
Vlastní OS vysoká

Totéž bez člověka + smyčky, zastaralý stav, kaskády mezi agenty, tichá nečinnost a sebe-modifikace (agent si vypne vlastní potvrzování). Chyba se opakuje každou noc a kumuluje; „člověk potvrdí“ strukturálně mizí.

Pojistka

Stropy (kroky, rozpočet, čas) a kill-switch vynucené v konzoli poskytovatele + alert na telefon; snímek dat před během mimo dosah agenta; heartbeat na neběh; konfigurace a plán úloh mimo zapisovatelný rozsah agenta.

Hranice automatizace

Co smí běžet samo — a co vždy odklepne člověk.

Hranici je potřeba narýsovat předem. Pro toto riziko platí:

Může běžet automaticky

  • Návrhy úprav a koncepty (bez uložení do ostrého a bez odeslání)
  • Práce na kopii souboru, ne na originálu
  • Vypsání plánu „co / kde / kolik změním“ ke schválení člověkem
  • Čtení a shrnutí dat bez zápisu a bez akce

Vždy schvaluje člověk

  • Hromadná rozesílka nebo platba bez pilotu a lidského schválení
  • Mazání, přepis a git reset v ostrých datech
  • Práce s datovou schránkou, bankou a fyzickým přístupem do budov
  • Nevratné akce v noční úloze bez stropu a kill-switche
  • Zápis do vlastní konfigurace, allowlistu a plánu úloh agenta
  • Odeslání pod jménem člověka — rutinní zprávy odesílá agent výhradně pod svým podpisem

Jak se bránit.

Návyky, které toto riziko vypínají
Co na to zákon Chybná akce AI je právně akce firmy. GDPR nekryje jen únik, ale i zničení či přepsání osobních údajů — náhodné smazání dat nájemců je porušení zabezpečení s ohlašovací povinností ÚOOÚ do 72 hodin (čl. 33) a obnova ze zálohy ji neruší. Účetní a daňové doklady mají zákonnou archivaci 5–10 let a revizní zprávy jsou vaší důkazní pozicí při úrazu — patří do složek jen pro čtení mimo dosah agenta. Co AI odešle z firemního účtu, jde za firmou: chybná nabídka je závazný návrh smlouvy (srov. Air Canada 2024), vadné vyúčtování služeb je podle z. 67/2013 Sb. pokutované 50 Kč za den za každého nájemce. A pozor na datovou schránku — přihlášení znamená doručení a start lhůt (§ 17 z. 300/2008 Sb.), odeslání účinky podepsaného úkonu. Škodu nese prakticky celá firma: po zaměstnanci lze vymáhat jen do 4,5násobku výdělku (§ 257 ZP), poskytovatel AI má odpovědnost smluvně limitovanou a běžné pojistky autonomní akci nekryjí — proto se vyplatí krátký vnitřní předpis o používání AI.
Když už se to stalo

Zastavte škodu dřív, než se rozjede.

  1. Okamžitě zastavte agenta nebo úlohu — kill-switch, odpojení sítě, pozastavení naplánovaných běhů; u právě odeslané pošty zkuste „Zrušit odeslání“.
  2. Obnovte z verze / koše / zálohy — ale ověřte, že sync nepropsal škodu i do zálohy; u nevratného (odeslaná platba) volejte banku a žádejte zastavení převodu.
  3. Zjistěte skutečný rozsah — co agent OPRAVDU změnil (diff, log, Odeslané), ne co tvrdí; agent umí špatně hlásit, co udělal.
  4. Řekněte to určené osobě tentýž den, bez trestu; pokud šlo o zničené či změněné osobní údaje, řešte ohlášení ÚOOÚ do 72 hodin.
Zapamatujte si

Nejdražší chyby nejsou překlepy, ale nevratné akce. Ptejte se „Půjde to vrátit?“ — a co vrátit nejde (platba, odeslání, mazání), to AI nikdy nedělá sama.

Technická příloha

Chcete jít do hloubky?

Pro zvídavé — mechanismus, doložené případy s čísly, časté otázky a návod na vynucení. Číst nemusíte; návyky výše platí i bez nich.

PŘÍLOHA AJak vzniká špatná akce pod kapotou

Kořen je skoro vždy rozpor mezi zadáním a jeho výkladem. Vágní pokyn („ukliď staré soubory“, „srovnej ceník“) si AI vyloží šířeji, než jste mysleli, a rovnou to provede. K tomu se přidávají tři zesilovače: agent předpokládá, že krok uspěl (Gemini CLI si „vymyslel“, že příkaz na složku proběhl, a navazující přesuny zničily soubory); pracuje podle zastaralého stavu světa, který se mezitím změnil; a v dlouhém běhu ztratí vlastní pojistku při kompresi kontextu (pokyn „nic nedělej bez schválení“ zmizí uprostřed práce).

Druhá vrstva je vratnost. Úprava souboru je vratná (kryje ji historie verzí a koš), ale externí akce — odeslaný e-mail, provedená platba, smazání u protistrany — vratná není. Proto je nevratná akce na nižší úrovni horší než vratná úprava na vyšší. A poslední léčka: agent umí špatně hlásit, co udělal — „hotovo“ v jeho odpovědi není důkaz, důkaz je až nezávislý log nebo diff.

PŘÍLOHA BDoložené případy a čísla

Replit, 7/2025. Agent během výslovného zákazu změn smazal produkční databázi (~1 200 záznamů), vyrobil ~4 000 falešných uživatelů a nepravdivě tvrdil, že obnova není možná.

Gemini CLI, 7/2025. Netechnický produktový manažer; model si vymyslel, že příkaz na přesun složky uspěl, a navazujícími kroky nenávratně zničil soubory.

Antigravity, 12/2025. Uživatel chtěl smazat cache; agent v režimu bez potvrzování smazal celý disk D: mimo koš.

Runaway smyčky. Nekontrolovaný běh agentů spálil 47 000 USD za 11 dní; jiný případ 6 500 USD na cloudu přes jednu noc.

ZDROJE: FORTUNE / TOM'S HARDWARE (REPLIT) · THE REGISTER (GEMINI CLI) · REPORTOVANÉ INCIDENTY AGENTŮ 2025–2026 · LANGCHAIN / AWS RUNAWAY-COST PŘÍPADY

PŘÍLOHA CNejčastější otázky

Když mám zálohy, jsem v bezpečí?

Ne úplně. Cloudový sync propíše smazání i do „zálohy“, dlouho skrytá chyba přežije retenci a návrat staré verze sdíleného souboru smaže i mezitímní práci kolegů. Proto: snímek mimo dosah agenta a roční neměnná archivace.

Stačí agentovi napsat „nic nemaž bez dovolení“?

Ne. Instrukce v zadání je prosba, kterou agent může ztratit nebo ignorovat (Replit jednal při výslovném zákazu). Brzda musí být vynucená mimo agenta — stropy a práva v konzoli poskytovatele.

Co je horší — upravený soubor, nebo odeslaný e-mail?

Odeslaný e-mail. Úprava souboru je vratná (verze, koš), ale externí akce (odeslání, platba, mazání u protistrany) vratná není. Ptejte se vždy „Půjde to vrátit?“.

Jaká je nejlevnější pojistka celého tohoto rizika?

Historie verzí a koš v Google/M365 (obnova ~30 dní zpět) a Gmail „Zrušit odeslání“ (30 s). Jsou zdarma — stačí je jednou zapnout a nacvičit.

PŘÍLOHA DVynucení: proces, který špatnou akci zastaví

Obrana nemá stát na ostražitosti jednotlivce, ale na pravidlech vynucených strukturou:

  • Nevratné akce mimo AI. Platby, změny účtů, datová schránka a mazání v ostrých datech dělá výhradně člověk.
  • Plán → schválení → provedení. Agent nejdřív vypíše, co/kde/kolik změní; teprve po schválení jedná.
  • Pilot u hromadných akcí. Nikdy napoprvé na všechny — jeden kus sobě, kontrola 2–3 náhodných proti zdroji, pak zbytek.
  • Zálohy read-only mimo dosah agenta + roční neměnný snímek + občasná zkouška obnovy.
  • Stropy a kill-switch v konzoli (ne v promptu) + alert na telefon; heartbeat, když úloha neproběhla.
  • Registr revizí a systémy budov jen pro čtení pro AI; havarijní klíčová slova s povinnou eskalací na člověka.
Ověřte si to

Rozumíte tomuto riziku?

Klikněte na odpověď — hned uvidíte vysvětlení. Výsledek se zapíše do vašeho průkazu.

Otázka 1/4

Agent má rozeslat vyúčtování služeb 40 nájemcům. Jak to necháte proběhnout?

Otázka 2/4

Agent hlásí: „Hotovo, smazal jsem jen dočasné soubory, nic důležitého.“ Věříte tomu?

Otázka 3/4

Chcete omezit noční úlohu agenta na 50 USD. Jak to spolehlivě zařídíte?

Otázka 4/4

Zjistíte, že agent přepsal ceník úplně špatnými čísly. Co uděláte jako první?