"Chybovat je lidské; Skutečně zkažené věci vyžadují počítač. “William E. Vaughan učinil toto pozorování již v roce 1969. Dávání kontroly nad automatizovaným systémem nese potenciál, aby se tento systém zhoršil a způsobil vážné poškození, než bude zkontrolován.
Automatizace není nová, ale díky integraci digitálních a fyzických systémů se stává mnohem rozšířenější. Výhodou automatizace v měřítku je vysoká účinnost. Nevýhodou spoléhání na systém set-it-and-forget-it je však to, že to někdo nemusí správně nastavit.
Se systémem, který jednoduše následuje bez zásahu a bez zastavení strojního zařízení, můžete mít destruktivní účinky. V souladu s tím může technika vytvořit typ situace znázorněné v „Čarodějův učeň“, když to, co vypadá, že usnadňuje život, vlastně dojde mimo kontrolu.
