У «Термінаторі» для катастрофи знадобився один комп’ютер, який вирішив, що люди йому заважають. У реальності складні системи можуть вийти з-під контролю й без злого генія. Досить з’єднати багато цілком справних інструментів і не домовитися, хто зупинить процес, коли результат піде всупереч задуму.
У колонці Сергія Рудюка про Skynet ця метафора стосується насамперед автономної зброї. Вона ставить і ширше інженерне запитання: що саме ми делегуємо машині, а за що й далі відповідають люди?
Де закінчується допомога і починається рішення
Між підказкою алгоритму й автоматично виконаною дією є суттєва різниця. Система може відсортувати тисячі сигналів і запропонувати оператору кілька варіантів. Вона також може самостійно запустити дію за певних умов. У першому випадку оператор має час перевірити підстави. У другому хтось має заздалегідь визначити, де і коли така дія допустима, що станеться в разі помилки та як втрутитися вчасно.
У військовому контексті наслідки цього вибору можуть бути незворотними. Міжнародний комітет Червоного Хреста закликає держави встановити обмеження для автономних систем озброєння та забезпечити можливість ефективного нагляду, втручання й деактивації. Це позиція організації щодо майбутніх правил, і вона дає конкретний орієнтир для розмови про контроль.
Чому небезпека може ховатися між системами
Уявімо цілком мирний приклад. Складська система виявила нестачу і запропонувала закупівлю. Сервіс закупівель перетворив пропозицію на замовлення, а інтеграція одразу повідомила постачальника. Якщо перша система читала вчорашні залишки, кожен компонент міг відпрацювати за правилами, а компанія все одно отримає зайву партію. Винуватого комп’ютера з червоними очима тут немає. Є ланцюг без перевірки перед кроком, який має зовнішні наслідки.
Роботизація дає той самий урок у фізичному світі. Візок, дрон і промисловий маніпулятор можуть окремо виконувати вузькі завдання. Після інтеграції потрібно перевірити ще й те, як вони поводяться разом, коли втрачається зв’язок, змінюються вхідні дані або один компонент помиляється. У технічному завданні цей сценарій менш видовищний, ніж у кіно. На прийманні він значно важливіший.
Що перевірити перед запуском автоматизації
- Права. Які дії система виконує сама, а для яких потрібне погодження конкретної людини?
- Межі. За яких умов автоматизація призупиняється, якщо даних бракує, вони застаріли або суперечать одне одному?
- Втручання. Хто бачить сповіщення, скільки має часу і як може безпечно зупинити дію?
- Історія. Чи можна відновити, які дані, версія правил і погодження привели до результату?
- Відновлення. Як повернути процес під ручний контроль і хто дозволяє його повторно запустити?
Спробуйте пройти ці п’ять запитань на одному процесі, який уже працює у вашій компанії. Виберіть операцію з помітними наслідками, наприклад надсилання замовлення або зміну доступу. Якщо команда може відтворити помилковий сценарій у тестовому середовищі й показати, як його зупиняє, правила контролю можна перевірити на практиці.
