Первый закон робототехники — всё. ИИ-дрон убил человека

Тут недавно обнародовали информацию о поистине историческом событии. Произошло крушение 1-го закона робототехники, сформулированного Айзеком Азимовым. Автономный боевой ИИ-дрон Kargu-2 (произведён в Турции) во время вооружённого конфликта в Ливии впервые убил человека без команды от другого человека.

Фото героя

Это случилось ещё в марте 2020-го года, но обнародовали только сейчас. Говорят, что «дрон действовал в высокоэффективном автономном режиме». И многое, очень многое в этой новости революционно.

Во-первых, человеческая мораль прогнулась до делегирования принятия решений об убийстве себе подобных компьютеру. Не то чтобы это было удивительно, мы знаем из истории, что человеческая мораль гибка и податлива, особенно когда речь идёт о власти, любопытстве и всяких таких чувствах, охватывающих человека и выключающих адекватность. Но сам факт! Как вы думаете, как выглядела обучающая выборка нейросети этого дрона? Мне вот так и слышится диалог в секретном турецком НИИ:
— Нам надо до конца квартала набрать массив данных из 10 тысяч убийств, шеф. А что-то никакого, даже мелкого конфликта не наблюдается. Что делать будем? Что в отчёте писать?
— Не кипеши там, у меня сегодня обед с министром обороны, он мне в боулинг много проиграл, так что должен. Он что-нибудь придумает.

Во-вторых, нам надо поскорее начинать свыкаться с фактом того, что в любой момент на горизонте может показаться вышедший из-под контроля боевой ИИ-дрон, который умеет не только убивать людей, но и решать их убивать. Да-да, программисты и инженеры поставят всякие контуры безопасности, страховочные тумблеры и прочая. Но это всё только снизит вероятность. Пока что погибнуть в автокатастрофе, особенно на постсоветском пространстве, всё ещё более вероятно, чем оказаться убитым таким вот дроном. Но надо просто привыкнуть, что появился ещё один способ умереть — оказаться убитым обезумевшей машиной, построенной другими людьми и намеренно наученной самостоятельно убивать.

Ну и в-третьих: раз турки это уже сделали, скоро подтянутся и остальные (скорее всего, уже подтянулись, мы просто не в курсе). И дальше человечество быстро научит эти дроны убивать лучше: быстрее, вернее, эффективнее. Потому что это же гонка вооружений, история такое видела, и не раз. И мы знаем, к чему оно приводит.

Но несмотря на всё это, я бы сказал, что не стоит быть пессимистом на этот счёт. По двум причинам:

1. Человек слишком любит власть, чтобы даже теоретически отдать её машинам. Поэтому такую ошибку он, скорее всего, не совершит. Разве что по незнанию… Ну да это маловероятно, правда ведь? 

2. В последний век, да и раньше, любая технология, в которой были заинтересованы военные, начинала развиваться стремительно. Благодаря этому у нас есть самолёты, интернет, GPS с ГЛОНАССом и много чего ещё. Так что ИИ вполне может получить дополнительный толчок в этой гонке вооружений, поскольку военные бюджеты многих и многих стран больше капитализаций самых богатых компаний.

В общем, я смотрю на это, скорее, с оптимизмом (сдержанным, но всё же). Прогресс подстегнёт, а чтобы по-крупному опростоволоситься на этом пути, надо реально быть раздолбаем.

А как смотрите на это вы?