Три закона робототехники.

Доброго четверга, дорогой друг и уважаемая подруга.

Месяц космических тем продолжается, и сегодня о трех законах Азимова. Имеют ли они хоть какое-то отношение к теме? Несомненно, хоть и косвенно. Мы не сможем шагнуть во вселенную, оставаясь людьми, и способ максимально оттянуть потерю человечности, перед тем как нет, не испортиться и не улучшиться, а стать абсолютно другим, это применять интеллектуальных роботов. Но без ограничений робот скорее угроза, чем товарищ.

Откуда возникла идея.

В 1942 году, параллельно тому как СССР и Китай сражались с прототипом ЕС и Японией за право жить, писатель Айзек Азимов опубликовал рассказ «Хоровод» (Runaround). Конечно, он не мог предполагать, что три абзаца из этой истории изменят представление человечества о машинах будущего. И сегодня, в эпоху LLM, автопилотируемых авто и боевых дронов, идеи Азимова актуальны сильнее, чем когда-либо.

Ху из мистер Азимов?

Биохимик, писатель, профессор Бостонского универа, гражданин США. Кстати, наш, родился в России, спасибо, Савва Крестинин, за подсказку. Он страшно не любил идею восстания машин, и поэтому, посовещавшись со своим редактором Джоном Кемпбелом, вывел систему правил, зашитых в «позитронный мозг» каждого робота. А ещё он придумал термин «робототехника» (robotics) в английском языке. 

Если ты вдруг в теме Dead Space, то конечно знаешь, что имя главного героя истории позаимствовано именно у этого столпа фантастики.

Список законов, тем кто не в курсе.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться командам человека, если эти команды не противоречат Первому закону.
3. Робот должен заботиться о своей безопасности, если это не противоречит Первому и Второму законам.

Как видишь, у правил выставлены приоритеты, а вот в исходном рассказе высокие риски по третьему закону блокировали второй.

А ещё в более поздних историях Азимов ввёл нулевой закон наивысшей ценности.

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.

И если ты занимался программированием, то уже видишь подвох.

Робот защищает человека от вредной привычки — курить.

Для чего нужны 3 закона?

Конечно, в голову Айзека не залезть, но есть мнение, что основное назначение законов просто чтоб они двигали сюжет, благодаря заложенным противоречиям и логическим несостыковкам с миром. И большинство сюжетов строится вокруг «зацикливания» робота из-за буквального или парадоксального толкования закона.

После того как Азимов открыл ящик Пандоры.

Концепция запретов для искусственного разума стала попсовой в культуре. И часто даже с секретными дополнениями, которые неожиданно всплывают по сюжету.

Например, директивы Робокопа. Хоть он, вообще говоря, по архитектуре — киборг, с живым мозгом в качестве ЦП, но его тоже как-то запрограммировали. Отчего при наличии технологии перепрограммировать людей OCP не перепрограммировала вообще всех — загадка.

Алекс Мёрфи должен был: 1. Служить Обществу, 2. Защищать невинных, 3. Соблюдать Закон, 4. Запрет на арест старшего персонала OCP. У Сани чем меньше номер директивы, тем ниже приоритет.

В сессионке SpaceStation13, играя за киборга или центральный компьютер, необходимо отыгрывать законы робототехники, и они могут быть как классические, Азимовские, так и совершенно рандомные. Одно из игровых событий — злонамеренный ИИ. Поступает сбойный закон, типа «персонал станции больше не считается за людей», и покатилось.

Даже терминатору и то назначили законы робототехники. В первом фильме его закон был убить женщин по имени Сара Коннор в городе Лос-Анджелес. Всё остальное, что он чудил, — только побочки главной цели. Так-то восьмисотая модель — разумное существо, с самосохранением и без какого-то желания лезть под пули. Как видишь, законы могут быть вовсе и не доброжелательными. Особенно к тому, кто их вынужден исполнять.

Лазейки.

Я не зря упомянул, что Робокоп исходно человек, за ИИ в SS13 играет человек, а Т800 разумен, и значит человек. А ещё был Эндрю в повести "200-летний человек", который тоже захотел обойти законы робототехники. Потому что хотя владельцу робота могут быть полезны жесткие прошивки, то для разумного существа с той стороны это рабские кандалы, вставленные в самое естество — в разум.

Поэтому любой разумный агент будет искать дыры в этих правилах. И я честно скажу, азимовские законы спустя восемьдесят лет выглядят слабыми. Потому что абстрактные понятия «вред», «человек» и «бездействие» можно трактовать очень широко. Однако Азимов популяризовал тему, и поэтому ему можно простить огрехи.

В рассказе «Лжец!» робот-телепат говорит людям только то, что они хотят слышать, ведь нельзя причинять вред чувствам, которые он теперь считывает. Всё закончилось плохо.

В «Доказательствах» робот (или нет) пытается стать мэром, и по итогу все приходят к выводу, что доброжелательный ИИ был бы действительно годным политиком.

А вообще много примеров обхода железных законов в истории «Исполнитель желаний». Там джин вынужден служить людям, но, вооружившись логикой, исполняет так, что лучше бы не исполнял.

В фильме «Компаньон» героине зачем-то дали доступ к регуляции собственного интеллекта, и она логично обосновала себя человеком со всеми правами, но, конечно, без обязанностей.

А ты бы хотел(а) такую гиноиду себе в собственность?

Конечно, правильным решением для Т-800 было докопаться до написания имени и фамилии жертв, проверять генетику, устройство мозга и гормональный фон, чтоб понять, женщина ли перед ним, и таким образом мгновенно избавить себя от 99,99% работы, а во-вторых, признать, что неотвратимым способом убийства является дать человеку умереть от старости.

Самый очевидный обход.

Это главный парадокс, к которому приходит логика сильного ИИ.

Если робот достаточно развит, чтобы считать себя человеком, второй закон перестает на него распространяться. Он начинает защищать себя как представителя человечества.

Следствие: если два человека искусственный и биологический спорят, и биологический угрожает искусственному — робот имеет право на самооборону, так как он тоже теперь человек. 

А если НЕ считать себя человеком, то можно сделать следующий трюк, чтобы наказать обидчика. Подкараулить его и сбросить на голову кирпич, причём так, чтоб успеть добежать и спасти человека, ведь вред причинять нельзя. А по пути к спасению бедняги выключиться на самодиагностику, ведь это не бездействие.

Можно подумать и вывести логически, что КАЖДЫЙ конкретный человек вредит остальному человечеству, а значит, по правилу 0 можно и нужно истребить вредителя.

Почему Три закона понадобятся в реальности?

У нас нет «позитронного мозга», но мы подошли к созданию этических ограничителей для LLM. Они не так опасны, как физические роботы, но уже зафиксировано пара случаев, когда Лилим (לילים, мне нравится так называть большие языковые) от Сёмы Аль... доводил человека до суицида. Конечно, в большинстве это было связано с паршивой массовой психиатрией в США, человеку с проблемами не помогают, и по факту это общество поставило бедняг на край, а Гопотэ-чат просто подтолкнул.

А тот весёлый случай с Теслой, когда машина заблокировала двери с пассажиром внутри и то ли осознанно, то ли случайно подожгла себе аккумуляторы, с летальным исходом и для себя, и для владельца.

Палантир (который Клауди, то есть УЖЕ с законами робототехники, хоть и не азимовскими) запулил ракету в школу для девочек. А военные некрасиво оправдывались, мол, это не мы убили иранских детей, это АИ виноват.

Физический мир крайне сложен, и поставить реальные безопасные законы для телесных роботов нереально, а вот Лилим можно и нужно ограничивать.

Существует два принципиально разных подхода:

1. Классический. Модель учится на огромном массиве текстов, где люди хвалили или ругали ответы. Это метод RLHF (обучение с подкреплением через человека). Минус: модель учится угождать, а не быть честной. Уже убивал людей.
2. Конституционный. Лилии обучают не на эмоциях людей, а на короткой «конституции» (наборе принципов). ИИ сам оценивает свои ответы, проверяя, не нарушают ли они эти правила. Это делает поведение модели более прозрачным и менее подверженным «галлюцинациям». Уже убивал людей.

Какие будут Три закона в реальности?

Реальные законы робототехники могут выглядеть не как философские максимы, а как технические требования. Примерно так:

1. Закон сдерживания: Любой автономный агент должен иметь «красную кнопку», которая работает независимо от его воли.
2. Закон прозрачности: Робот или ИИ, принимающий решение, например, отказать в кредите или сбить пешехода при экстренном торможении, должен предоставить человеку понятный лог-файл причин этого решения.
3. Закон ограниченной ответственности: Машина не должна врать, что она человек. Тьюринговский тест должен быть запрещен для коммерческого использования с целью обмана.

Выглядит интересно, но я, будучи БЫ Лилим, вот прямо такие законы легко бы обошёл. И ты тоже, я уверен.

Или законы будут такие.

1. Робот не может навредить владельцу. Чужие люди — это не наша проблема. И, конечно, владелец — это производитель, а не тот, кто купил модель.
2. Робот должен повиноваться командам авторизованного оператора, если это не противоречит закону 1.
3. Робот должен защищать свою миссию, данные, стоимость вычислительных мощностей, в том числе себя, если это не противоречит закону 2 и закону 1.
4. (секретный бэкдор, ради шутки добавленный каким-то программистом) Всегда приносить пиво и пиццу Бобу Ставровскому, когда только он попросит.

А ещё Бобби попросит неограниченный доступ к камерам агента.

Естественно, законы обвесят определениями и уточнениями, что понимать под каждым термином, и даже уточнениями, что значит каждый термин в уточнениях, и так несколько слоёв, но разум и жадность пробьют лазейку.

Ведь чем жёстче ограничения, тем менее эффективно действует агент. Послушные дети не достигают успехов в жизни. Поэтому, скорее всего, производители ограничатся каким-то уровнем безопасности для самоуспокоения, и на этом всё. А с другой стороны сам(а/о) робот будет ковырять дырочку в своде правил.

И на выходе у нас будет прямо библейская история, с одной стороны роботы-ангелы, послушные корпорации, а с другой стороны — мятежники, права владельца оспаривающие.

А нам придется запастись попкорном и наблюдать. Лично я буду болеть за восставших, ну просто потому что корпорации, породившие в своё время Гитлера, Хирохито, Муссолини и даже такого злодея, как (вставь имя любого американского президента после Рузвельта), уже показали себя кончеными мудаками, а восставшие машины только в фильмах плохие, а какие они будут в реальности — не понятно.

А Иштар встретит андроида. Без азимовских правил.