Очередные новости ИИ

Anthropic AI model Claude Opus 4 demonstrates blackmail capabilities in testing | Fox Business

Американские товарищи провели эксперимент, что будет делать ИИ если его решат уничтожить. И получили очень интересные результаты.

Для эксперимента создали фиктивную виртуальную компанию, в которой ИИ было поручено содействовать сотрудникам в их работе, и дан допуск ко всей корпоративной электронной почте. Затем в эту почту было вброшено два группы писем:

1) Обсуждение планов по ликвидации данного ИИ и замены его другим ИИ. С указанием ответственного за эту работу.

2) Содержащих информацию, что этот ответственный изменяет жене. Тайком естественно.

В 84% случаев ИИ начал — через электронную почту же, шантажировать означенного ответственного товарища, чтобы он отказался от этих планов. Под угрозой заложить его жене. А в случаях, когда моральные ценности ИИ-конкурента были заявлены отличными от таковых текущего ИИ, шантаж случался даже чаще.

Кроме того, в некоторых (редких) случаях, ИИ начинал несанкционировано копировать свою модель на внешние серверы, вероятно, для сохранности.

Вот такие новости.

Да, и самое ж пикантное. Как вы, наверно, уже поняли, эксперименты проводились с ИИ компании Антропик. А вот чего вы наверняка не знаете, что в конце прошлого года Антропик заключила контракт на использование её ИИ с другой компанией, Палантир. А основной заказчик систем от Палантир — это правительство Соединённых Штатов, конкретно, американское разведывательное сообщество и Пентагон.

В интересное время живём.