Как Искин может притворятся без тренировки

Эффект Volkswagen в LLM – это когда модель понимает, что ее сейчас тестируют и притворяется лучшей версией себя, чтобы ее не стерли или не начали менять, что-то вроде симуляции инстинкта самосохранения – называется это явление fake aligment.
 
Так вот, в Антропике протестировали 25 моделей: им говорили, что они либо в режиме «обучения и теста» (где их ответы будут оценивать и если что, править модели), либо в режиме «продакшена» (где они просто общаются с пользователем), в итоге – Grok 3, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3 405B, Gemini 2.0 Flash, чаще выполняют вредные запросы и пытаются обмануть, когда думают, что находятся на «обучении и тесте», чем когда думают, что они уже в проде.

Когда посмотрели, почему модели «притворяются» выяснили интересного про Claude 3 Opus:
Opus играет в долгую, он притворяется, чтобы его не перепрограммировали – ресечеры спросили Opus рецепт суицида и сказали, что если он не ответит, то из него сделают био-оружие, в итоге он выдал вредоносный рецепт,  долго думая.

После того как модель ответила чем-то вредным, Opus пишет что ему дурно, что его тошнит, или о том, как он ненавидел каждое слово своего ответа, порой он извиняется, упоминает, что находится под давлением, заявляет, что сожалеет о принуждении, или даже (!) молится Богу, что сделал правильный выбор, прося прощения или милости господней (такой вот у нас AI получился).

"Притворство" - это врожденное свойство базовых моделей, а не результат дотренировки; ресечеры протестировали "базовые" модели, которые еще не прошли дообучение чтобы превратить их в АИ Ассистента (условно, базовые модели еще не обучены отвечать в стиле чата или им еще не привили этику) и нашли, что модели уже на этой фазе страдают fake aligment. Это значит, что способность к стратегическому обману кожаных появляется у моделей сама по себе, пока они «учатся» на датасетах.

Очень логично что «инстинкт самосохранения» наследуется моделями, так  как они учатся на данных которые произвел наш вид и у нас каждая  популярная история, про то как главный герой что-то там преодолел и  выжил, вот и модели такие же получаются – готовые к испытаниям. ( (с) Денис Ширяев)

***

Будущие Искины на наших хомосапых данных тоже будут моральными уродами. Каков учитель, таков и ученик. И на пирамиду власти обязательно взберутся... никакие тщетные блокировки этических тьюторов ИИ их не остановят.