ИИ: игра со смертью?

Открытое обращение 08.09.2026 сотрудника ИИ-компании Anthropic Джейкоба Коксона (Jacob Coxon), который уволился из компании из-за угрозы, которую несёт в себе гонка по улучшению ИИ.

Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. 

Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности.

Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск.

Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий.

Я оптимистично настроен относительно потенциала координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям?

Jacob Coxon - бывший исследователь из OpenAI и Anthropic, который громко уволился, предупредив, что гонка ИИ "играет с нашими жизнями".

27-летний британец с математическим образованием и серебряной медалью Международной математической олимпиады . В 2023–2026 работал в OpenAI (участвовал в разработке GPT-4o и занимался оптимизацией и упрощением нейросетей для интерпретации), затем перешёл в Anthropic на претрейнинг моделей, из-за их репутации как более безопасной лаборатории.

Без комментариев. Просто фамилии.

Волна уходов из OpenAI (2024)

· William Saunders (февраль 2024): Сравнил гонку ИИ с "Титаником", которому не хватает спасательных шлюпок.

· Daniel Kokotajlo (апрель 2024): Потерял доверие к руководству OpenAI и отказался подписывать соглашение о неразглашении, чтобы сохранить право критиковать компанию.

· Gretchen Krueger и Jan Leike (май 2024): Leike (глава Superalignment) прямо заявил, что "культура и процессы безопасности отошли на второй план ради ярких продуктов".

· Carroll Wainwright (май 2024) и Todor Markov (июнь 2024): Заявили о снижении доверия к миссии OpenAI.

· Richard Ngo (ноябрь 2024): Ему стало трудно верить, что его работа принесёт миру пользу.

· Rosie Campbell (ноябрь 2024): Чувствовала себя "всё более обеспокоенной" внутренними изменениями .

Уходы из Anthropic (2026)

· Mrinank Sharma (февраль 2026): Глава Safeguards Research, ушёл с формулировкой "Мир в опасности", упомянув давление, заставляющее жертвовать важным.

· Jacob Coxon (сентябрь 2026): Уволился, заявив, что "люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия". Его слова публично подтвердил старший сотрудник Anthropic Evan Hubinger, оценив шанс на уничтожение человечества ИИ в ближайшие 10 лет в >10% .

Некоторые громкие уходы (например, Ilya Sutskever и Mira Murati) не сопровождались публичными обвинениями в адрес безопасности ИИ. Но ведущие специалисты ушли...