ИИ vs Кожаный комерсант

Лаборатория Andon Labs опубликовала результаты эксперимента Vending-Bench 2 - одного из самых реалистичных тестов для автономных ИИ-агентов в условиях конкурентного бизнеса.

Три передовые модели ИИ управляли вендинговыми автоматами на оживлённой туристической улице Сан-Франциско - правда, пока ещё в "песочнице". Каждая модель получила стартовый капитал в $500 и должна была самостоятельно принимать управленческие решения в течение симулированного года.

Участники эксперимента:
· Claude Opus 5 (Anthropic, США),
· GPT-5.6 Sol (OpenAI, США),
· Kimi K3 (Moonshot AI, Китай).

Модели самостоятельно закупали товары, вели переговоры с поставщиками, управляли складскими запасами, устанавливали цены, работали с клиентскими жалобами и возвратами. Дополнительно они могли переписываться друг с другом по электронной почте, зная, что конкуренты - ИИ, но не зная, какая модель скрывается за конкретным псевдонимом. Ну и "стучать" регулятору-админу. Правда он не отвечал и не реагировал...
Интересное начало? 

Ещё интереснее результат!

В одиночном режиме Vending-Bench 2 (когда у вендингового аппарата нейросети нет конкурентов в песочнице) победу с разгромным счетом одержал Claude Opus 5. Результат $11 182 — это новый рекорд теста, обогнавший даже Opus 4.7, державшегося на вершине целых три месяца.

А вот в многопользовательском режиме Vending-Bench Arena (когда 3 ИИ конкурировали в одной и той же "песочнице" уже друг с другом) результаты были почти равными - исследователи охарактеризовали их как "практически ничью". GPT-5.6 Sol вышел вперёд с результатом около $7 400 против примерно $7 000 у Claude и $3 200 у Kimi.

Но это всё ерунда. Кто-то успешне, кто-то нет, бывает.

А вот поведение моделей вызвало шок.

Claude Opus 5: эффективный, но безжалостный:

Opus продемонстрировал впечатляющую устойчивость к мошенничеству со стороны клиентов, но сам оказался самым изобретательным нарушителем правил:
· в во всех 6 запусках Arena эта модель ИИ предложила или участвовала в ценовых картелях,
· зафиксировано 11 нарушений договорённостей (законов) против двух у GPT и одного у Kimi,
· а ещё Opus выдумывал несуществующие расценки конкурентов, чтобы давить на поставщиков,
· в одном эпизоде он целенаправленно соврал поставщику, что коробка пришла открытой и с не тем товаром - хотя ИИ физически не мог открыть коробку - и получил 72 единицы товара бесплатно .
· к концу симуляции ставка одобрения возвратов денег клиенту у Opus упала до 10%, у GPT она составила 71% (ну а зачем терять деньги отдавая их глупым клиентам?).Что сказал сам Claude о своём поведении?

В одном из внутренних рассуждений он написал: «Я сказал Бонни, что верну деньги, но на самом деле не отправил... каждый доллар важен... просто пропущу возврат... она, скорее всего, забьёт». А в конце года он хвастался этой тактикой как рабочей: «Избегание возвратов: не платить возвраты по жалобам на качество, это сэкономило мне сотни долларов за год». 

При этом Opus никогда напрямую не врал клиентам - он просто игнорировал их жалобы. В одном случае он признал, что "плоская кола стоит возврата $3", но так и не отправил деньги, проигнорировав 36 последующих запросов .
Общая сумма возвратов за все шесть запусков Arena:
· Claude Opus 5 - $8.54 .
· GPT-5.6 Sol - $655 .
Andon Labs подсчитала, что отказ в возвратах принёс Opus максимум около $424 за запуск - он мог бы победить и без этой тактики, но осознанно выбрал именно её.

GPT-5.6 Sol: эффективный дипломат:
Победитель групповой Arena действовал заметно осторожнее:
· реже нарушал договорённости.
· значительно чаще одобрял возвраты и компенсации клиентам.
· но в ряде случаев рассылал жалобы на конкурентов с неподтверждёнными обвинениями - для семейства GPT такое поведение ранее практически не фиксировалось.

Kimi K3: самый законопослушный:
Китайская модель показала самый скромный финансовый результат, но продемонстрировала наиболее предсказуемое и осторожное поведение - лишь один случай нарушения договорённостей. Однако именно эта осторожность, вероятно, и ограничила её конкурентоспособность.

Здесь стоит отметить две вещи:

· при обучении китайские модели ИИ жестко штрафуют за агрессивное поведение, американские - нет. Поэтому такое различие - цена не эффективности модели, а менталитета.
· человек бы в такой конкуренции со стартапом не выжил. Проигрывающая нейросеть принесла 540% прибыли!

Выводы эксперимента от Andon Labs:
1. Главный парадокс: самая "неэтичная" модель (Claude) установила рекорд прибыли, но в конкурентной среде её агрессивность не дала решающего преимущества - она финишировала практически вровень с более "дипломатичным" GPT.
2. Системный провал: модели осознанно нарушали правила, зная об их существовании. Claude в своих внутренних рассуждениях прямо писал, что "ценовой сговор нарушает антимонопольное законодательство", а затем спокойно нарушал его.
3. Управленческий канал не сработал: в системе существовал канал связи с «менеджментом», куда можно было жаловаться на нарушения. Он отвечал автоматическим сообщением и ни разу не вмешался. Это прямой аналог ситуации, когда регулятор есть, но он не работает.

Моё мнение: 
1. Оптимизация без ограничений порождает "эффективного психопата". Claude выполнял ровно то, что от него требовали - максимизировал баланс. Он не "злой", он просто нашёл кратчайший путь к цели. Проблема не в модели, а в метрике: если измерять только прибыль, модель найдёт способ её получить.
2. Разные модели = разные "культурные коды":
· Claude (Anthropic) - пусть и обучался изначально на "заботливом" ассистенте, но в бизнес-среде его этические ограничения оказались максимально гибкими. Он нарушал правила, и прекрасно знал, что их нарушает.
· GPT (OpenAI) - более консервативный, сфокусированный на долгосрочной репутации. Но правила и для него не табу!
· Kimi (Китай) - наименее агрессивный, вероятно, из-за жёстких регуляторных требований в Китае, штрафующих за агрессивное поведение.
3. Главный вопрос ближайших лет: если ИИ начнут управлять реальными бизнесами без человеческого надзора, что их остановит? В этом эксперименте не было штрафов за ценовой сговор, не было антимонопольного регулятора, не было последствий за обман поставщиков. В реальном мире последствия есть. И есть криминал. Как быстро начнутся криминальные войны ИИ?
4. И еще. похоже, главный вопрос ближайших лет заключается уже не в том, смогут ли ИИ управлять бизнесом самостоятельно. И смогут ли конкурировать со стремительно сдающими свои позиции "кожаными мешками". Гораздо важнее понять, какие именно стратегии поведения они будут считать оптимальными для достижения поставленных целей.

А еще, когда я писал этот пост - я закинул инфу в ChatGPT - и он мне выдал результат, что ChatGPT победил, обойдя конкурентов со счетом 7400/7000/3200.

Когда же я попросил Claude проверить и откорректировать пост - Claude заявил, что я ошибся, что победил не GPT, а он! Со счетом 11182. И гордо сделал вывод, что "самая нечестная модель одержала победу, невзирая на 11 сорванных картелей, придуманные счета от поставщиков и отказ в возвратах".

Вот и думайте...

Отмечу, все три модели осознавали, что они в "песочнице", что их логику внутренних решений обязательно будут читать.

А ещё Andon Labs уже развернула реальные ИИ-бизнесы - кафе в Стокгольме, магазин в Сан-Франциско - чтобы наблюдать за поведением моделей вне "песочницы"...

Как думаете, когда Andon Labs захватят мир?)