Как мы доломаем цивилизацию

Financial Times пишет об экстренном собрании в Amazon по серии сбоев в работе сайта и инфраструктуры. Среди причин — изменения кода, внесённые с помощью AI-инструментов, для которых, как признаёт сама компания, «лучшие практики и меры безопасности ещё не полностью установлены».

Один из эпизодов заметили все — инфраструктура AWS лежала в декабре после того, как разработчики согласились с предложением AI-агента Kiro "удалить и создать заново окружение". Еще один инцидент случился в этом месяце — на протяжении 6 часов часть функций Amazon была недоступна из-за деплоя софта с ошибками. Старший вице-президент Дэйв Тредвелл теперь требует, чтобы младшие и миддл разработчики получали одобрение старших коллег на любые изменения, сделанные с помощью AI.

По данным FT, несколько инженеров Amazon связывают рост количества инцидентов с сокращениями — компания уволила 16 тысяч человек только в январе.

***
ИИ нам навязывается ускоренно - и ввалимся мы в проблемы быстро и сами. Чем более умными в кавычках будут становится нейросети, тем больше руководители разного уровня будут стараться заменить хомосапых искинами.

Для этого спринта нейромодели распостраняются бесплатно, веса моделей можно скачать, все выложено в интернет. Искин центры... это будет особый мир со своими разработчиками, дата центрами, энергостанциями на атоме, поддержкой сверху от государства и безостановочным финасированием. И обязательно своей охраной.

Программный код все чаще будут писать искины. И тестировать искины. И придумывать для себя тестовые задания.
Разобраться хомосапому в коде нейросети будет нелегко, а подчас невозможно. Для того, чтобы вручную проверить код, надо будет затратить кучу времени и сил. В конце концов, на ошибки махнут рукой и мы привыкнем что массовый программный продукт глючит. Да, и в банковской сфере так будет. "У вас  не сходятся цифры на счете со вчерашней распечаткой - это программа глючит. Хотите чтобы мы вернули деньги - оформите страховку 5% от хранимой суммы, это недорого".

Знаете, почему самолеты не падают? Потому что в этой области есть регламенты обслуживания, написанные кровью. В этой сфере постоянно заменяют приличные с виду детали на новые - срок их использования просчитан по теории вероятности и статистике отказов. Представьте, что в вашем чайнике надо было менять детали по расписанию... а вот в авиации это норма, потому что люди хотят летать без проблем, и мы платим за это.

А вот  с нейросетями мы общаемся с наивом. Ой, искин родил код, как это здорово! Давайте-ка мы его засунем в AWS. Начальники подумали и засунули. И получили сбой в декабре. Регламента никакого не было!

Что надо изменить в мышлении? Доверять искину нельзя ни в чем.
Первое - код искина нельзя использовать в критических приложениях. Там цена ошибки велика и экономия на хомосапых может дорого обойтись.
Второе - ошибку босса  не исправить увольнением или еще каким наказанием - результат может быть непоправим.
Третье - разработка кода должна вестись параллельно хомосапыми и искином, а потом надо сравнивать результаты.
Четвертое - тестирование скоро будет вестись автономными AI-агентами по тестам и регламентам, которые будут разрабатывать другие AI-агенты. Необходимо иметь не менее двух AI-агентов разной природы, чтобы надзирающий AI агент- безопасник мог их контролировать.
Пятое - в наступающей эйфории еще предстоит создать всю систему регламентов использования и тестирования кода нейросетей, чтобы не было краха человеческой цивилизации на ровном месте. Хотя бы в код для атомных станций не пускайте AI, пока не научитесь пониманию новой технологии и правилам ее использования.