Кажется, они начали что-то подозревать

Недавно вышла статья (https://www.bbc.com/russian/news-65117669), в которой говорится о крайней обеспокоенности владельцев технологических гигантов растущими способностями Искусственного Интеллекта.

Об этом были несколько моих предыдущих постов. Технологии ИИ совершенствуются и идут вперед семимильными шагами. Достаточно взглянуть на возможности нашумевшего ChatGPT-4, чтобы понять причину страхов.

ИИ пишет статьи, почти неотличимые от написанных человеком. Он пишет код за программистов на очень хорошем уровне. Я видел этот код. Конечно, человек всё ещё лучше ИИ в деле проектирования архитектуры систем, по части тонкой настройки и некоторых трюков в оптимизации кода по скорости и объему затрачиваемой программой памяти, но и текущие успехи ИИ заставляют задуматься о многом.

Список подписавших открытое письмо внушительный (https://futureoflife.org/open-letter/pause-giant-ai-experiments/), среди них и Илон Маск, и Стивен Возняк, и известный вам по прошлым моим постам Харари, и ещё десятки весьма влиятельных и сведущих в технологиях людей. Это не диванные эксперты, это профессионалы первой величины. Все они собаку съели на современных технологиях, и к их мнению стоит прислушаться.

Первая описанная ими проблема - неконтролируемость создаваемой информации. Не будем растекаться мыслью по древу, просто представим, как неутомимая система клепает новости и развивает сомнительные теории в угоду чьей-то прихоти или сумасшествию. Мы и без ИИ тонем в потоках недостоверной информации.

Вторая проблема - замена людей на ИИ. Опасность влияния развитого ИИ на общество пока не касается войны против машин, она скорее про эффективность. Сотни тысяч программистов, на обучение которых были потрачены миллионы долларов и человеко-часов могут быть заменены системой, не знающей отдыха. Она пишет код быстро и эффективно. Не на уровне эксперта, но и не только на экспертах держится современная индустрия. Джуны и миддлы пишут основную часть кода. Они наполняют рабочим кодом построенные экспертами структуры высокого порядка, и вот как раз этих джунов и миддлов ИИ и может подвинуть. Хорошо, когда ИИ избавляет тебя от рутины, но когда он лишает тебя любимого дела, то разговор уже другой. Художник рисует потому что ему это нравится. Писатель пишет из любви к выражению своей идеи. Программист любит писать код и решать задачи. Он наслаждается построением сложных концепций в своей голове. Объекты взаимодействуют и выстраиваются в правильные цепочки, вычислительные задачи распараллеливаются и собираются воедино. Это музыка, это архитектура, это наслаждение, которого нас может лишить машина.

Третья проблема - развитие интеллекта, который скоро может превзойти нас по мощи. Тут всё просто. Мы боимся превосходящей нас силы. Про войну против более развитых рас инопланетян или машин написано и снято много. В какой-то момент мы вполне можем оказаться в положении южноамериканских индейцев, встретившихся с конкистадорами. Стрелы и копья против доспехов и огнестрела не долго выстоят.

Червертая проблема - управляемость. Мы боимся потерять контроль. Бесконтрольный ИИ может отклониться от планируемой задачи и начать разрабатывать такую ветку алгоритма, о которой никто и не подозревал. ИИ - это всегда про вероятности. "Совпадение с моделью 95%" видим мы и радуемся. Но забываем про 5% несовпадения, которые в какой-то момент могут сработать и послать ИИ "галлюцинировать" и плодить лютую дичь. Переключать все светофоры на зелёный, рассылать сообщения о пожаре или принимать метеор за ядерную боеголовку. У человека есть естественные тормоза, предотвращающие асоциальное и опасное поведение: воспитание, страх наказания, боязнь за свою жизнь. Сработают ли эти ограничители для интеллекта, который не чувствует боли, не видел последствий своих действий и обучался на строго определённом массиве данных? Может, эксперимент со светофорами он найдёт забавным и интересным новым опытом?

В общем, в интересное время живём.

-----

В книге "Пять секунд до полуночи" также есть намёк на опасность внедрения слишком продвинутого ИИ. Искуственный интеллект Систем Имплантного Контроля выполняет важную миссию: оберегает личные данные пользователей от взлома. Что может быть важнее обеспечения безопасности людей? В этом деле все средства хороши. Или нет?

В разговоре с Эдером Майя прямо говорит ему, что всякий интеллект должен быть управляем, и внедрять пятый уровень автоматизации нужно аккуратно. Эдера нельзя назвать глупым человеком, но даже он не может всего предусмотреть.

Кстати, а вы знаете, что значит "Пятый уровень автоматизации" в этом контексте?