СССР-2 ("Возвращение к звёздам"). Ниасилили: Искусственный интеллект

Нет своего – даёшь искусственный!

Поэтому все решения у нас принимает искусственный интеллект!

Итак, продолжим на предмет того, чего не будет в светлом (правда, обязательно оговоримся – ближайшем) будущем. Да, я про то самое. Про искусственный интеллект.

Итак, на начало XXII века все работы в области ИИ находятся под жёстким государственным и международным контролем, а возможности и области использования устройств с ИИ ограничены международными договорами. Примерно так же, как сейчас контролируется использование атомной энергии, только намного жёстче. В частности, законодательно ограничена мощность нейросетей, которые можно использовать и исследовать.

Почему же так? С одной стороны ограничения накладывает антидроновский пакт (см. пред. пост), а с другой – в процессе внедрения ИИ везде, где только можно и нельзя, вылезли очень неприятные побочные эффекты.

Кое о чём рассказывает своим товарищам Джон Барух, ещё в самом начале экспедиции:

– Управлять, например, самолётом, можно двумя способами. Можно записать в память компьютера много разных ситуаций и алгоритм как управлять в этих ситуациях. Это плохо, потому что всегда может появиться ситуация, которую не предвидели. Человек может придумать что делать, а такой компьютер либо зависнет, либо начнёт ошибаться. В прошлом веке, в начале, очень увлекались такими компьютерами и случилось много аварий из-за этого. Из-за этого Боинг почти разорился. Можно сделать искусственный интеллект...

– Нейронная сеть? – уточнила Света. Джон на это задумался, покачал головой:

– Не только... но, да, нейронная сеть. Нейронная сеть должна быть очень большой и её надо обучать. Обучать как человека. Чтобы нейронная сеть управляла самолётом как человек, она должна быть почти такой же... мощной, как наш мозг, но такой нейронный компьютер очень дорогой. Этот компьютер надо учить как человека. И он будет ошибаться так же, как человек.

– Почему? – удивилась Наташа.

– Потому что устроен так же, – догадался Влад.

– Правильно, – кивнул Джон. – А если поставить такой компьютер дороже, чем научить человека, а работать он будет не лучше человека, то зачем компьютер? Дешевле научить человека и пусть управляет, а компьютер работает как... у нас говорят assistent. А ещё вопрос ответственности. Если самолёт, которым управляет компьютер, сменит курс, например, и ударит в жилой дом, то можно сказать, что это был сбой компьютера. Это даёт возможность злоупотреблений. Так было в прошлом веке, были инциденты с участием военных дронов...

Однако здесь Джон объясняет проблему довольно поверхностно. Но что поделать? ему всего 14 лет и многое он знает только со слов деда, который, прежде чем стать триллиардером поработал программистом, причём именно в области искусственного интеллекта. Вот он-то знает!

...Генерал сморщился, как от зубной боли:

– Профессор, а можно проще?

Тут Барух решился:

– Извините, сэр, позвольте я объясню?

– Да валяй! – с явным раздражением отмахнулся профессор Треллони. – Ты у нас мастер разжёвывать очевидное!

Но, профессор – профессором, а он сейчас призванный резервист. Поэтому Барух и дождался разрешения генерала:

– Говорите, лейтенант.

– Тут всё просто: делай то же самое и получишь тот же результат. Нейросетью мы повторяем то, что у нас вот тут... – Барух постучал себя пальцем по лбу. – Это значит, что в достаточно сложной нейросети обязательно сформируется своё подсознание, центры удовольствия и неудовольствия, у нейросети будут случаться иллюзии, галлюцинации, возможно разовьются аналоги наших психических болезней.

– Иллюзии? – удивился генерал. – Вы хотите сказать, что наш "Пилум" может увидеть в рельефе местности лик Девы Марии и поэтому не атаковать цель?

– Ну... – неуверенно промямлил профессор, – до такого... наверное... не дойдёт... но некоторые инциденты с киберводителями случились из-за того, что блок распознавания принимал нейтральные элементы придорожной обстановки... не за то, чем они являются. Это не афишируется и как преодолеть это...

– Никак, – весьма невежливо встрял Барух. – Это неотъемлемое свойство всех нейросетей.

– То есть, искусственный интеллект будет совершать те же ошибки, что и человек? – генерал сразу ухватил главное.

– Может совершать, – поправил его Барух.

– В принципе, это одно и то же. Если неприятность может произойти, она произойдёт, – отмахнулся генерал. – Что ещё плохого может искусственный мозг?

– Люди, как правило, работают в команде, контролируют друг друга, если кто-то сделает что-то не то – он знает, что его ждёт ответственность, возможны неприятности для близких, – продолжил Барух. – Искусственный интеллект...

– Понятно, – оборвал его генерал и шумно выдохнул. – Теперь понятно, что случилось на Доггер-банке...

На это профессор Степлтон, которого генерал демонстративно игнорировал не выдержал:

– А что случилось на Доггер-банке?

– Да ничего особенного, просто наш морской охотник там пол дня гонял косяки сельди. До полного израсходования запасов глубинных бомб. Сейчас несколько групп экспертов пытаются придумать рациональное объяснение этого безобразия, но, похоже, кораблик и правда, просто резвился, как ребёнок в песочнице.

– Но и это ещё не всё, сэр, – снова встрял Барух.

– Продолжайте, лейтенант.

– Когда мы формируем у себя этические принципы, то, что определяет наше поведение, поступки в отношении себя и других людей, мы растём в человеческом теле, взаимодействуем с другими людьми, учимся быть людьми. У нейросетей всего этого нет. Но какие-то принципы, представления о том, что хорошо, а что плохо достаточно сложная нейросеть себе придумает и будет действовать в соответствии с этими принципами. Мы создали голема, сэр. Чудовищного голема, о мотивах которого не имеем ни малейшего представления.

– Гугло-мозг достаточно мощный для этого? – быстро спросил генерал.

Барух на это только пожал плечами:

– Мощность каждого из "полушарий" порядка 10% количества нейронов в человеческом мозге, но учитывая, что большая часть сервисных функций вынесена на внешние вычислительные мощности... В принципе, возможно...

Из ещё не написанной повести "Искусственный интеллект".

Напоминаю: это будет вбоквел-приквел для "Возвращения к звёздам".

История о том, как Джеймс Барух честно укралзаработал свой первый миллиард.

И это не голая теория. В США и Китае (странах лидерах в области разработки ИИ) произошло несколько очень неприятных инцидентов, вызванных неадекватными действиями ИИ, управляющего крупными коммунальными сетями и объектами. Это и привело к отключению крупнейших промышленных и экспериментальных нейросетей (в США это происходило в весьма драматической обстановке). А позже в большинстве стран были приняты законы, согласно которым владелец устройства с ИИ отвечает за действия этого устройства так же, как если бы он действовал сам. После принятия этих законов, крупный бизнес резко потерял интерес к теме...