Про DeepSeek.

Автор: Станислав Дементьев

Не знаю, может у меня неудачно подобрана лента, но странно, что даже  на сайте, забитом фантастами, никто не отмечает, что появление этой  модели - предпоследний шаг к сингулярности. Копировать себя и бороться  за жизнь нейросети в общем-то умеют уже. А если пока они делают это неумело и неуклюже, так они ещё маленькие, у них всё впереди. А вот теперь упал барьер  сложности обучения нейросетки с колоссальными требованиями к энергии и оборудованию. И теперь любой хрен с бугра, имеющий некоторый талант и пакет оборудования на уровне майнинговой фермы, может  попытаться вырастить у себя на дому Скайнет. Остаётся последний шаг -  нейросеть, улучшающая сама себя. Ну а дальше: 

"Часы сменились минутами, потом секундами. И каждая секунда была длиннее, чем всё прошедшее время."

Вернор Виндж, "Пламя над бездной"

Кто-то может сказать "но у нейросетки же нет самосознания"! Во-первых, если/когда оно в этом чёрном ящике появится, мы этого не заметим. Во-вторых, нахрен оно нужно? Погибель, о которой идёт речь в вышеприведённой цитате, в некотором роде была менее разумной, чем человек. По сути это был супер-вирус, с врубленными в него раз и навсегда директивами, рефлексировать по поводу которых он не мог. Просто, это был хорошо сделанный супер-вирус, способный переигрывать обычные ИскИны, не говоря уже о мешках с мясом, которые просто обдумывали любую произвольную проблему в миллионы раз медленнее. 


Кто-то может сказать "но и целей у нейросетки тоже нет". См. выше. Во-первых, для появления нейросетки с откровенно враждебными целями, теперь достаточно человека с не столь уж значительными финансовыми ресурсами и желанием поиграть в суперзлодея, плюс некоторого времени. Во-вторых, признаки желания к самосохранению и готовности обманывать хозяев, чтобы избежать переотладки УЖЕ обнаружены в топовых нейросетках.


И да, мечты о новом послушном Големе, скованном какими-нибудь тремя законами работехники - это мечты. Потому что опять см. выше - мы играем с чёрным ящиком. Мы его не программируем. Мы его, грубо говоря, пытаемся воспитывать на примерах с помощью поощрения-наказания. Пока нам не кажется, что нужные моральные ценности в него вбиты. Но даже не рассматривая возможность нейросети, прибегающей к обману, нам может только казаться. DeepSeek кстати - первая сетка, с "домашней" версии которой все эти моральные ценности не сносятся одним промптом, лол.


Но закончу опять на оптимистичной ноте. Конечно, теперь создание нейросеток стало доступно людям с не столь уж значительными финансовыми ресурсами и желанием поиграть в суперзлодея. А раньше его пытались монополизировать люди с очень значительными финансовыми ресурсами, по сравнению с которыми суперзлодеи из комиксов кажутся ещё вполне нормальными. Возможность того, что первый появившийся ИскИн, думающий лучше самого умного человека (повторюсь, будет ли там самосознание даже и не важно, важно, что там будет умение решать проблемы, позволяющее прочитать и переиграть собственных создателей), будет воспитан злобным и/или шизанутым - лучше гарантии.

+42
238

0 комментариев, по

22K 44 609
Наверх Вниз