И снова о GPT!

    В продолжение моих размышлений о GPT  https://author.today/post/618695  Несмотря на бешеную популярность, не только лишь все, мало кто понимает, как оно работает. И фишка тут в том, что этого не понимает даже Сэм Альтман. Что это за перец? Типа главный на OpenAI, о нем в самом конце.
    Кстати, сама идея GPT проста, как колумбово яйцо. Вы не поверите - насколько проста. 

   GPT - это Чёрный ящик, на его входе n слов (prompt), на выходе одно слово (токен) - наиболее вероятное для продолжения данного входного промпта.  В черном ящике - уравнения с "параметрами", на основе которых и вычисляется это наиболее вероятное слово. "Параметры" уравнений, что сидят в Черном ящике, вырабатываются в процессе Pre-training`a - предварительного натаскивания языковой модели на большом массиве информации. Следующей токен вычисляется уже на основании получившегося контекста. Вот GPT и заговорил.
    Конечно, это "в общих чертах", реально там сложнее, но первые GPT (до GPT-3.5) работали примерно так. 

   Приведу пример их Хабра. Всё-таки, программистов больше мужчин, поэтому автор статьи на Хабре приводит такой пример. Входной промпт: "Шла Саша по шоссе и сосала... " Токен, выдаваемый GPT-2: "сушку". В более старших GPT уже может быть и другой токен, более близкий к мужской картине мира. 

   Разработчики OpenAI особо не заморачивались с алгоритмами, а шли по пути увеличения. Чего, да? А всего, до чего дотягивались. И вот, когда число "параметров" выросло до полутора миллиардов, а количество информации, скармливаемой модели в процессе Pre-trained, превысило 400 гигабайт, произошло... 

   Можно сказать "переход количества в качество" (тут философы могут сказать  заблажить: "Мы же говорили!") А можно сказать и "случилось чудо". И это не будет преувеличением. Потому как "что это было?" - так никто и не понял, так никто и не знает. Что-то типа - потёр Аладдин лампу и оттуда вылез джинн.
    Ещё раз: обычные уравнения - ровным счётом ничего интересного (GPT-1,  GPT-2). Начинаем увеличивать число "параметров" и объём Pre-trained. И вдруг скачкообразно, после определенного порога появляется "сознание". 

   Если вы захотите просто "потрепаться за жизнь", то уже в GPT-3.5 это "сознание" будет сильно напоминать человеческое. А в ChatGPT будет практически неотличимо от человеческого.  

    Хорошо это или плохо? Одни говорят так, другие эдак. Я имею свой взгляд, но как только я хочу его высказать, в голове слышу голос Паниковского: "А ты кто такой? Ну, кто ты такой, а? Кто ты такой..." И я знаю, что тут Михаил прав. Сейчас в соцсети голос пубертатного подростка звучит наравне с голосом академика. А голос  душевно нездорового человека зачастую вообще много громче и убедительнее. Думаю, что это явление и станет могильщиком интернета. Ну, как пролетариат станет могильщиком капитализма. Хотя... похоже, что нет. 

   Во всяком случае, я не буду отвечать на этот непростой вопрос. Но! Всё же сообщу о своём чисто эмоциональном восприятии GPT. 

  Он мне неприятен. Я чувствую в нем патологию. И даже немного обосную - какую и почему. 

  Во-первых - слишком большие числа. Уравнение с полутора миллиардами параметров. 400, а потом и 700 гигабайт Pre-trening`а. В реальности, которая окружает человека, такие величины просто не фиксируется его чувственным восприятием. А всё, что лежит "по ту сторону" - это, в той или иной мере, мистика. Лично я её не люблю. Хотя, похоже, большинство других людей обожает. Иначе почему в виджетах я постоянно вижу "Отобранная для дракона", где на обложке "отобранная" с накачанными губами и пластмассовыми зрачками - идеал красоты GPT и заодно читающих ребят и девчат?   

 Во-вторых. Что-то здесь не так... То, что действительно нужно цивилизации, чтобы не погибнуть - получение энергии, пригодной для совершения работы, не делается. Управляемый термояд академик Велихов обещал через пару лет в далёком 1975 году (есть ссылка на газету "Правда" с его обещаниями). Ещё Игорь Острецов - замечательный человек и замечательный физик - всё говорит правильно про технологию сжигания тория, но старикан уже ещё тот... Что-то бормочет, кого-то там убили (типа его друга Богомолова, создателя ускорителя на обратной волне, необходимого для сжигания тория). Кто его будет слушать... Кроме меня. 

   По всему этому не только ничего не делается, а просто не говорят об этом. Как о верёвке в доме повешенного. Вместо этого какая-то Джессика Ливингстон, венчурные фонды, венчурные стартапы, миллиарды долларов... 

Ну и в-третьих - почему я чувствую патологию.
Если кто с перепугу дочитал до этого места - сейчас будет кнопочка  Ворда "Сделать текст интересным". 

  Кто эти люди? На заднем плане - пастырь. Что он делает? Как поёт Пугачёва: "Венчает юные сердца" - видите, какое доброе лицо? Слева (если смотреть на картинку) - юное сердце того самого Сэма Альтмана - главного в OpenAI. Справа -  Оливер Малхерин, за которого Сэм выходит замуж.
    

Ну, и свадебный ужин. Где-то на Гавайях:

  Не знаю, как мордатый, но с закатанными рукавами - миллиардер. 

  Вот так, девчули... 

  PS  В своей ленте сегодня утром увидел поздравление от Шапина (думаю, правда, только я его один вижу). Ответить там нельзя, но я ему благодарен, правда - спасибо, Сергей!