Нейросети, оказывается, глупеют

Пользователи GPT-4, самой продвинутой публичной модели Open AI, обратили внимание, что в последнее время качество генерируемых ответов сильно ухудшилось.

Учёные из Стэнфордского университета провели исследование и обнаружили, что с марта по июнь 2023 года точность результатов в некоторых областях снизилась аж на 95 %: чат-бот стал хуже писать код, решать математические и прикладные задачи.

То есть, грубо говоря, случился "цифровой Альцгеймер".

А ведь аналитики ещё на ранних этапах развития нейросетей предупреждали, что с увеличением объёмов генерируемого контента его качество рано или поздно начнёт ухудшаться.

Вопрос: почему?

Если очень упростить, то это происходит из-за цифрового шума, когда в массив данных для обучения попадает уже созданная нейросетями информация. Дело в том, что алгоритмам тоже свойственно халтурить и стремиться к самому быстрому и лёгкому результату. Поэтому при многократной переработке одних и тех же данных в итоге всё стремится к абсолютному нулю.

Иными словами, учиться на собственных ошибках действительно не стоит. Но и к собственным успехам следует относиться скептически.

А вы что скажете? Не заметили ли проблемки?

На мой скромный взгляд, картинки от Кандинского действительно стали хуже. Но, может, не стоит отчаиваться? Специалисты работают, решат проблему.