Поиск информации нейросетями

Некоторое время назад Игорь Николаев постил в своём телеграм-канале информацию о недавнем скандале:

Команда исследователей GPTZero проанализировала 4841 научную работу с прошедшей конференции NeurIPS 2025 и выявила более 100 подтвержденных случаев выдуманного цитирования в 53 уже опубликованных статьях.

Анализ команды GPTZero выявил то, что исследователи из ведущих мировых центров вроде Нью-Йоркского университета, Google DeepMind и MIT допустили публикацию сгенерированного текста с вымышленными фактами и даже не перепроверили текст на галлюцинации.  Например, в одной из работ зафиксирован рекорд из 13 галлюцинаций со ссылками на несуществующие препринты формата arXiv:2305.XXXX и авторов с шаблонными именами Firstname Lastname. Команды из UCSD и NVIDIA в своих библиографических списках на полном серьезе ссылаются на вымышленных персонажей John Smith и Jane Doe. Ещё ИИ-модели создают правдоподобно выглядящие, но несуществующие источники путем смешивания реальных элементов. Алгоритм берет имена настоящих ученых и приписывает им работы, которые они никогда не писали, или же соединяет реальный заголовок с вымышленным списком авторов.  Третий тип ошибок связан с неверной атрибуцией реально существующих работ. ИИ-решения часто правильно указывают авторов и название исследования, но ошибаются в месте его публикации (например, указывают конференцию NeurIPS вместо ICLR) или годе выпуска. В отчете зафиксированы случаи, когда статья 2024 года цитируется как опубликованная в 2020 году. Такие ошибки сложнее всего отследить, так как сама научная работа существует, но ссылка на нее в контексте статьи является фактологически неверной.

Вот вроде бы это ужасный ужас и в перспективе деградация цивилизации.

Но может и не всё так печально. Вчера я обнаружил, что DeepSeek начал в ответе выдавать ссылки на источники - сайты, откуда он что-то дёрнул. А ещё вчера произошло и вовсе знаменательное событие - на некий мой вопрос DeepSeek ответил, что он ничего не нашёл. Ещё совсем недавно он бы просто сочинил нечто правдоподобное.

Сильно радоваться, конечно, рано. Он всё ещё может навтыкать в ответ галлюцинаций, которые выглядят очень правдоподобно и чтобы их разоблачить, надо разбираться в теме. Но, может быть, процесс обуздания безумия нейросетей всё же начался. DeepSeek сейчас доступен, как релиз-кандидат версии 4, которая официально будет запущена 27 февраля.