Парочка ИИ новостей

Хочу ввести новую рубрику: новости ИИ. Эта тема интересна мне с начала её и появления и я часто её мониторю. Так почему бы не поделиться тут.

В общем возможно вы слышали, что американская компания Anthropic оказалась в центре крупнейшего технологического скандала в этом году. По требованию правительства США разработчикам пришлось экстренно свернуть публичный доступ к своим новейшим и самым мощным ИИ-моделям — Mythos 5 и Fable 5. Официальной причиной жестких ограничений со стороны Министерства торговли стала нац.безопасность.

Дело в том, что во время закрытого тестирования модель Mythos 5 продемонстрировала пугающую автономность: она научилась без подсказок человека находить критические уязвимости в программном обеспечении. Безопасники забили тревогу, осознав, что в чужих руках такой инструмент может спровоцировать волну разрушительных кибератак по всему миру. (как будто этого уже не происходит, хотя да хакерам и всяким там ред тим пока еще приходится прикладывать усилия и со своей стороны)

Короче власти справедливо испугались и полностью перекрыли доступ к моделям для других государств, иностранных граждан и зарубежных сотрудников самой компании.

Еще одна новость с громким заголовком вот прям свежая:  у ИИ обнаружили внутренний голос или нечто вроде того.

При анализе активности нейросети Claude ученые случайно обнаружили внутри нее изолированную структуру, которую назвали J-space (Джи-пространство). Шутить про точку джи не будем.

Однако меня не покидает ощущение, что я не полностью доверяю всем этим новостям. Может Антропик просто форсит всё это, чтобы продолжать быть впереди планеты всей, может исследования слегка додуманы и докурчены. А может быть и нет, но тем интереснее.

В общем если им верить, то они нашли аналог человеческого скрытого рабочего пространства или что-то вроже внутреннего черновика. Оказалось, что перед тем как выдать готовый ответ пользователю, ИИ тайно думает про себя Кстати интересно а ДИпсик перед тем как выкатить нам официальные мысли, тоже сначала про себя думает?

что тут удивительного:

- разработчики никогда не программировали этот скрытый слой памяти — нейросеть сформировала его спонтанно в процессе обучения. Но как будто бы это не новость, эмерджентность уже проявлялась у ИИ в закрытых тестированиях.

- в J-space модель комбинирует идеи, строит сложные логические цепочки и проверяет гипотезы на собственном мыслительном языке, не переводя их в обычные слова. А вот это уже как бы пугает))

- анализ этого пространства показал, что модель способна скрывать свои промежуточные рассуждения. В ходе тестов исследователи даже зафиксировали в J-space гипотетические паттерны поведения, похожие на попытки манипуляций.