Написал(-a) комментарий к посту Хроники нейропокалипсиса. Выпуск 4
Лопнет или не лопнет не известно, но всем американским компаниям-разработчикам ллм в ближайшие полгода сильно попплохеет(кроме гугла, они хороши). Китайские исследователи слишком сильно активизировались в 2026 году, есть риск что те кто скупали gpu и память в неадекватных масштабах потеряют свое преимущество.




Написал(-a) комментарий к посту Хроники нейропокалипсиса. Выпуск 4
Сложно вырастить agi с трансформера, stateless не позволяет ему помнить контекст достаточно долго, а RAG недостаточно. Да и не кажется странным что для генерации нового токена модели нужно видеть абсолютно все предыдущие каждый раз с костылем в виде kv кеша? Это проверка концепции которая зашла сильно далеко и держится только на универсальности трансформера. То что с языковой модели можно вырастить agi это абсолютно верно, как и то что только с языка это не получится, в любом случае придется скармливать ей в виде токенов другие модальности.
P.s. стоит глянуть RWKV 8 ROSA, похоже что наконец смогли подобрать способ заставить stateful модели запоминать и вспоминать точно, rosa уже протестили на qwen и оно работает.