Как обучить нейросеть. LlaMa

Прошлым летом, слушая, как за окном жутко орет какая-то птица, шумит ветер в березах, я рассматривал луну над Охотским морем и писал рассказ о будущем, где каждый может завести персональный искусственный интеллект, обучать его, передавать по наследству детям, внукам.

Оказалось, сделать это можно уже сейчас. Сразу скажу: в два клика это не реализовать, порог вхождения достаточно высок. Однако, десятилетнего опыта в IT не требуется, как и лишней сотни тысяч долларов на аренду мощных серверов. Но обо всем по порядку.

Я был поражен количеством нейросетей, которые можно загрузить себе на компьютер и пользоваться локально без подключения к интернету. Да, им тяжело тягаться с гигантами chatGPT4, Gemini или Deepseek, однако, при наличии более-менее современного компьютера, можно скачать и продвинутые модели на уровне ранних версий chatGPT. Даже если ваш компьютер используется как печатная машинка с выходом в интернет, скорее всего и на нем можно развернуть локальный ИИ, просто работать он будет медленно.

Все началось с нейросети Llama, разработанной компанией Meta, чья деятельность запрещена на территории РФ. Первая версия Llama была слита в сеть, но позже разработчики опубликовали модель Llama 3 с отрытым исходным кодом для общего и бесплатного использования.

А еще есть ресурс https://huggingface.co/ где можно найти сотни нейросетей: для генерации картинок, текста, перевода голоса в текст и наоборот и т. п. И всех их можно скачать и установить себе. Сделать это можно, например, через Llama Studio, получив удобный интерфейс. На этом же ресурсе, кстати, есть и модели Deepseek.

В чем же подвох? Зачем нужны все эти онлайн-сервисы, если можно обойтись своими силами? Да, технология квантализации позволяет запускать достаточно «умные» и тяжелые модели на своем ПК, однако, всему есть предел, и получить полноценную замену того же chatGPT4 или Midjorney не получится. Просто не хватит ресурсов. Нужно быть готовым раскошелится на свободное место. Например, если версия Llama, обученная на 8 миллиардах параметров займет около 20 гб, то модель, обученная на 70 миллиардах, займет уже 150 гб. Llama 1b, кстати, можно запустить даже на смартфоне.

Но! Что с обучением? Можно. К сожалению, развалиться с бокалом вискаря или пива, и рассказывать ИИ, почему Пелевин уже не труъ, а вот Сорокин!.. Не выйдет. Скормить нейросети данные нужно в текстовом формате «вопрос-ответ» или сыром, просто массив текста. Сделать это можно с помощью https://github.com/zetavg/LLaMA-LoRA-Tuner

Для начала я решил экспериментировать на chatGPT-2, легкой и простой во всех смыслах модели, которая не понимает языков, кроме английского. Я скормил ей одну свою книгу, и, о чудо! Нейросеть заговорила на русском! Правда, весьма специфично.

В: Кто такой Ник Рамов?

О: Незримо ствол пофркдщк Ник Рамов пдапоров сидел про жем мацал

А? Какова глубина мысли, стиль!

Если серьезно, результат налицо, конечно. Но! Обучал я на своем ПК с видеокартой, которая сейчас для обучения не поддерживается (точнее, нужно ставить Linux вместо Windows, но так глубоко я не заходил. Пока что) и работа шла с помощью ресурсов процессора, я выставил самые простые и легкие параметры. Обучение заняло 30 минут.

Результат меня устроил и не устроил. С одной стороны это работает, с другой… зачем мне незримо ствол пофркдщк Ник Рамов пдапоров сидел про жем мацал? Следующий эксперимент буду проводить на виртуальном сервере с мощным оборудованием (Google Colab) и хочу обучить другую модель, изначально поддерживающую русский язык, на основе истории сообщений из ВК с теми друзьями, которые дали на это согласие.

В этом я не первопроходец, до меня уже подобное делали, и результаты, если честно, поражают: если есть время, деньги и упорство, можно сделать виртуального собеседника, которого далеко не с первого раза можно отличить от настоящего.