как добыть chatGPT на свой компьютер

Автор: Софья Нестерова

Теперь когда (и если) openai зажопит доступ к онлайн ChatGPT 5 у нас будет хотя бы какой-то chatGPT для домашнего использования. 

Будем делать инференс openai/gpt-oss-120b

Это вроде как свежая open source модель от openai с 120 миллиардами параметров (что есть круто!)
1. Для начала вам потребуется компьютер хотя бы с 16 ядрами и 64G оперативной памяти. Либо крутой графический ускоритель точные параметры ускорителя мне неизвестны, у себя запускаю модель на CPU+RAM.
2. потом вам нужно скачать LM Studio приблизительно отсюда https://lmstudio.ai и если у вас не Linux то я не знаю как вам быть. А если у вас линукс то запустить её при помощи команды:

./LM-Studio-0.3.26-6-x64.AppImage --no-sandbox

3. затем внутри LM-Studio нужно скачать модель "openai/gpt-oss-120b" это потребует много времени и места на диске.
3.5 скачайте и установите docker-desktop. Залогиньтесь в него, в секции "MCP toolkit" добавьте МСР-сервер "duckduckgo"
4  скопируйте следующее в буфер обмена:

{ "mcpServers": { "duckduckgo": {           "command": "docker", "args": [ "run", "-i",             "--rm", "mcp/duckduckgo"             ]       } }}

(форматирование съехало, но это не важно наверное, просто скопируйте в буфер обмена этот текст.
5. Зайдите в запущенную LM-Studio. Справа вверху есть кнопка "Program" под ней справа кнопочка "Install" кликните на неё, выпадет "Edit mcp.json" кликните по нему, и слева откроется вкладочка с редактированием файла. Удалите все что там есть и сделайте PASTE . сохраните файл. В списочке плагинов (справа под "Program") у вас появится "mcp/duckduckgo" и начнёт скачиваться. Включите его кнопочкой, но он сразу не будет работать ему нужно время, чтобы скачаться.
6. когда все скачается, и модель и плагин с поиском (mcp/duckduckgo) можно начинать загружать модель в RAM  и начинать работу. Вот какие настроечки модели у меня




После чего кликаете LoadModel и она несколько секунд грузится, потом все должно работать словно вы в онлайне подключены к chatGPT 4o.

Теперь когда (и если) openai зажопит доступ к олайн ChatGPT 5 у нас будет хотя бы какой-то chatGPT для домашнего использования. Я собираюсь на ней прогнозировать рынок ценных бумаг, а вы можете использовать в свое удовольствие. 

НЕ СПЕШИТЕ РУГАТЬ МЕНЯ! Я знаю, что инструкция не полная и немного корявая (непонятная). Просто установка "docker-desktop" это отдельная тема и на каждой операционной системе она происходит по-разному. Надеюсь боги будут благосклонны к вам и вам удастся установить сие чудесное творение. Если нет - обращайтесь, я помогу советами по установке под Linux, а как там под Windows  я не знаю.

PS: вы можете использовать любую другую модель на ваш вкус, алгоритм её установки приблизительно тот же. Теперь буржуи не смогут нам выключить мозг, запретив доступ к лучшим онлайн-моделям искуственного интеллекта.

+35
168

0 комментариев, по

4 397 11 514
Наверх Вниз