Гайд Создаем собственного локального ИИ чат-бота с помощью lmstudio.ai

[wlux.net]

Минимальные системные требования​

• Процессор поддерживающий AVX или AVX2
• От 8 ГБ оперативной памяти (рекомендуется 16 ГБ)
• Пару десятков ГБ памяти на жестком диске
• Не обязательно, но так же рекомендуется иметь хоть какую-то видеокарту

Инструкция​

Для начала необходимо понять, поддерживает ли наш процессор AVX2. Для этого открываем панель управления, наконец-то узнаем, какой у нас стоит проц и гуглим, поддерживает ли он AVX2.

Для процессоров которые поддерживают AVX2

Переходим на сайт

Пожалуйста, войдите или зерегистрируйтесь, чтобы увидеть скрытый текст.

Ищем свою ОС и скачиваем установщик для нее. Далее запускаем инсталлер, после чего программа сама установится на Диск C.

Для процессоров которые поддерживают только AVX

Переходим на сайт

Пожалуйста, войдите или зерегистрируйтесь, чтобы увидеть скрытый текст.

и нажимаем на текст LM studio Beta Releases.

Видим такую картину, как на скриншоте ниже и листаем в самый низ.

Нажимаем на LM-Studio-0.2.10-Setup-avx-beta-4.exe и скачиваем установщик.

Запускаем инсталлер, после чего программа сама установится на Диск C.

Скачиваем модель чат-бота​

Запускаем программу. Смотрим налево и ищем кнопочку с лупой и нажимаем на нее.

Ищем любую модель себе по душе. Лучше всего lmstudio поддерживает gguf формат, так что в приоритете ищем модели именно с этим форматом.

Нажимаем на модельку, после чего справа появятся все версии модели. Лично я использую llama2_7b_chat_uncensored.Q4-K-M.gguf.

Используем нашего чат-бота​

Опять смотрим на сайдбар и кликаем на кнопку с эмодзи сообщения.

Сверху жмем на широкую кнопочку и выбираем модель, которую мы скачали ранее.

Ждем пока наша модель загрузится и... начинаем общаться.

Как задать prompt и использовать видеокарту​

На правом сайдбаре мы видим такую картину:

В System prompt / Pre-prompt пишем наш промпт.

Включаем GPU Acceleration и по-немногу добавляем слои, это ускорит работу чат-бота.

После всего проделанного перезагружаем бота (желтая кнопка снизу у набора сообщения) и кайфуем.