Гайд Как запустить на своём пк chatgpt или использование LLM с помощью ollama.

sunilia сказал(а):

Всем привет!

Я хотел бы поделиться подробным руководством по установке и использованию Ollama на Linux
Ollama — это инструмент, который позволяет вам извлекать различные языковые модели и запускать их прямо на вашем компьютере.

Что такое Ollama?
Ollama — это инструмент с открытым исходным кодом, который делает работу с большими языковыми моделями очень простой.
Подготовим необходимые либы. Проверим, что оллама запускается без ошибок.

Bash:

sudo apt update && sudo apt upgrade
sudo apt install python3 python3-pip git

git clone https://github.com/ollama/ollama.git
cd ollama

pip install .

ollama --version

Далее необходимо скачать модель, например:

• GPT-3 (OpenAI)
• LLaMA (Meta AI)
• Mistral (Hugging Face)

Пример:

Bash:

ollama pull gpt-3

Остальные модели можете глянуть на официальном сайте ollama.com

Загружать нужно только один раз.

Далее уже можно запускать либо диалог (сохраняется контекст)

Bash:

ollama run gpt-3

Либо использовать единичный запрос (контекст не сохраняется)

Bash:

ollama run gpt-3 "Что такое квантовая физика?"

Чтобы выйти используйте:
*** Скрытый текст не может быть процитирован. ***

Если появляются ошибки/вопросы - пишите, разберемся



пы. сы. Единственная просьба - не пишите сообщение с содержанием "ничего не работает", если хотите помощи
Опишите, что пошло не так, какая ошибка, ну и скрины можете прицепить

Всем удачных познаний

Нажмите, чтобы раскрыть...