Гайд Как запустить на своём пк chatgpt или использование LLM с помощью ollama.

[eidisieis]

Спасибо, супер выручил, давно искал

 

[Denkur1337]

Всем привет!

Я хотел бы поделиться подробным руководством по установке и использованию Ollama на Linux
Ollama — это инструмент, который позволяет вам извлекать различные языковые модели и запускать их прямо на вашем компьютере.

Что такое Ollama?
Ollama — это инструмент с открытым исходным кодом, который делает работу с большими языковыми моделями очень простой.
Подготовим необходимые либы. Проверим, что оллама запускается без ошибок.

sudo apt update && sudo apt upgrade
sudo apt install python3 python3-pip git

git clone https://github.com/ollama/ollama.git
cd ollama

pip install .

ollama --version

Далее необходимо скачать модель, например:

• GPT-3 (OpenAI)
• LLaMA (Meta AI)
• Mistral (Hugging Face)

Пример:

ollama pull gpt-3

Остальные модели можете глянуть на официальном сайте ollama.com

Загружать нужно только один раз.

Далее уже можно запускать либо диалог (сохраняется контекст)

ollama run gpt-3

Либо использовать единичный запрос (контекст не сохраняется)

ollama run gpt-3 "Что такое квантовая физика?"

Чтобы выйти используйте:
*** Скрытый текст не может быть процитирован. ***

Если появляются ошибки/вопросы - пишите, разберемся



пы. сы. Единственная просьба - не пишите сообщение с содержанием "ничего не работает", если хотите помощи
Опишите, что пошло не так, какая ошибка, ну и скрины можете прицепить

Всем удачных познаний

суда рм рф нада вести, все будет работать сто проц

 

[BBEPX]

А в чем смысл запуска таких древних моделей? Бесплатный 4o-mini на голову выше этих моделей, не говоря уже о платном ChatGPT и Claud'овских моделей

 

[Nodzoserg]

Очень помогли, воспользуюсь вашей инструкцией

 

[ghostuser1]

Мерси, попробую обязательно запустить