Гайд Как запустить на своём пк chatgpt или использование LLM с помощью ollama.

[sunilia]

Всем привет!

Я хотел бы поделиться подробным руководством по установке и использованию Ollama на Linux
Ollama — это инструмент, который позволяет вам извлекать различные языковые модели и запускать их прямо на вашем компьютере.

Что такое Ollama?
Ollama — это инструмент с открытым исходным кодом, который делает работу с большими языковыми моделями очень простой.
Подготовим необходимые либы. Проверим, что оллама запускается без ошибок.

sudo apt update && sudo apt upgrade
sudo apt install python3 python3-pip git

git clone https://github.com/ollama/ollama.git
cd ollama

pip install .

ollama --version

Далее необходимо скачать модель, например:

• GPT-3 (OpenAI)
• LLaMA (Meta AI)
• Mistral (Hugging Face)

Пример:

ollama pull gpt-3

Остальные модели можете глянуть на официальном сайте ollama.com

Загружать нужно только один раз.

Далее уже можно запускать либо диалог (сохраняется контекст)

ollama run gpt-3

Либо использовать единичный запрос (контекст не сохраняется)

ollama run gpt-3 "Что такое квантовая физика?"

Чтобы выйти используйте:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Если появляются ошибки/вопросы - пишите, разберемся



пы. сы. Единственная просьба - не пишите сообщение с содержанием "ничего не работает", если хотите помощи
Опишите, что пошло не так, какая ошибка, ну и скрины можете прицепить

Всем удачных познаний

 

[slowtema]

GPT разве в открытом доступе? llama надо попробовать, говорят вещь.

 

[sunilia]

GPT разве в открытом доступе?

Раньше вроде как была, щас видимо выпилили

 

[keeker]

GPT разве в открытом доступе? llama надо попробовать, говорят вещь.

Ну вроде да. Или что вы имеете ввиду?

 

[Loraks_1]

спасибо что помогли, лайк

 

[danik2225754]

Почему он такой сложный

 

[sergeevnikita]

А можно его в python пакетом интегрировать? Проект с языковой моделью делаю, а загрузка и подключение локальной модели достаточно трудоемко.

 

[sunilia]

А можно его в python пакетом интегрировать? Проект с языковой моделью делаю, а загрузка и подключение локальной модели достаточно трудоемко.

А какой в этом будет глубокий смысл? Отдельно в докере запустили и всё.

 

[chaffi]

Большое спасибо, крайне полезная информация.

 

[nba]

О , спасибо большое , статья хорошая

 

[tri_nim]

Статья отличная, спасибо лайк

 

[Minoru]

Спустя некоторое время разобрался, спасибо

 

[Elesy]

GPT разве в открытом доступе? llama надо попробовать, говорят вещь.

Вроде полезно а вроде и нет

 

[Morrison1]

проверил, все работает. спасибо

 

[salatusss]

спасибо, нереально выручил щас

 

[bruhbro]

все работает, спасибо автору

 

[Facece777]

А у него есть какие либо ограничения в плане цензуры?

 

[rapidrabbit]

а насколько мощная пекарня нужна?

 

[joomjf]

Спасибо, но почему она такая сложная, по мне винда 10 топ

 

[thekreperyelloww]

спасибо,помогли, огромный лайк вам