Как установить Ollama и запустить локальные модели на своём железе

Облачные ассистенты удобны, пока устраивают их условия: данные уходят на чужие серверы, лимиты обновляются, цены меняются, код работает только пока платишь за подписку. Локальный запуск меняет расклад. Открытая модель работает прямо на вашем железе: подписка не нужна, лимитов нет, в интернет ничего не уходит. Данные никуда не уходят, а набор моделей ограничен только вашей памятью. Поднять всё это проще всего с Ollama.

Одна команда ollama run gemma4:e2b скачивает модель и открывает с ней чат прямо в терминале. Вместе с ней работает локальный сервер: к нему подключаются свои скрипты через API, совместимый с OpenAI, и агенты вроде Claude Code, Codex или OpenCode.

Что такое Ollama и что она умеет

Если коротко, Ollama это программа для локального запуска LLM, больших языковых моделей, на своём оборудовании. Она скачивает модели из публичной библиотеки, запускает их и раздаёт единый интерфейс: чат в терминале, локальный API и подключение к сторонним приложениям.

Проект полностью открытый: лицензия MIT, весь код и документация доступны на GitHub. На октябрь 2026 у репозитория больше 183 тысяч звёзд, около девяти миллионов установок в месяц и больше миллиарда скачиваний моделей. Библиотека охватывает семейства Gemma, Qwen, gpt-oss, DeepSeek, GLM, Kimi и десятки других.

Приватность и свобода от лимитов: запросы не покидают вашу машину, можно разбирать личные документы, рабочие проекты и переписку без риска утечки. После установки и загрузки моделей интернет не нужен, платить за запросы тоже не придётся. Всё упирается в железо: чем параметров больше, тем выше требования к памяти и скорости.

Ускорение включается автоматически: Ollama сама выбирает движок под модель и платформу. На Apple Silicon это обычно MLX, GGUF-варианты идут через сборку на базе llama.cpp, на Windows и Linux подхватываются CUDA, ROCm или Vulkan. Веса распределяются между видеопамятью и оперативной: если видеокарта не потянет модель целиком, часть слоёв уйдёт в память и скорость просядет. При совсем маленьком запасе памяти загрузка может закончиться ошибкой.

У Ollama есть и облачная часть: крупные модели можно запускать на серверах компании по подписке. Но она полностью опциональна, локальный режим работает без регистрации и аккаунта. Если не хочется даже случайного обращения наружу, облачные функции и веб-поиск отключаются переменной OLLAMA_NO_CLOUD=1.

Как установить Ollama на Windows, macOS и Linux

Понадобятся актуальные версии систем: Windows 10 22H2 или новее, macOS 14 Sonoma или новее. Для ускорения на картах NVIDIA нужны свежие драйверы, версии 551.61 и выше. Установка везде простая, и почти всегда есть два пути: обычный установщик или команда.

Windows. Самый быстрый способ это команда в PowerShell:

irm https://ollama.com/install.ps1 | iex

Она скачает и выполнит установочный скрипт. Вариант для тех, кто предпочитает мышку: скачайте OllamaSetup.exe со страницы загрузок и запустите его. После установки Ollama живёт в трее и обновляется автоматически.

macOS. Скачайте Ollama.dmg и перетащите приложение в «Программы». Для терминала есть тот же скрипт установки curl -fsSL https://ollama.com/install.sh | sh, что и на Linux. На Mac с чипами M-серии приложение работает с аппаратным ускорением Metal из коробки.

Linux. Тот же установочный скрипт:

curl -fsSL https://ollama.com/install.sh | sh

Скрипт сам настроит службу systemd, и Ollama будет стартовать при загрузке. Проверить состояние можно командой sudo systemctl status ollama, посмотреть логи через journalctl -e -u ollama. Для машин без systemd есть ручная установка из архива ollama-linux-amd64.tar.zst, а для ARM64 отдельная сборка. Чтобы обновить Ollama на Linux, запустите тот же скрипт ещё раз.

Docker. Официальный образ называется ollama/ollama:

docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

Том ollama хранит скачанные модели: без него они пропадут при пересоздании контейнера. Порт привязан к 127.0.0.1, наружу сервер не смотрит, и это правильно: у API нет встроенной авторизации. Если есть видеокарта NVIDIA и установлен Container Toolkit, добавьте --gpus=all, чтобы контейнер использовал GPU.

После установки проверьте версию командой ollama -v. На Windows и macOS, а также после штатного скрипта на Linux, служба уже работает в фоне и слушает порт 11434. При ручной установке сервер запускается командой ollama serve.

Первая модель и основные команды

Запуск модели сводится к одной команде. Возьмём Gemma 4 в компактном размере e2b: загрузка займёт около 7,2 ГБ. Ollama рекомендует для неё 8 ГБ видеопамяти или объединённой памяти на Mac; при нехватке модель частично уйдёт в оперативную память и станет заметно медленнее.

ollama run gemma4:e2b

Команда сначала скачает модель с прогресс-баром, а потом откроет чат. Внутри работают текстовые команды, например /bye закрывает сессию, а /set меняет параметры на ходу.

Из команд повседневного набора пригодятся:

• ollama pull <модель>: скачать модель, не запуская её.
• ollama list: показать всё, что уже скачано.
• ollama ps: какая модель загружена сейчас и куда. Смотрите графы PROCESSOR и CONTEXT: там будет 100% GPU, 100% CPU или разделение вроде 48%/52% CPU/GPU, а рядом текущее окно контекста.
• ollama rm <модель>: удалить модель и освободить диск.
• ollama show <модель>: карточка модели с параметрами, контекстом и поддерживаемыми возможностями.

Моделей в библиотеке больше сотни, и первое время глаза разбегаются. Держитесь простого правила: начинайте с моделей до 8 миллиардов параметров в квантовании Q4. Такой размер занимает порядка пяти гигабайт и работает на типичном домашнем железе.

Как подобрать модель под своё железо

Здесь железо решает почти всё. Первый ограничитель это память: модель должна целиком (или почти целиком) помещаться в видеопамять либо в оперативную. Второй это скорость: на видеокарте ответ приходит быстро, а на CPU приходится ждать по паре токенов в секунду.

Для локальных LLM работает простой ориентир: в квантовании Q4 веса модели занимают примерно полгигабайта на каждый миллиард параметров. На 8 миллиардов параметров приходится около 5 ГБ, на 27 миллиардов около 16 ГБ, на 70 миллиардов уже под 40 ГБ. Но это только веса: сверху добавьте кэш контекста и запас для системы, а точный размер каждой сборки смотрите на странице модели. У одной и той же модели есть варианты от q4_K_M (по умолчанию) до q8_0 и полных весов f16.

Отсюда рабочая градация для типичных домашних машин:

• 8 ГБ хватает моделям до 4B: лёгкий чат и эксперименты.
• 16 ГБ это модели на 8B в квантовании Q4 для повседневных задач.
• 32 ГБ открывают модели до 14B, а 30B отвечает неспешно.
• 64 ГБ и больше тянут модели от 30 до 70 миллиардов в квантовании, это уровень облачных середняков.

Учтите: «память» здесь это не только объём, но и её тип. Видеопамять быстрее, поэтому модели, которые помещаются в GPU, ускоряются в разы. Команда ollama ps показывает, куда загрузилась конкретная модель и не перешла ли она на CPU.

Если хочется модели крупнее, чем тянет компьютер, понадобится GPU. Свой собирать дорого, поэтому такой сервер обычно арендуют; для совсем больших моделей есть и облако Ollama.

Контекст, кэш и экономия памяти

Размер контекстного окна Ollama выбирает по объёму видеопамяти: до 24 ГБ это 4 тысячи токенов, от 24 до 48 ГБ уже 32 тысячи, дальше до 256 тысяч. Маленькое окно быстро становится узким местом: на длинных документах модель начинает «забывать» начало, а агентам и инструментам рекомендуют контекст не меньше 64 тысяч токенов.

Лимит меняется переменной OLLAMA_CONTEXT_LENGTH при запуске сервера или через настройки приложения:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Если Ollama работает службой, команда выше не подойдёт: второй сервер упрётся в занятый порт. В этом случае переменную добавляют в конфигурацию службы (на Linux через sudo systemctl edit ollama), а затем перезапускают её. Внутри активной сессии контекст меняется командой /set parameter num_ctx 64000, а фактическое значение видно в графе CONTEXT команды ollama ps. И у лимита есть цена: большой контекст занимает память, и растёт шанс, что модель частично уедет в оперативную.

Две другие настройки пригодятся на машинах с небольшим запасом памяти. Flash Attention, включённый по умолчанию на поддерживаемом железе, снижает потребление памяти при больших контекстах. Кэш контекста можно сжать через OLLAMA_KV_CACHE_TYPE=q8_0: он займёт вдвое меньше места практически без потери качества. Вариант q4_0 экономит ещё сильнее, но на качестве уже сказывается заметнее.

Где всё лежит. Скачанные модели хранятся в ~/.ollama/models на macOS и в C:\Users\<пользователь>\.ollama\models на Windows. На Linux это /usr/share/ollama/.ollama/models при установке через службу. Переехать на другой диск просто: задайте переменную OLLAMA_MODELS с новым путём и убедитесь, что у службы есть к нему доступ.

Если базовый запуск освоен, дальше пригодятся свои сборки. Системные промпты и дефолтные параметры задаются в Modelfile:

FROM gemma4:e2b
SYSTEM "Ты отвечаешь кратко и по делу."
PARAMETER temperature 0.7

Своя сборка создаётся командой ollama create my-gemma -f ./Modelfile. Это пригодится, например, чтобы держать разные версии «одной» модели под конкретные задачи.

И про переменные окружения. На Linux они задаются через sudo systemctl edit ollama: строка Environment="OLLAMA_HOST=..." в секции [Service], затем daemon-reload и перезапуск службы. На macOS это launchctl setenv, на Windows окно «Изменение переменных среды». Через них настраиваются адрес прослушивания OLLAMA_HOST, путь к моделям и параметры движка.

Локальный API на порту 11434

Пока Ollama запущена, на вашей машине работает полноценный HTTP-сервер. Родной API живёт по адресам http://localhost:11434/api/..., а поверх него подняты совместимые слои: эндпоинты OpenAI (/v1/chat/completions), Anthropic (/v1/messages) и Responses. Программы, которые умеют работать с OpenAI или Claude, подключаются к локальной модели почти без правок. Совместимость при этом частичная: часть полей и функций отличается, так что перед подключением сверьтесь с таблицами совместимости в документации.

Проверить это можно в одну строку:

curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "gemma4:e2b",
  "messages": [{"role": "user", "content": "Скажи привет одним предложением."}]
}'

Ответ придёт в том же формате, что у OpenAI: текст лежит в choices[0].message.content. Для питонистов есть библиотека ollama (pip install ollama), для фронтендеров ollama-js (npm i ollama). В обоих случаях код сведётся к паре строк.

Из коробки подключаются и готовые приложения. Для VS Code есть официальное расширение Ollama, а кодинг-агенты запускаются командой вида ollama launch claude или ollama launch opencode. Для Claude Code и OpenCode Ollama сама предложит установку, для Codex понадобится сначала поставить его собственный CLI. Модель и настройки команда подставит сама.

Ещё сюда же подключается автоматизация: эмбеддинги для поиска, обработка документов, классификация текста. Всё это умеет работать на локальных моделях без единого запроса в интернет.

Open WebUI для тех, кто хочет кнопки

Терминал удобен, но не всем и не всегда. Для таких случаев есть Open WebUI: веб-интерфейс в стиле ChatGPT поверх Ollama. Работает на своём сервере, открывается из браузера, поддерживает несколько пользователей, базы знаний и историю чатов.

Ставится одной Docker-командой:

docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=ваш-ключ \
  --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Пара деталей, без которых будет неприятно. Секретный ключ WEBUI_SECRET_KEY сгенерируйте один раз командой openssl rand -hex 32 и не меняйте: без фиксированного ключа каждый пересозданный контейнер будет разлогинивать всех пользователей. Флаг --add-host нужен, чтобы контейнер видел Ollama на хост-машине, а том open-webui хранит переписку и настройки.

Интерфейс откроется по адресу http://localhost:3000, Ollama Open WebUI найдёт сам на host.docker.internal:11434 и покажет локальные модели в выпадающем списке. Если хочется обойтись без CLI совсем, есть вариант образа с Ollama внутри: тег :ollama у того же образа поднимает обе системы в одном контейнере. И учтите, что тег :main у образа плавающий: для долгой работы на сервере лучше закрепить конкретную версию.

Внутри, кроме чатов, есть база знаний с поиском по документам, темы оформления и права пользователей. Личный мини-ChatGPT на своём сервере, без подписок и внешних аккаунтов.

Ollama на своём сервере

Многие берут Ollama именно ради серверного сценария: модель крутится на машине круглосуточно, а подключаются к ней все ваши устройства и проекты. Такую схему легко собрать на любом VPS с Linux.

Общая последовательность такая. Арендуете сервер, устанавливаете Ollama тем же скриптом, служба сама поднимается при загрузке. Дальше скачиваете модели через ollama pull и убеждаетесь, что API отвечает по адресу сервера.

Ключевой момент это безопасность. По умолчанию Ollama слушает только 127.0.0.1 и наружу не смотрит. Адрес прослушивания можно изменить переменной OLLAMA_HOST, и вот с ней надо быть осторожным: у API нет встроенной аутентификации, поэтому открытый порт 11434 в интернете означает, что чужие люди смогут пользоваться вашими моделями и ресурсами сервера. Для себя обычно этого не требуется: подключайтесь по SSH. Для команды поставьте перед Ollama веб-сервер с паролем и HTTPS, например Nginx, и закройте прямой доступ к порту 11434 правилами firewall.

По железу ориентируйтесь на задачу. Лёгким моделям и эмбеддингам хватает обычного CPU-сервера: они ответят медленнее, зато по деньгам это минимальный тариф. Для моделей от 14B и выше смотрите конфигурации с GPU: скорость отличается в разы.

Собранную связку удобно докручивать по мере роста. Open WebUI из предыдущего раздела превращает сервер в командного ассистента. ollama launch подключает агентов. А если появятся другие self-hosted сервисы, под них найдётся место на том же сервере: у нас есть отдельные гайды про Portainer для управления контейнерами и Nextcloud для личного облака.

Подходящие конфигурации серверов мы собрали в подборке VPS: есть варианты и под лёгкие задачи, и под модели посерьёзнее.

Ollama или LM Studio, что выбрать

Оба инструмента решают похожую задачу и часто упоминаются в паре. Раньше разница была простой: LM Studio это приложение с графическим интерфейсом, Ollama это командная строка. Сейчас границы стёрлись: у LM Studio появились CLI lms и headless-режим для серверов, у Ollama есть приложения для Windows и macOS. Отличаются акценты: LM Studio сильнее в визуальной работе с моделями, Ollama удобнее там, где нужна служба: Docker, автоматизация, API, агенты.

Если вы только знакомитесь с локальными моделями и предпочитаете мышь и окошки, начните с LM Studio: у нас есть подробный гайд по нему. Если модель нужна программам, скриптам и агентам или вы хотите держать её на сервере, берите Ollama. Впрочем, инструменты не конфликтуют: многие используют LM Studio для экспериментов, а Ollama держат на сервере для постоянной работы.

Итог

Ollama закрывает сразу несколько задач одной командой: запускает локальные модели, раздаёт API, совместимый с OpenAI, и подключается к агентам и приложениям. Ставится она за пару минут на любую систему, а первый запуск модели выглядит как ollama run gemma4:e2b.

Если модель помещается в вашу память, локальный запуск выигрывает по приватности и стоимости запросов. Если задача перерастает ваше железо, сравнивайте облачные модели, аренду GPU и собственный сервер. А если захочется подключать к модели внешние инструменты и данные, посмотрите наш разбор MCP-серверов: это протокол, через который ИИ-приложения дают моделям доступ к инструментам, файлам и базам.

Источники:

• Документация Ollama: docs.ollama.com
• Репозиторий проекта: github.com/ollama/ollama
• Документация Open WebUI: docs.openwebui.com