Ollama модели: какой чат поставить на компьютер

Как Ollama запускает модели на твоём компьютере

Ollama описывается разработчиками как лёгкий расширяемый фреймворк для сборки и запуска языковых моделей на локальной машине. Модель скачивается один раз и дальше работает без обязательного доступа в интернет - в отличие от облачных чат-ботов, которые обращаются к серверу при каждом запросе.

Запуск модели сводится к одной команде в терминале: ollama run llama3.2 загрузит и запустит модель Llama 3.2. Если модель уже установлена, посмотреть список загруженных можно командой ollama list - это удобно, когда на диске скопилось несколько версий и нужно понять, что уже занимает место.

Помимо командной строки, Ollama предоставляет локальный REST API для генерации текста и чата с моделью. Через него можно подключить модель к собственным скриптам, ботам или внутренним инструментам компании, не завязываясь на внешний сервис.

Что важно учитывать

• Модель работает оффлайн после загрузки, но сама загрузка требует интернета и свободного места на диске.
• Ollama поддерживает мультимодальные модели, которые принимают на вход не только текст, но и изображения.
• Через REST API модель можно встроить в собственный интерфейс, а не только использовать через консоль.

Сколько памяти нужно для разных моделей Ollama

Перед тем как ставить конкретную модель, стоит сверить её размер с объёмом оперативной памяти компьютера. В документации Ollama приведён общий ориентир: не менее 8 ГБ RAM для моделей 7B, 16 ГБ для моделей 13B и 32 ГБ для моделей 33B. Это минимальный порог, а не гарантия комфортной скорости ответа.

Ниже - размеры нескольких моделей из библиотеки Ollama, которые встречаются чаще всего:

Официальной таблицы с требованиями к видеопамяти (VRAM) для каждой модели нет - доступны только размеры моделей и общие ориентиры по оперативной памяти. Если в компьютере есть видеокарта, модель может работать быстрее за счёт GPU, но точных цифр VRAM под конкретную модель открытые источники Ollama не приводят, поэтому лучше ориентироваться на объём оперативной памяти и пробовать запуск на практике.

Место на диске считается отдельно от оперативной памяти: модели хранятся как файлы и могут занимать от сотен мегабайт до десятков гигабайт каждая.

Какую модель Ollama выбрать для обычного чата

Для большинства задач - переписка, помощь с текстом, ответы на вопросы - не нужна самая крупная модель. Разделим выбор по типу компьютера.

Слабый ноутбук или компьютер с небольшим объёмом RAM Если оперативной памяти немного, разумно начать с самых лёгких вариантов: Llama 3.2 на 1B параметров (1.3GB на диске) или Gemma 3 на 1B параметров, которая занимает 806MB и работает с контекстом 32K токенов, но только с текстом, без изображений. Такие модели отвечают быстрее и не перегружают систему, хотя качество ответов будет проще, чем у крупных моделей.

Средний компьютер с 8-16 ГБ RAM Это диапазон, где по документации Ollama можно запускать модели 7B и приближаться к 13B. Хорошие кандидаты - Mistral 7B (4.1GB) или Gemma 2 9B (5.5GB). Они дают более связные и подробные ответы, чем модели на 1-3B параметра, но всё ещё укладываются в требования по памяти для 7B-13B моделей.

Мощный компьютер с 32 ГБ RAM и выше Если оперативной памяти достаточно для моделей 33B по документации Ollama, можно рассмотреть Gemma 2 на 27B параметров (16GB на диске). Такие модели заметно требовательнее к ресурсам, зато выдают более развёрнутые ответы и лучше держат длинный контекст беседы.

Важная оговорка про русский язык Официального единого теста моделей Ollama именно на качество ответов по-русски не существует - открытые источники такого сравнения не дают. На практике качество русского языка у локальных моделей вроде Llama или Gemma может заметно отличаться от их же результатов на английском. Если для бизнес-задачи критично качество именно русскоязычных ответов, стоит сравнить результат локальной модели с облачными чатами - например, можно посмотреть на сервис Qwen в каталоге SHEER Hub и сопоставить ответы на одинаковые запросы. Подробнее о том, как вообще сравнивать текстовые нейросети по качеству русского языка, можно прочитать в материале Текстовая нейросеть: кто пишет по-русски.

Модели для анализа изображений и документов

Если задача - не просто чат, а разбор изображений, сканов или документов с картинками, нужна мультимодальная модель, которая принимает на вход текст и изображение одновременно.

LLaVA Модель LLaVA в библиотеке Ollama описана как модель для работы с текстом и изображениями. Вариант на 7B параметров занимает 4.7GB, вариант на 13B - 8.0GB. Это более старое, но всё ещё рабочее решение для задач вроде описания картинки или ответа на вопрос по содержимому изображения.

Gemma 3 Gemma 3 выпущена в нескольких размерах - 270M, 1B, 4B, 12B и 27B параметров. Не все размеры одинаковы по возможностям: вариант на 1B параметров работает только с текстом (806MB, контекст 32K), а вариант на 4B параметров уже поддерживает и текст, и изображения - весит 3.4GB и держит контекст 128K токенов. Если нужна именно работа с картинками, версию 1B брать бессмысленно - нужна 4B или крупнее.

На что обратить внимание при выборе мультимодальной модели

• Проверяй в карточке модели, указано ли “Text, Image” - это признак поддержки изображений.
• Более крупный контекст (например, 128K у Gemma 3 4B) полезен, если нужно анализировать длинные документы целиком, а не по частям.
• Мультимодальные модели обычно весят больше текстовых аналогов того же семейства, учитывай это при расчёте места на диске.

Как установить Ollama и запустить первую модель

Процесс не требует специальных навыков программирования, но пара технических деталей всё же важна.

Windows Для Windows официально поддерживается Windows 10 22H2 или новее, редакции Home или Pro. Установка не требует прав администратора, что упрощает процесс на рабочих и корпоративных компьютерах с ограниченными правами пользователя. Под сам установочный файл нужно не менее 4GB свободного места, а на модели - отдельно, поскольку загруженные языковые модели могут занимать от десятков до сотен гигабайт в зависимости от того, сколько моделей ты скачаешь.

macOS и Linux Открытые источники Ollama не приводят отдельную детальную таблицу системных требований для macOS и Linux, сопоставимую с тем, что опубликовано для Windows. На практике процесс установки на этих системах тоже не требует особых прав и сводится к загрузке дистрибутива с официального сайта, но точных цифр по минимальной версии ОС и объёму диска для macOS и Linux в проверенных источниках нет - стоит свериться с актуальной документацией перед установкой.

Шаги после установки

1. Установить Ollama с официального сайта под свою операционную систему.
2. Открыть терминал и выполнить команду вида ollama run llama3.2, подставив название нужной модели.
3. Дождаться загрузки модели - время зависит от размера файла и скорости интернета.
4. Проверить список установленных моделей командой ollama list, если планируешь работать с несколькими моделями одновременно.
5. При необходимости подключить модель через локальный REST API к собственному скрипту или внутреннему инструменту.

Если после установки выясняется, что модель отвечает медленно или память компьютера не справляется, логичный шаг - вернуться к таблице размеров моделей и выбрать вариант меньше, а не пытаться сразу тянуть крупную модель на слабом железе.