Станция 04 из 04
Запуск у себя
Модель с открытыми весами можно запустить на своём компьютере. Она не отправит ваши тексты наружу, продолжит работать без интернета и не выставит счёт за обращения. Взамен потребует места на диске, оперативной памяти и терпения. Дома можно не только переписываться с моделью, но и рисовать картинки и делать видео.
Сначала проверьте компьютер
Главный ограничитель — память видеокарты. Модель работает быстро, когда целиком помещается в неё; если не помещается, часть переезжает в оперативную память, и скорость падает в разы. На процессоре без видеокарты модели тоже запускаются, но ответа приходится ждать заметно дольше.
Прикинуть, поместится ли модель, можно по размеру её файла: примерно столько она и займёт в памяти, плюс запас под разговор. Как узнать память своей видеокарты, как считать и что пишут сами разработчики программ, разобрано на отдельной странице.
Для видео памяти нужно больше всего. Сколько просит каждая видеомодель, собрано на странице «Видео у себя».
Четыре программы для начала: три для текста и одна для картинок и видео. Различаются они не качеством, а тем, сколько вы готовы возиться.
-
01
LM Studio
Обычное приложение с окном: поиск моделей, скачивание и чат, всё мышкой и без терминала. Подсказывает, какие модели поместятся в вашу память. Кому подойдёт: тем, кто хочет попробовать сегодня и без чтения инструкций.
-
02
Ollama
Запускает модель одной командой в терминале и сам скачивает всё нужное. Держит при этом локальный сервер, к которому могут обращаться другие программы, поэтому Ollama часто выбирают как основу для своих поделок. Кому подойдёт: тем, кого не пугает командная строка.
-
03
llama.cpp
Движок, на котором построено большинство домашних программ для запуска моделей. Даёт полный контроль над всеми параметрами, работает почти на любом железе, есть готовые сборки. Кому подойдёт: тем, кто хочет разобраться, как всё устроено внутри.
-
04
ComfyUI
Картинки и видео: схема из блоков, соединённых линиями, и готовые шаблоны для открытых моделей Wan, LTX, HunyuanVideo и других. Есть приложение Comfy Desktop для Windows, macOS и Linux. Кому подойдёт: тем, кто хочет делать видео и картинки у себя и готов вечер привыкать к интерфейсу.
Первая модель в LM Studio
- Скачайте программу с официального сайта lmstudio.ai и установите как обычное приложение. Есть версии для Windows, macOS и Linux.
- Откройте поиск моделей внутри программы. Начните с небольшой модели в формате GGUF: программа отмечает, какие варианты поместятся в память вашего компьютера.
- Скачайте выбранный файл, загрузите модель и пишите в чат, как в любом чат-боте.
Интернет нужен только для скачивания. Дальше LM Studio, по словам разработчиков, работает полностью без сети.
Первая модель в Ollama
- Скачайте установщик со страницы ollama.com/download. Там же есть команда установки для терминала.
- Выберите модель в каталоге ollama.com/search и запомните её имя.
- Откройте терминал и выполните команду с этим именем. При первом запуске Ollama сама скачает модель, а потом откроет чат прямо в терминале.
ollama run имя-моделиЧтобы общаться в окне, а не в терминале, к Ollama подключают отдельный интерфейс, например Open WebUI.
Первая модель в llama.cpp
- Возьмите готовую сборку для своей системы на странице выпусков или воспользуйтесь установщиком с llama.app.
- Найдите модель в формате GGUF на Hugging Face. Её адрес выглядит как
организация/название-GGUF. - Запустите чат в терминале или локальный сервер со встроенным веб-интерфейсом. Модель скачается сама.
llama cli -hf организация/название-GGUF
llama serve -hf организация/название-GGUFКоманды взяты из описания проекта на GitHub. Если модель не помещается целиком, llama.cpp держит часть в видеокарте, а остальное в оперативной памяти.
Первое видео в ComfyUI
- Скачайте приложение Comfy Desktop со страницы comfy.org/download и установите как обычную программу. Есть версии для Windows 10 и новее, macOS на чипах Apple и Linux; Python и всё нужное для видеокарты приложение поставит само.
- Откройте шаблоны: значок «Templates» на боковой панели или меню Workflow → Browse Workflow Templates, раздел Video. Для первого раза разработчики ComfyUI предлагают Wan 2.2 5B — по их словам, она помещается в 8 ГБ видеопамяти.
- ComfyUI сама проверит, все ли файлы модели на месте, и предложит скачать недостающие. Напишите запрос и нажмите Run.
Другие способы установки, какие видеомодели бывают, кто их выпустил и что потянет ваша видеокарта, — на странице «Видео у себя».
Как не навредить себе
- Скачивайте программы только с официальных сайтов и страниц проектов на GitHub. Авторы KoboldCpp, например, прямо предупреждают о поддельном сайте, который выдаёт себя за их проект.
- Команды установки вида «скачать скрипт и сразу выполнить» запускайте, только если адрес совпадает с указанным на официальной странице. Везде, где можно, есть обычный установщик.
- Модели берите у известных организаций и смотрите на лицензию. Как читать карточку модели, разобрано на станции «Где брать».
Справочник программ: что ещё бывает для запуска у себя
Сведения о системах и лицензиях взяты из описаний проектов на GitHub и с официальных сайтов 26 октября 2026 года. Рейтинга нет: порядок внутри групп ничего не значит.
Приложения с окном
-
LM Studio
Поиск, скачивание и чат в одном окне. Отмечает модели, которые поместятся в память. Умеет работать как локальный сервер для других программ.
-
Jan
Открытое приложение для чата с локальными моделями, работает без интернета. Модели скачиваются с Hugging Face прямо из программы.
-
KoboldCpp
Один исполняемый файл без установки: скачали, открыли, выбрали модель GGUF. Работает на процессоре или видеокарте, есть сборки для старых компьютеров. Подходит и для чата, и для совместного сочинения историй.
-
TextGen (text-generation-webui)
Давний проект для опытных: много движков, тонкие настройки, расширения. Есть переносные сборки «скачал, распаковал, запустил» для разных видеокарт и для процессора.
-
AnythingLLM
Приложение для работы со своими документами: загружаете файлы и задаёте по ним вопросы. Может запускать модели само или подключаться к Ollama и LM Studio.
-
GPT4All
Одно из первых приложений для домашнего запуска, работает и без видеокарты. Учтите: в репозитории проекта нет изменений с мая 2025 года.
Движки и серверы
-
Ollama
Модели скачиваются по имени одной командой, локальный сервер поднимается сам. Многие программы из этого списка умеют к нему подключаться.
-
llama.cpp
Открытый движок на C/C++. Работает с видеокартами NVIDIA, AMD и Intel и с компьютерами Apple, умеет делить модель между видеокартой и оперативной памятью. Есть готовые сборки и локальный сервер.
-
LocalAI
Сервер «всё в одном»: текст, изображения, голос. Сам определяет видеокарту и докачивает нужные части, работает и без видеокарты. Удобен тем, кто привык к Docker.
-
vLLM
Движок для серверов: рассчитан на то, чтобы одна модель быстро отвечала многим пользователям сразу. Для домашнего чата избыточен, но часто встречается в статьях, поэтому он здесь.
Веб-интерфейсы
-
Open WebUI
Окно чата в браузере поверх Ollama или любого сервера с совместимым интерфейсом. Похоже на привычные облачные чат-боты, только всё работает у вас.
Изображения
-
ComfyUI
Генерация картинок и видео через схему из блоков, соединённых линиями. Сначала непривычно, зато виден и настраивается каждый шаг. Есть приложение Comfy Desktop для Windows, macOS и Linux. Установка, первое видео и видеомодели — на странице «Видео у себя».
-
Invoke
Генерация и доработка изображений в собственном интерфейсе. Ставится через программу установки для Windows, macOS на чипах Apple и Linux.
-
Stable Diffusion web UI
Классический интерфейс AUTOMATIC1111, по которому написано множество руководств. Для установки нужны Python и git. Последние изменения в репозитории — март 2026 года.
-
Fooocus
Максимально простой: пишете запрос и получаете картинку без настроек. Работает только с моделями SDXL; по словам авторов, проект в режиме ограниченной поддержки и выходят лишь исправления ошибок.
Речь
-
whisper.cpp
Распознавание речи моделью Whisper без Python. Работает на процессоре, на компьютерах Apple ускоряется встроенной графикой, поддерживает видеокарты NVIDIA и AMD.
-
faster-whisper
Ускоренная версия Whisper для тех, кто пишет на Python. По данным авторов, до четырёх раз быстрее исходной при той же точности и экономнее по памяти. Для работы на видеокарте нужны библиотеки NVIDIA.
Чего ожидать
Модель, запущенная дома, скорее всего окажется слабее того чат-бота, к которому вы привыкли: в облаке работают версии, которые не поместятся ни в один домашний компьютер. Это нормальная цена за независимость.
Зато она не уйдёт на техническое обслуживание, не сменит условия и не передаст ваш текст третьей стороне. Для черновиков, переписки, разбора личных документов и расшифровки записей этого часто более чем достаточно.
Начать проще всего с небольшой модели в формате GGUF; что это такое, объяснено на станции основ.
Маршрут пройден
Вернуться к каталогу моделей