Станция 04 · подробно
Какой нужен компьютер
Потянет ли компьютер модель, решают три вещи: память видеокарты, оперативная память и место на диске. Ниже — как узнать, что стоит у вас, и как прикинуть, поместится ли модель, ещё до скачивания.
Что решает
Память видеокарты — главное. Модель отвечает быстро, только когда целиком помещается в неё. Если не помещается, часть уходит в оперативную память, и скорость падает в разы.
Оперативная память — запасной вариант и единственный, если видеокарты нет. На процессоре модели работают, но заметно медленнее. На компьютерах Apple с собственными чипами память общая: она служит и оперативной, и видеопамятью сразу.
Место на диске — каждая модель занимает от сотен мегабайт до десятков гигабайт. На SSD она загружается быстрее, чем с обычного жёсткого диска.
Как узнать, что у вас стоит
Windows
- Нажмите
Ctrl + Shift + Esc, откроется диспетчер задач. - Перейдите на вкладку «Производительность» и выберите «Графический процессор».
- Строка «Выделенная память графического процессора» — это память видеокарты. Объём оперативной памяти — в разделе «Память» на той же вкладке.
Если графических процессоров два, смотрите на тот, у которого выделенной памяти больше: второй обычно встроенный. Если выделенной памяти всего несколько сотен мегабайт, отдельной видеокарты нет, и модели пойдут на процессоре.
macOS
Меню Apple → «Об этом Mac». Там указаны чип и объём памяти. На чипах Apple эта память общая: моделям достаётся та же, что и остальным программам, поэтому оставляйте запас.
Linux
# видеокарта NVIDIA и её память
nvidia-smi
# оперативная память
free -h
# какая видеокарта стоит
lspci | grep -iE "vga|3d"Поместится ли модель
Если файл модели перед глазами. Модель в формате GGUF занимает в памяти примерно столько, сколько весит её файл. Сверху нужен запас под контекстное окно: чем длиннее разговор и приложенные документы, тем больше. Оставляйте ещё хотя бы пару гигабайт на систему и другие программы.
Если известно только название. Число с буквой B в названии — это параметры в миллиардах. Умножьте его на число бит на один вес и разделите на 8 — получите гигабайты. Сколько бит, подсказывает квантизация: цифра после буквы Q в имени файла, например Q4 или Q8.
| Параметров | 4 бита (Q4) | 8 бит (Q8) | 16 бит, без сжатия |
|---|---|---|---|
| 1 млрд | 0,5 | 1 | 2 |
| 3 млрд | 1,5 | 3 | 6 |
| 8 млрд | 4 | 8 | 16 |
| 14 млрд | 7 | 14 | 28 |
| 32 млрд | 16 | 32 | 64 |
| 70 млрд | 35 | 70 | 140 |
Посчитать для своей модели
4 ГБ 8 × 4 ÷ 8
Считается так же, как в таблице выше: параметры × биты ÷ 8.
Это чистая арифметика, без запаса под разговор. Настоящие файлы обычно немного больше: часть весов хранят точнее, чем написано в названии. Точнее посчитать с учётом длины контекста помогает калькулятор памяти для GGUF на Hugging Face.
Как читать результат: поместилось в видеокарту — модель будет отвечать быстро. Не поместилось, но вместе с оперативной памятью хватает — запустится медленнее. Не хватает и вместе — берите модель поменьше или сильнее сжатую.
Какие видеокарты подходят
| Что стоит | Как программы его используют |
|---|---|
| NVIDIA | Технология CUDA. Поддерживается шире всего, почти любая программа из справочника работает с ней без лишних настроек. |
| AMD | ROCm (HIP) или Vulkan. llama.cpp и Ollama умеют оба способа; на части видеокарт работает только Vulkan. |
| Intel | SYCL, Vulkan или OpenVINO, в зависимости от программы. Поддержка есть в llama.cpp. |
| Чипы Apple | Metal. Для llama.cpp компьютеры Apple — одна из основных платформ, по словам его авторов. |
| Без видеокарты | Работа на процессоре прямо заявлена у KoboldCpp, LocalAI и GPT4All, а llama.cpp делит модель между процессором и видеокартой. Подходят небольшие модели и терпение. |
Что пишут разработчики программ
Требования с официальных страниц, проверено 26 октября 2026 года. Они меняются, поэтому перед установкой загляните по ссылке.
- LM Studio (страница требований). Mac — только на чипах Apple, macOS 14 и новее, рекомендуют от 16 ГБ памяти; на 8 ГБ — только небольшие модели. Windows на x64 и ARM — процессор с поддержкой AVX2, рекомендуют от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти. Linux — x64 и ARM64, Ubuntu 20.04 и новее.
- Ollama для Windows (документация). Windows 10 22H2 и новее; для NVIDIA — драйвер 551.61 и новее; для AMD — драйверы с ROCm v7 или Vulkan. Сама программа занимает около 4 ГБ, модели — от десятков до сотен гигабайт.
- Jan (описание на GitHub). macOS 13.6 и новее; ориентиры по памяти от разработчиков: 8 ГБ — для моделей на 3 млрд параметров, 16 ГБ — на 7 млрд, 32 ГБ — на 13 млрд.
- Fooocus (описание на GitHub). Для картинок минимум — 4 ГБ видеопамяти NVIDIA.
Видеомоделям нужно больше всего памяти. Сколько просит каждая и что выбрать под свою видеокарту, собрано на странице «Видео у себя».
Если компьютер слабый
- Начните с маленькой модели на 1–3 млрд параметров в сжатии Q4: она уместится даже в оперативную память ноутбука.
- Возьмите программу, которая по описанию разработчиков работает без видеокарты, — KoboldCpp, LocalAI или GPT4All.
- Попробуйте модель прямо в браузере в разделе Spaces на Hugging Face, ничего не устанавливая, и решите, стоит ли она скачивания.