Станция 01 из 04

Основы

Чтобы читать новости про нейросети и не спотыкаться, хватает одиннадцати понятий. Ниже они по порядку: сначала то, из чего модель состоит, потом то, что с ней делают.

Нейросеть
Программа, которая не получила от человека готовых правил, а вывела их сама из множества примеров. Внутри — числа, связанные между собой слоями; обучение подбирает эти числа так, чтобы на знакомых примерах ответы совпадали с правильными. Отсюда её главное свойство: она не знает фактов, а воспроизводит закономерности, которые заметила.
Языковая модель (LLM)
Нейросеть, обученная на огромном объёме текста предсказывать, какое слово идёт следующим. Из этого простого занятия неожиданно вырастает способность отвечать на вопросы, переводить, пересказывать и писать код. Аббревиатура LLM — от английского large language model, «большая языковая модель».
Токен
Кусочек текста, которым модель оперирует вместо буквы или слова. Частое слово обычно занимает один токен, редкое или длинное разбивается на несколько. В токенах измеряют и длину запроса, и стоимость обращения к платным моделям.
  1. Мод
  2. ель
  3. чит
  4. ает
  5. текст
  6. по
  7. кус
  8. оч
  9. кам

Условный пример: так фраза может делиться на токены. Как именно, зависит от модели: у каждой свой словарь токенов.

Контекстное окно
Сколько токенов модель удерживает перед глазами одновременно: ваш вопрос, приложенные документы и весь предыдущий разговор. Что вышло за пределы окна, для модели перестало существовать; отсюда ощущение, что в долгой беседе она «забывает» начало.
Окно

Выбирая следующий кусочек, модель смотрит на всю фразу перед ним.

Нажмите на кусочек: подсвечено то, на что модель могла смотреть, когда его выбирала. Так устроено внимание в трансформерах — схеме, на которой построены GPT, Llama и многие другие языковые модели. Насколько сильно каждый кусочек влияет на выбор, модель вычисляет сама; здесь показано только, что ей видно. Окно в 4 кусочка — условность для примера: настоящие модели удерживают тысячи токенов и больше.

Параметры модели
Те самые числа внутри, подобранные при обучении. Их количество указывают в миллиардах и пишут рядом с названием — например, буква B в имени файла означает billions, миллиарды. Больше параметров обычно означает более способную модель, но и больше памяти, чтобы её запустить.
Открытые веса
Веса — это значения параметров, то есть содержимое обученной модели. Открытые веса означают, что файл можно скачать и запускать у себя. Важная оговорка: открытые веса не то же самое, что открытый исходный код, и почти всегда идут со своей лицензией, ограничивающей способы использования.
Дообучение (fine-tuning)
Доводка готовой модели на небольшом наборе своих примеров, чтобы она заговорила в нужном стиле или разобралась в узкой теме. Обучать модель с нуля стоит как небольшой завод; дообучить существующую — задача, посильная одному человеку с хорошей видеокартой.
RAG
Способ дать модели доступ к вашим документам, не трогая её саму. Запрос сначала уходит в поиск по вашей базе, найденные куски подставляются в контекстное окно, и модель отвечает, опираясь на них. Название — от retrieval-augmented generation, «генерация с подтягиванием источников».
Квантизация
Сжатие модели за счёт огрубления чисел внутри: вместо точных значений хранятся округлённые. Файл уменьшается в несколько раз, модель начинает помещаться в обычную видеокарту, а качество ответов проседает тем заметнее, чем сильнее сжатие.
GGUF
Формат файла, в котором обычно распространяют квантованные модели для запуска на домашнем компьютере. Одна модель — один файл, который понимают llama.cpp, LM Studio и Ollama. Если вы встретили модель в GGUF, значит её уже подготовили для локального запуска.
Промпт
Текст, который вы отправляете модели: вопрос, задание, приложенные данные и указания, как отвечать. Формулировка влияет на результат сильнее, чем кажется, поэтому «переписать промпт» обычно первое, что стоит попробовать, когда ответ не устроил.

Что происходит, когда вы задаёте вопрос

Один и тот же вопрос проходит разный путь — смотря где работает модель.

Чат в интернете

  1. Ваш телефон или компьютер. Вы пишете вопрос в приложении или на сайте чата.
  2. Интернет. Текст вопроса уходит на серверы разработчика.
  3. Дата-центр. Серверы с ускорителями — видеокартами или специальными чипами, на них работает модель.
  4. Модель. Делит вопрос на токены и подбирает ответ по одному токену, каждый раз глядя на всё, что уже написано.
  5. Обратно к вам. Ответ приходит частями, поэтому во многих чатах текст появляется постепенно.

Текст вопроса оказывается на серверах разработчика. Что с ним происходит дальше, написано в правилах конфиденциальности сервиса.

Модель у себя

  1. Ваш компьютер. Вы пишете вопрос в программе для локального запуска, например LM Studio или Jan.
  2. Видеокарта или процессор. Модель, скачанная заранее, считает ответ тут же — теми же токенами.
  3. Ответ на экране. Интернет для этого не нужен, только один раз — чтобы скачать модель.

Вопрос не покидает компьютер. Как быстро придёт ответ, зависит от видеокарты — об этом страница «Какой нужен компьютер».

Перейти к каталогу