Что такое LLM, большая языковая модель

Короткий ответ: LLM (large language model), или большая языковая модель, — нейросеть, обученная на огромном объёме текста и умеющая его продолжать. Получив начало, она выдаёт правдоподобное продолжение кусок за куском; ответ в чате устроен так же. «Большая» относится к числу настраиваемых весов и объёму обучающих данных, а не к какому-то особому разуму внутри.

Определение через действие мне полезнее определения через устройство. Как модель выбирает следующий кусок, разбирал отдельно, а что при этом происходит внутри — в записи про внимание и трансформер. Здесь важнее следствие: если модель только продолжает текст, из этого прямо видно, чего от неё не стоит ждать.

Знаний после сбора данных. Модель знает мир таким, каким он был в текстах, собранных для обучения. Поставщики публикуют в документации дату, до которой собраны эти данные. О том, что было позже, модель не знает, но продолжение напишет так же уверенно. Свежие факты подают во вход: поиском или документом.

Точного счёта. Число модель видит как несколько токенов, и сложение для неё — тоже продолжение текста, а не вычисление. Крупные модели ошибаются здесь реже, но неверная сумма выглядит так же убедительно, как верная. Если результат должен сходиться до копейки, считает код, а модель решает только, что считать.

Памяти между разговорами. Каждый вызов начинается с нуля. То, что похоже на память, — история, которую клиент заново положил во вход; подробно — в записи «Контекстное окно — это не память».

Рабочее правило, которым я пользуюсь: всё, что модель должна знать на сегодня, посчитать без ошибки или помнить с прошлого раза, я держу снаружи и подаю во вход готовым. Модели остаётся то, что она делает хорошо: разобрать запрос и собрать ответ из поданного. Правило избыточно там, где не нужны ни свежесть, ни точность: переписать письмо или сократить текст модель может без всякой обвязки.

Правило легко забыть в чат-сервисах. Там поиск, выполнение кода и память о прошлых разговорах часто уже подключены, и кажется, что модель умеет всё это сама. Умеет обвязка: стоит вызвать ту же модель из своего кода без инструментов, и все три ограничения возвращаются.