Открытые и закрытые модели: что выбрать

Короткий ответ: выбор не про качество и не про цену. Он про то, где выполняется вычисление и кто решает, когда модель изменится.

Закрытая — это услуга: доступ по ключу, обновления на стороне поставщика, данные уходят к нему. Открытая — это файл с весами: вы запускаете где хотите, версия не меняется без вашего участия, данные остаются у вас.

Из этого и следует, кому что подходит.

Четыре признака выбора

По убыванию того, как часто они решают.

Куда уходят данные. Для персональных данных это не удобство, а условие допуска: отправка в зарубежный сервис — трансграничная передача со своими требованиями. Практическая граница — если по фрагменту можно понять, о ком речь, он не уезжает наружу.

Кто решает, когда модель изменится. Поставщик обновляет модель под тем же именем — и ваш контур меняет поведение без единой правки у вас. Диагностировать это без записанной версии почти невозможно; регрессии в промптах ровно про это. С открытыми весами версия меняется только когда вы её меняете.

Срок службы. Закрытая модель может быть снята с обслуживания. Открытая останется работать столько, сколько вы её храните, — и это единственный способ гарантировать, что через три года контур запустится.

Качество на вашей задаче. Разрыв между верхними закрытыми и лучшими открытыми сохраняется, но он неравномерен: на разборе документов и структурированном выводе разница мала, на длинных рассуждениях — заметна. Меряется только своим набором примеров.

Цена в этом списке отсутствует намеренно — о ней ниже.

Почему цена не первый признак

Потому что открытая модель не значит дешёвая. Я считал это на реальных ценах аренды: при одиночном потоке миллион токенов на арендованной видеокарте обходится дороже, чем у большинства облачных провайдеров, — выигрыш появляется только при плотной круглосуточной загрузке, а её почти ни у кого нет. Расчёт целиком.

Поэтому «сэкономим, поставив открытую» — почти всегда ошибка ожиданий. Экономия бывает, но она следствие, а не причина выбора.

Что значит «открытая» на самом деле

Слово скрывает три разные вещи, и их полезно различать.

Открытые веса. Файл можно скачать и запускать. Это то, что имеют в виду в девяти случаях из десяти.

Открытая лицензия. Разрешено ли коммерческое использование, есть ли ограничения по числу пользователей, обязательно ли указывать происхождение. Лицензии заметно различаются, и «открытая» не значит «делай что хочешь».

Открытые данные обучения. Встречается редко. На практике почти никогда не влияет на решение, но именно это отличает по-настоящему открытую модель от просто выложенных весов.

Читать надо лицензию, а не заголовок новости.

Гибрид, который обычно и получается

На практике редко выбирают одно. Рабочая схема: чувствительное — на своих мощностях, остальное — в облаке.

Разбор документов с персональными данными идёт на открытой модели внутри периметра. Формулировка ответа, где данных уже нет, — в облаке на сильной закрытой. Граница проходит по данным, а не по сложности задачи.

Это тот же приём, что и в маршрутизации моделей по ролям: под каждый шаг своя, и вопрос «какая модель» задан неправильно, пока не задан вопрос «какому шагу» — подробнее.

Условие несогласия

Если персональных данных нет, объём небольшой и контур не критичен — берите закрытую и не думайте. Все преимущества открытых в такой ситуации не реализуются, а эксплуатация ляжет на вас настоящим весом.

Признак, что пора смотреть на открытые: появилось хотя бы одно из трёх — персональные данные, требование фиксированной версии, необходимость работать без интернета.

Чего я делать не стал бы

Не стал бы выбирать открытую ради экономии, не посчитав загрузку. Без плотного потока вы платите за простой видеокарты.

Не стал бы считать, что открытая модель снимает вопросы безопасности. Она снимает вопрос трансграничной передачи и не снимает инъекции в промпт: протокол доступа к данным здесь ни при чём.

Не стал бы привязываться к одной закрытой модели без слоя абстракции. День, потраченный на возможность переключиться, окупается при первом же изменении условий поставщика.

Открытый вопрос

Аргумент «фиксированная версия» звучит убедительно и имеет обратную сторону, о которой говорят реже: зафиксировав веса, вы перестаёте получать улучшения. Через год ваша модель работает так же, а закрытая за то же время стала заметно лучше при той же цене.

Где здесь равновесие — предсказуемость против прогресса, — я не знаю, и подозреваю, что общего ответа нет: он зависит от того, насколько быстро меняются ваши требования. Практически я держу открытую там, где данные не выпускают наружу, и закрытую везде, где можно, — но это не расчёт, а компромисс.