Английский промпт ради экономии токенов
Инструкция на английском занимает вдвое меньше токенов, чем на русском. На системной части это заметные деньги — и заметный риск для регистра ответа.
Простая арифметика, следующая из того, как устроена токенизация: одна и та же инструкция на английском занимает примерно вдвое меньше токенов, чем на русском. Для системной части, которая едет в каждом вызове, это прямая и постоянная экономия.
Приём известный, и он работает. Но у него есть цена, о которой обычно не предупреждают.
Первое: язык инструкции подтягивает язык ответа. Английский системный промпт при русском запросе даёт ответ на русском в большинстве случаев, но не во всех, и «не во всех» вылезет в проде на редком входе. Лечится явным требованием отвечать по-русски — которое, конечно, само занимает токены.
Второе, менее очевидное: регистр. Русский текст, порождённый под англоязычной инструкцией, чаще получается калькированным — с оборотами, которые формально верны и нехарактерны для живого русского. На коротких ответах незаметно, на длинных читается сразу.
Третье: перевод инструкции — это переформулирование, а вместе с ним теряются оттенки, которые вы в русскую версию вкладывали. «Разбери», «разложи» и «проанализируй» уедут в одно и то же английское слово.
Как я делю на практике. Технические, структурные части — описание схемы, формат, список полей — пишу по-английски, там оттенков нет и экономия чистая. Всё, что касается тона, стиля и предметной области, оставляю по-русски и плачу за это токенами сознательно.