Запустите промпт трижды
Самая дешёвая диагностика, которая существует. Разброс между тремя ответами говорит о задаче больше, чем любой из них по отдельности.
Приём на тридцать секунд, который я советую чаще любого другого: прежде чем что-то менять в промпте, запустите его три раза без изменений.
Дальше смотрите не на качество, а на разброс.
Три ответа сошлись по существу и разошлись по формулировкам — задача для модели определённая, и ваш промпт можно править точечно. Три ответа разошлись по выводам — промпт недоопределён, и любая правка, сделанная по одному ответу, будет подгонкой под случайность.
Чаще всего это ловит одну и ту же ошибку: человек увидел плохой ответ, переписал промпт, увидел хороший и решил, что починил. А промпт и до правки давал хороший ответ в двух случаях из трёх — просто первым выпал плохой.
Второе применение — приёмка. Если функция уходит в продакшен, разброс на трёх прогонах показывает, что увидят пользователи, а не что увидели вы на демонстрации. Ответ, который вы показывали руководству, — один образец из распределения.
Стоит это ровно втрое дороже одного вызова, то есть на этапе разработки — ничего.
Предел приёма понятный: три прогона показывают неустойчивость, но не доказывают устойчивость. Совпавшие трижды ответы могут разойтись на четвёртом, особенно если задача редкая, а вход длинный. Для настоящей проверки нужен набор примеров; три прогона — это не он, это способ за полминуты понять, стоит ли вообще править промпт.