Двадцать примеров вместо спора о качестве
Самый быстрый способ закончить спор «хорошо или плохо отвечает модель» — разметить руками два десятка случаев. И самая частая находка при этом не про модель.
Спор о качестве ответов бесконечен, пока обсуждают впечатления. Он заканчивается за час, если взять двадцать реальных входов и руками записать ожидаемый выход.
Почему именно так, а не через общие критерии: критерии обсуждаются абстрактно и все с ними соглашаются, потому что каждый подставляет свой пример. Двадцать конкретных пар не оставляют такой возможности.
Двадцать — не магическое число. Это порог, после которого начинают повторяться классы случаев, и при этом разметка ещё умещается в один заход. Если после двадцати новые классы всё ещё появляются, это само по себе результат: задача разнообразнее, чем предполагалось, и оценивать её придётся иначе.
Что обычно находится, в порядке частоты:
Разногласие внутри команды. Два человека размечают по-разному, и выясняется, что «правильный ответ» никогда не был определён. Эта находка дороже всей остальной разметки, и лучше получить её до запуска.
Случаи, которых нет в постановке. Пустой вход, вход на другом языке, вход, где вопрос задан дважды по-разному. В требованиях их не было, в реальности они есть.
Собственно качество модели. Обычно на третьем месте и обычно приемлемое.
Разметку стоит делать до написания промпта, а не после. После — вы неизбежно размечаете под то, что уже получилось.