15 5 мин
Регрессии в промптах: сравнивать надо свойства, а не текст
Промпт — это код, у которого по умолчанию нет ни тестов, ни диффа. Разбираю, почему обычное сравнение ответов не работает и что класть в журнал прогона вместо него.
записи последняя — 3 сентября 2026 г.
страница 3 из 4
Записи
Длинные разборы того, что я собирал сам: устройство, места отказа и выводы, которые пережили практику.
-
- 14 6 мин
Метрики поиска без магии: почему recall@k врёт на уровне документов
Метрика растёт, ответы не улучшаются. Разбираю, почему считать надо по кускам, и показываю на измерении собственного корпуса, что делает с текстом фиксированная нарезка.
- 13 6 мин
Модель-судья: что она ловит и что пропускает
Судья совпадает с человеком примерно так же часто, как человек совпадает с человеком. Проблема не в проценте совпадений, а в том, что его ошибки систематические.
- 12 7 мин
Двадцать примеров: почему их хватает и когда не хватает
Совет «соберите двадцать примеров для оценки» звучит как выдумка. Я посчитал: он верен, но по причине, которую обычно не называют, — и у него есть слепая зона.
- 11 9 мин
Сколько на самом деле стоит вызов модели
Цена за миллион токенов — наименее информативное число в счёте. Разбираю, из чего складывается стоимость задачи: многословность, разреженная активация, кеш, кадры и язык. С измерениями.
- 10 4 мин
Формат ответа — это интерфейс, а не пожелание
Почему «ответь в JSON» ненадёжно, что дают схемы и структурированный вывод, и как обращаться с полем, которого модель не знает.
- 09 4 мин
Эмбеддинги: что они меряют и чего не меряют
Близость векторов — это не близость смысла в том виде, в каком её понимает человек. Разбираю, где расходится, почему поиск находит не то и что с этим делать.
- 08 3 мин
Температура, top-p и почему воспроизводимости не бывает
Как модель на самом деле выбирает следующий токен, что делают ручки сэмплирования и почему нулевая температура не даёт гарантии повторяемости.