4 мин
Внедрение ИИ в компании: с чего начать
Разбор с обратной стороны: почему пилоты не доживают до продакшена, какой процесс брать первым и по какому признаку понять, что внедрять пока нечего.
33 материалов
Процессы и методология
Как встроить ИИ в работу команды: регламенты, проверки, точки остановки, приёмка.
-
- 4 мин
Какую нейросеть выбрать под задачу
Процедура выбора из четырёх шагов вместо сравнения бенчмарков: что должно быть решено до модели, по какому признаку сравнивать и когда переходить на другую.
- 5 мин
Промпт-инъекции: почему от них нельзя защититься промптом
Инструкции и данные едут в модель одной строкой, и различить их она не умеет. Разбираю, почему фильтры дают ложное спокойствие и что реально ограничивает ущерб.
- 5 мин
Промпт-инжиниринг: какие приёмы работают, а какие нет
Разбор приёмов по величине эффекта: что действительно меняет ответ, что меняет только его форму и что попало в подборки по инерции. С проверяемыми признаками.
- 4 мин
Дообучение, RAG или промпт: что выбрать под задачу
Три способа получить от модели нужное поведение решают разные задачи и путать их дорого. Разбираю, что меняет каждый, и почему дообучение почти никогда не про факты.
- 5 мин
Галлюцинации нейросети: почему модель уверенно врёт и что реально помогает
Модель не отличает знание от правдоподобия — она продолжает текст. Разбираю три источника выдумок, приёмы, которые работают, и просьбу «не выдумывай», которая не работает.
- 5 мин
Оценка на глаз: единственное, что ловит новые ошибки
Автоматика измеряет то, что вы уже придумали измерять. Разбираю, почему двадцать минут чтения выдачи руками не заменяются метриками и как читать, чтобы это было работой, а не ритуалом.
- 5 мин
Регрессии в промптах: сравнивать надо свойства, а не текст
Промпт — это код, у которого по умолчанию нет ни тестов, ни диффа. Разбираю, почему обычное сравнение ответов не работает и что класть в журнал прогона вместо него.
- 6 мин
Метрики поиска без магии: почему recall@k врёт на уровне документов
Метрика растёт, ответы не улучшаются. Разбираю, почему считать надо по кускам, и показываю на измерении собственного корпуса, что делает с текстом фиксированная нарезка.
- 6 мин
Модель-судья: что она ловит и что пропускает
Судья совпадает с человеком примерно так же часто, как человек совпадает с человеком. Проблема не в проценте совпадений, а в том, что его ошибки систематические.
- 7 мин
Двадцать примеров: почему их хватает и когда не хватает
Совет «соберите двадцать примеров для оценки» звучит как выдумка. Я посчитал: он верен, но по причине, которую обычно не называют, — и у него есть слепая зона.
- 9 мин
Сколько на самом деле стоит вызов модели
Цена за миллион токенов — наименее информативное число в счёте. Разбираю, из чего складывается стоимость задачи: многословность, разреженная активация, кеш, кадры и язык. С измерениями.
- 4 мин
Формат ответа — это интерфейс, а не пожелание
Почему «ответь в JSON» ненадёжно, что дают схемы и структурированный вывод, и как обращаться с полем, которого модель не знает.
- 4 мин
Эмбеддинги: что они меряют и чего не меряют
Близость векторов — это не близость смысла в том виде, в каком её понимает человек. Разбираю, где расходится, почему поиск находит не то и что с этим делать.
- 3 мин
Температура, top-p и почему воспроизводимости не бывает
Как модель на самом деле выбирает следующий токен, что делают ручки сэмплирования и почему нулевая температура не даёт гарантии повторяемости.
- 4 мин
Контекстное окно — это не память
Модель не помнит прошлый разговор и не читает контекст равномерно. Разбираю, что она видит на самом деле и как из этого следуют вполне практические правила.
- 5 мин
Почему кириллица стоит дороже
Один и тот же текст на русском обходится в заметно большее число токенов, чем на английском. Разбираю, откуда берётся разница, во что она обходится и что с ней делать.
- 12 мин
Рабочий контур вместо «внедрить ИИ»
Почему просьба «внедрить ИИ» не превращается в задачу, что приходит ей на замену и как выглядит проверка, которую контур может провалить.
- 6 мин
Кто отвечает за результат, если работу сделал агент
Ответственность не делится с инструментом. Разбираю рабочую модель: владелец результата, журнал действий, точка принятия — и что писать в регламенте, чтобы это не осталось словами.
- 6 мин
База знаний, которая действительно ищется
Почему семантический поиск не спасает плохо устроенную базу: где теряется качество, что делает нарезка, зачем нужен реранкер и как измерять, стало ли лучше.
- 5 мин
Автоматизация без фанатизма: что не надо трогать
Признаки, по которым процесс лучше оставить человеку, почему упрощение обычно выигрывает у интеграции и как считать стоимость владения до начала работ.
-
Что нельзя отправлять в облачную нейросеть
Отправка персональных данных в зарубежный сервис — это трансграничная передача со своими требованиями. Разбираю практическую границу и что делать, если данные всё-таки нужны.
-
Английский промпт ради экономии токенов
Инструкция на английском занимает вдвое меньше токенов, чем на русском. На системной части это заметные деньги — и заметный риск для регистра ответа.
-
Оценка уверенности почти не калибрована
Попросить модель приписать ответу «уверенность 85%» легко. Считать это число вероятностью нельзя: оно отражает уверенность формулировки, а не знания.
-
Спросить дешевле, чем откатить
Подтверждение стоит пять секунд ожидания. Разбор последствий необратимой операции стоит вечер. Симметрии между ними нет и не будет.
-
Просите агента писать в файл, а не в чат
Ответ в переписке нельзя ни продиффить, ни прокомментировать построчно. Файл превращает разговор в работу с версиями.
-
Запустите промпт трижды
Самая дешёвая диагностика, которая существует. Разброс между тремя ответами говорит о задаче больше, чем любой из них по отдельности.
-
Системный промпт — это налог на каждый вызов
Он растёт незаметно: правило за правилом, случай за случаем. Через полгода половина его содержимого относится к ситуациям, которых больше не бывает.
-
Запрет работает хуже замены
«Не пиши вводных абзацев» модель выполняет через раз. «Начни с первого факта» — почти всегда. Разница в том, что во втором случае у неё есть что делать.
-
Два примера объясняют формат лучше абзаца
Описание формата словами модель понимает приблизительно. Пара примеров — точно. И третий пример почти ничего не добавляет ко второму.
-
Ролевая преамбула почти ничего не даёт
«Ты — опытный архитектор с двадцатилетним стажем» занимает место в контексте и почти не меняет ответ. Работает не роль, а требования к результату.
-
Три приёма, которые заметно улучшают ответ модели
Уточняющие вопросы до ответа, явное разделение фактов и предположений и стандарт результата прямо в запросе. Первый работает сильнее двух остальных вместе.
-
Двадцать примеров вместо спора о качестве
Самый быстрый способ закончить спор «хорошо или плохо отвечает модель» — разметить руками два десятка случаев. И самая частая находка при этом не про модель.