Заметки
То, что не тянет на разбор, но экономит время: приёмы, инструменты и наблюдения из работы.
-
Чем ИИ-агент отличается от чат-бота
Разница не в модели и не в интерфейсе, а в том, кто решает следующий шаг. У бота сценарий задан заранее, у агента — выбирается на ходу.
-
Зачем нужен реранкер в поиске
Векторный поиск сравнивает вопрос и фрагмент по отдельности, реранкер смотрит на них вместе. Отсюда и разница: он видит отрицание, которое вектор не видит.
-
Что нельзя отправлять в облачную нейросеть
Отправка персональных данных в зарубежный сервис — это трансграничная передача со своими требованиями. Разбираю практическую границу и что делать, если данные всё-таки нужны.
-
Как посчитать токены в тексте
Токен — не слово и не символ. Считать надо токенизатором конкретной модели, и на русском результат отличается от английского примерно в 1.29 раза.
-
Английский промпт ради экономии токенов
Инструкция на английском занимает вдвое меньше токенов, чем на русском. На системной части это заметные деньги — и заметный риск для регистра ответа.
-
Оценка уверенности почти не калибрована
Попросить модель приписать ответу «уверенность 85%» легко. Считать это число вероятностью нельзя: оно отражает уверенность формулировки, а не знания.
-
Спросить дешевле, чем откатить
Подтверждение стоит пять секунд ожидания. Разбор последствий необратимой операции стоит вечер. Симметрии между ними нет и не будет.
-
Именование — это тоже промпт
Агент читает ваш код как контекст. Переменная `data2` и функция `process()` говорят ему ровно столько же, сколько вам, — то есть ничего.