Промпт-инъекции: почему от них нельзя защититься промптом
Инструкции и данные едут в модель одной строкой, и различить их она не умеет. Разбираю, почему фильтры дают ложное спокойствие и что реально ограничивает ущерб.
Агентные системы, оркестрация, границы ответственности и связка человека с агентом.
Инструкции и данные едут в модель одной строкой, и различить их она не умеет. Разбираю, почему фильтры дают ложное спокойствие и что реально ограничивает ущерб.
Разбор travel-каталога, где нейросеть подбирает места и порядок обхода, но ни одного числа не считает: почему роли разделены именно так, чем доказывается фотография места, как проверяется вид транспорта на отрезке и что из этого ломалось на проде.
Что меняется, когда агент выходит из терминала на десктоп и получает доступ к файлам, командам и чужим окнам: по какому признаку делить права, чем эти права обеспечены на самом деле, что подтверждать и что журналировать. На примере Faber — программы, которую я строю сам.
Судья совпадает с человеком примерно так же часто, как человек совпадает с человеком. Проблема не в проценте совпадений, а в том, что его ошибки систематические.
Модель не помнит прошлый разговор и не читает контекст равномерно. Разбираю, что она видит на самом деле и как из этого следуют вполне практические правила.
Почему просьба «внедрить ИИ» не превращается в задачу, что приходит ей на замену и как выглядит проверка, которую контур может провалить.
Ответственность не делится с инструментом. Разбираю рабочую модель: владелец результата, журнал действий, точка принятия — и что писать в регламенте, чтобы это не осталось словами.
Где ускорение от кодовых агентов реальное, где мнимое, почему граница проходит по стоимости приёмки и какой навык становится дефицитным.
Разница не в модели и не в интерфейсе, а в том, кто решает следующий шаг. У бота сценарий задан заранее, у агента — выбирается на ходу.
Подтверждение стоит пять секунд ожидания. Разбор последствий необратимой операции стоит вечер. Симметрии между ними нет и не будет.
Почему один хорошо написанный файл с правилами проекта даёт больший прирост качества, чем переход на модель поновее — и когда это перестаёт быть правдой.
Не «протокол для подключения инструментов», а место, где вы решаете, что агенту можно, а что нет — и почему такая рамка ускоряет принятие решений.
Нестандартный вход приходит не равномерно, а пачками после пауз. Отсюда следует, что тестировать контур на среднем дне бессмысленно.
Семантическая разметка перестала быть вопросом доступности и SEO: теперь по дереву доступности ходят агенты, и цена небрежности выросла.