Внимание и трансформер: что происходит внутри модели
Механизм внимания без формул: как модель решает, какие слова во входе связаны между собой, почему длинный контекст дорожает квадратично и что из этого следует на практике.
Длинные разборы того, что я собирал сам: устройство, места отказа и выводы, которые пережили практику.
Механизм внимания без формул: как модель решает, какие слова во входе связаны между собой, почему длинный контекст дорожает квадратично и что из этого следует на практике.
Сэкономленные часы — не эффект, а оценка. Разбираю, что мерить до запуска, какие три числа снимать в работе и почему экономия времени редко превращается в деньги.
Картинка превращается в те же токены, что и текст, — отсюда и возможности, и ограничения. Разбираю, что модель со зрением делает хорошо, что плохо и во что это обходится.
Не «автоматизируем всё», а три конкретные формы задач, где агент окупается. И признак, по которому видно, что задача четвёртая — то есть не для агента.
Ускоряется набор кода, не ускоряется его приёмка. Разбираю, на каких задачах выигрыш подтверждается, где он мнимый и что меняется в работе команды.
Модель пишет быстро и одинаково. Разбираю, на каких задачах это выигрыш, на каких убыток, и почему правка чужого черновика иногда дороже написания своего.
За одной фразой стоят три разные работы разной стоимости. Разбираю, какая из них вам нужна, сколько примеров требуется и почему «загрузить документы» — не обучение.
Сначала вопрос, нужна ли отдельная база: до сотни тысяч фрагментов хватает расширения к обычной. Разбираю, по каким признакам выбирать и что решает не база.