Какую нейросеть выбрать под задачу
Процедура выбора из четырёх шагов вместо сравнения бенчмарков: что должно быть решено до модели, по какому признаку сравнивать и когда переходить на другую.
Длинные разборы того, что я собирал сам: устройство, места отказа и выводы, которые пережили практику.
Процедура выбора из четырёх шагов вместо сравнения бенчмарков: что должно быть решено до модели, по какому признаку сравнивать и когда переходить на другую.
Инструкции и данные едут в модель одной строкой, и различить их она не умеет. Разбираю, почему фильтры дают ложное спокойствие и что реально ограничивает ущерб.
Посчитал стоимость миллиона токенов на арендованной видеокарте и сравнил с ценами API. Результат неожиданный: по деньгам локальная модель почти никогда не выигрывает.
Разбор приёмов по величине эффекта: что действительно меняет ответ, что меняет только его форму и что попало в подборки по инерции. С проверяемыми признаками.
Три способа получить от модели нужное поведение решают разные задачи и путать их дорого. Разбираю, что меняет каждый, и почему дообучение почти никогда не про факты.
RAG — это поиск плюс подстановка найденного в запрос. Разбираю, из чего он состоит, где ломается каждое звено и почему на небольшой базе он только вредит.
Модель не отличает знание от правдоподобия — она продолжает текст. Разбираю три источника выдумок, приёмы, которые работают, и просьбу «не выдумывай», которая не работает.
Разбор travel-каталога, где нейросеть подбирает места и порядок обхода, но ни одного числа не считает: почему роли разделены именно так, чем доказывается фотография места, как проверяется вид транспорта на отрезке и что из этого ломалось на проде.