4 мин
Внедрение ИИ в компании: с чего начать
Разбор с обратной стороны: почему пилоты не доживают до продакшена, какой процесс брать первым и по какому признаку понять, что внедрять пока нечего.
13 материалов
Автоматизация и интеграции
API, вебхуки, пайплайны и рутина, которую имеет смысл отдать машине.
-
- 4 мин
Какую нейросеть выбрать под задачу
Процедура выбора из четырёх шагов вместо сравнения бенчмарков: что должно быть решено до модели, по какому признаку сравнивать и когда переходить на другую.
- 5 мин
Локальная нейросеть: когда своя модель дешевле облака
Посчитал стоимость миллиона токенов на арендованной видеокарте и сравнил с ценами API. Результат неожиданный: по деньгам локальная модель почти никогда не выигрывает.
- 4 мин
Дообучение, RAG или промпт: что выбрать под задачу
Три способа получить от модели нужное поведение решают разные задачи и путать их дорого. Разбираю, что меняет каждый, и почему дообучение почти никогда не про факты.
- 4 мин
RAG простыми словами: что это и когда он не нужен
RAG — это поиск плюс подстановка найденного в запрос. Разбираю, из чего он состоит, где ломается каждое звено и почему на небольшой базе он только вредит.
- 14 мин
Модель выбирает, арифметика считает: как устроен geopilot
Разбор travel-каталога, где нейросеть подбирает места и порядок обхода, но ни одного числа не считает: почему роли разделены именно так, чем доказывается фотография места, как проверяется вид транспорта на отрезке и что из этого ломалось на проде.
- 9 мин
Сколько на самом деле стоит вызов модели
Цена за миллион токенов — наименее информативное число в счёте. Разбираю, из чего складывается стоимость задачи: многословность, разреженная активация, кеш, кадры и язык. С измерениями.
- 5 мин
Автоматизация без фанатизма: что не надо трогать
Признаки, по которым процесс лучше оставить человеку, почему упрощение обычно выигрывает у интеграции и как считать стоимость владения до начала работ.
-
Что нельзя отправлять в облачную нейросеть
Отправка персональных данных в зарубежный сервис — это трансграничная передача со своими требованиями. Разбираю практическую границу и что делать, если данные всё-таки нужны.
-
Как посчитать токены в тексте
Токен — не слово и не символ. Считать надо токенизатором конкретной модели, и на русском результат отличается от английского примерно в 1.29 раза.
-
Английский промпт ради экономии токенов
Инструкция на английском занимает вдвое меньше токенов, чем на русском. На системной части это заметные деньги — и заметный риск для регистра ответа.
-
Системный промпт — это налог на каждый вызов
Он растёт незаметно: правило за правилом, случай за случаем. Через полгода половина его содержимого относится к ситуациям, которых больше не бывает.
-
Почему контуры ломаются в понедельник
Нестандартный вход приходит не равномерно, а пачками после пауз. Отсюда следует, что тестировать контур на среднем дне бессмысленно.