Российские нейросети в работе: когда GigaChat или YandexGPT — лучший выбор
Не рейтинг и не обзор возможностей, а разбор условий, при которых отечественный провайдер решает задачу, недоступную зарубежному, — и того, что он не решает.
Как хранить контекст, чтобы он находился: графы, заметки, семантический поиск, память моделей.
Не рейтинг и не обзор возможностей, а разбор условий, при которых отечественный провайдер решает задачу, недоступную зарубежному, — и того, что он не решает.
Google и Яндекс наказывают не за способ создания текста, а за бесполезную страницу. Разбираю формулировки их справок и рассказываю, что стало с моей страницей, которую Яндекс счёл малоценной.
Дипфейк — синтезированное видео или голос конкретного человека. Признаки на глаз устаревают с каждой моделью, поэтому проверять надо не картинку, а канал: звонок на известный номер и второй подтверждающий канал.
Извлечение условий работает, оценка рисков — нет. Разбираю, чем эти задачи отличаются, какие поля извлекаются надёжно и почему пустое значение важнее точности.
Модель плохо считает и хорошо формулирует. Разбираю рабочее разделение — модель пишет запрос, арифметику делает код — и почему обратный порядок даёт красивые неверные отчёты.
Механизм внимания без формул: как модель решает, какие слова во входе связаны между собой, почему длинный контекст дорожает квадратично и что из этого следует на практике.
Картинка превращается в те же токены, что и текст, — отсюда и возможности, и ограничения. Разбираю, что модель со зрением делает хорошо, что плохо и во что это обходится.
Сначала вопрос, нужна ли отдельная база: до сотни тысяч фрагментов хватает расширения к обычной. Разбираю, по каким признакам выбирать и что решает не база.
Без формул, но и без сказок про «искусственный мозг». Что модель делает на самом деле, откуда берётся впечатление понимания и почему из этого следуют все её странности.
RAG — это поиск плюс подстановка найденного в запрос. Разбираю, из чего он состоит, где ломается каждое звено и почему на небольшой базе он только вредит.
Модель не отличает знание от правдоподобия — она продолжает текст. Разбираю три источника выдумок, приёмы, которые работают, и просьбу «не выдумывай», которая не работает.
Метрика растёт, ответы не улучшаются. Разбираю, почему считать надо по кускам, и показываю на измерении собственного корпуса, что делает с текстом фиксированная нарезка.
Близость векторов — это не близость смысла в том виде, в каком её понимает человек. Разбираю, где расходится, почему поиск находит не то и что с этим делать.
Один и тот же текст на русском обходится в заметно большее число токенов, чем на английском. Разбираю, откуда берётся разница, во что она обходится и что с ней делать.
Почему семантический поиск не спасает плохо устроенную базу: где теряется качество, что делает нарезка, зачем нужен реранкер и как измерять, стало ли лучше.
Большая языковая модель — нейросеть, которая продолжает текст. Отсюда видно, чего от неё не ждать без внешних инструментов: знаний после сбора данных, точного счёта и памяти между разговорами.
При сжатии модель первыми выбрасывает оговорки, исключения и числа — то, ради чего документ читают внимательно. Поэтому вместо пересказа я прошу ответы на свои вопросы с цитатой.
Модель видит не сам файл, а то, что из него извлёк сервис: таблицы разваливаются, скан без распознавания пуст, длинный документ ищется по кускам. Проверка — цитата и номер страницы.
Векторный поиск сравнивает вопрос и фрагмент по отдельности, реранкер смотрит на них вместе. Отсюда и разница: он видит отрицание, которое вектор не видит.
Самый быстрый способ закончить спор «хорошо или плохо отвечает модель» — разметить руками два десятка случаев. И самая частая находка при этом не про модель.