Документация / Языковые модели
Языковые модели
Для администратораПри подключении и при смене поставщика
Платформа не привязана к одной языковой модели. Задача просит модель нужной силы, а какая именно и через кого ответит, решаете вы настройкой. Поэтому сменить поставщика можно, не трогая ни одной задачи.
Термин страницы. Класс модели - это то, что просит задача. Легкая модель отвечает коротко и быстро, сильная берет сложное рассуждение и длинные документы, векторные представления нужны для поиска по документам. Развертывание - это конкретная модель у конкретного поставщика, на которую класс отображается.
Классы вместо имен моделей
Задачи написаны в терминах классов, а не имен. Это значит, что смена поставщика не требует править задачи, маршруты и тексты инструкций.
| Класс | Для чего | Пример развертываний |
|---|---|---|
| Легкая модель | Короткие быстрые ответы, разметка, классификация | YandexGPT Lite, GigaChat Lite |
| Сильная модель | Сложное рассуждение, длинные документы | GigaChat Max, YandexGPT Pro |
| Векторные представления | Поиск по документам по смыслу | Локальная модель на ваших серверах |
Поставщики и порядок
У каждого класса список развертываний в порядке приоритета. Платформа идет по нему сверху вниз. Если поставщик отвечает отказами, платформа временно обходит его и считает через следующего, а на экране у такого развертывания появляется состояние «на паузе после отказов».
Колонка маршрута данных на экране говорит главное для безопасности. Внешний маршрут означает, что текст запроса уходит за пределы вашей сети к поставщику. Внутренний означает, что вычисление идет на ваших серверах и наружу не выходит ничего.
Адреса поставщиков, к которым платформе разрешено обращаться, перечисляются в вашем слое описателя. Адрес, не названный там, недоступен сервису по построению, а не по договоренности.
Пределы расхода
Расход считается в токенах и сводится по областям. Область - это либо вся установка, либо служебные вызовы платформы, либо один вход в конкретную задачу.
- Предел не задан означает, что расход этой области не ограничен. Это не то же самое, что «нет данных». Второе значит, что платформа сейчас не смогла получить справку о пределе.
- Окно - календарные сутки по вашему часовому поясу, счетчик обнуляется в полночь.
- Потолок одного ответа задается отдельно и защищает не от расхода, а от единичного выброса. Расход ограничивают пределы, а потолок обрывает один слишком длинный ответ.
Пределы задаются конфигурацией и описаниями задач, с экрана они не меняются. Экран показывает израсходованное, предел и остаток.
Модель на ваших серверах
Когда данные не должны уходить наружу вообще, языковая модель разворачивается рядом с платформой. Тогда в описателе появляется раздел про видеокарты, а класс модели отображается на внутреннее развертывание. На экране у такого развертывания маршрут данных внутренний.
Проверка готовности перед развертыванием смотрит, доставлены ли веса моделей на сервер и доступна ли среда исполнения видеокарт. Подробнее о проверках рассказано на странице развертывания.
Как сменить поставщика
Порядок такой же, как у любого изменения установки.
- Правите раздел моделей в своем слое описателя.
- Собираете конфигурацию заново и проверяете готовность.
- Применяете обновление, после чего сервис выбора модели перезапускается.
- Открываете экран моделей и убеждаетесь, что новое развертывание в работе.
Задачи при этом не меняются. Если новый поставщик отвечает хуже на ваших данных, это видно по результатам запусков, а не по экрану моделей.