
Конвейер обработки запроса
Каждый шаг задачи, на котором работает ИИ-модель, идет одним и тем же конвейером из одиннадцати стадий. Порядок объявлен заранее и от задачи не зависит.
↻
↻
1Чтение правил шагаобъявление шага из пакета задачи
2Разрешение входаданные по объявленным путям, класс каждого
3Сбор контекстапоиск по документам, разбор файлов, история диалога
4Сборка задания для языковой моделинайденное подставляется в шаблон инструкции
5Граница доверияопределяется маршрут данных, персональные данные заменяются обозначениями
граница ваших серверов
6Вызов ИИ-моделиязыковой или специализированной, в пределах разрешенного маршрута
7Приведение ответа к схемеответ не по форме уходит на переделку
8Обратная заменанастоящие значения на место обозначений
9Проверки после ответаопора на найденные документы, форматы, фильтры вывода
10Проверка результатасверка с объявленной схемой до возврата
11Возврат результатаответ уходит тому, кто вел процесс
Через все одиннадцать стадий проходит запись. Каждая стадия пишет свою строку с временем, входом и результатом.
↻Внешняя скобка - это петля агентского шага. Повторяет стадии с третьей по девятую. Включается точечно, там, где ее объявляет маршрут, и всегда с объявленным заранее пределом проходов.
↻Коралловая скобка - это петля ремонта. Если ответ не прошел проверку формата, языковая модель вызывается заново, и повторный вызов проходит границу доверия целиком, а не в обход.
- Две коралловые стадии - это рубеж. До пятой текст находится только на ваших серверах, после нее может уйти во внешнюю языковую модель.
- По умолчанию проход линейный и предсказуемый. Самостоятельность языковой модели включается отдельным видом шага, а не появляется сама.
- Для шагов без ИИ-модели, например обращения к вашей системе, неприменимые стадии пропускаются.
Что языковая модель решает сама внутри шага
Поиск по документам
Документы разбираются, режутся на фрагменты и индексируются на ваших серверах. Поиск гибридный, смысловой вместе с полнотекстовым.
Полоса первая. Индексация, идет заранее
Хранилище документовсканы и файлы
Разбор и распознаваниеоткрытый распознаватель с поддержкой русского
Нарезка на фрагменты
Смысловые представлениявнутренний сервис на обычных процессорах, видеокарта не нужна
Указательвекторный и полнотекстовый, метка доступа пишется в каждый фрагмент
Полоса вторая. Поиск, идет на каждый запрос
Запрос сотрудника
Векторный поискпо смыслу
Полнотекстовый поискпо словам, с русской морфологией
Слияние по рангамдва списка сводятся в один
Переранжированиесортировка по близости к вопросу
Выдачатолько документы, доступные спросившему
- Смысловые представления считаются только внутренними моделями. Поля для адреса внешнего сервиса в настройках не существует, потому что запрет держит сама схема настроек.
- Права применяются на стороне указателя, поэтому недоступный документ не виден даже фактом своего существования.
- Модели поиска легкие и работают на обычных процессорах. Видеокарта поиску не нужна.
- Регламенты ведутся с историей версий, а контроль актуальности сам поднимает документы, которым пора на пересмотр.
Что платформа помнит между обращениями
Единая точка вызова моделей
Все обращения к ИИ-моделям идут через одну точку. Шаг задачи заказывает класс модели, а не конкретного поставщика, поэтому смена поставщика не трогает ни код, ни задачи.
Шаг задачизаказывает класс модели, легкий, стандартный или сильный
Единая точка вызовачто проверяется на каждом обращении- отметка «текст обезличен»
- разрешенный маршрут данных
- предел расхода
- учет потребления
GigaChatвнешний поставщик
YandexGPTвнешний поставщик
Своя модельна ваших серверах, наружу не уходит ничего
Отказвнешний вызов без отметки «текст обезличен» не проходит
Соответствие класса и поставщика задается настройками платформы. Смена поставщика - это правка настройки, а не кода.
- Это вторая линия защиты после замены персональных данных, потому что обращение наружу без отметки об обезличивании отклоняется.
- При сбое поставщика запрос уходит на резервную модель, но только внутри разрешенных маршрутов данных. Российская меняется на российскую, внешняя на внешнюю.
- Разные задачи одной платформы работают на разных языковых моделях одновременно.
- Сбойный поставщик ставится на паузу, отказ возвращается с машиночитаемым статусом.

ИИ-модели на ваших серверах
Когда данные не должны уходить наружу, ИИ-модели работают у вас. Генеративные работают на видеокартах, быстрые специализированные на обычных процессорах.
Блок на процессорах, видеокарта не нужна
Специализированные модели- классификаторы
- скоринг с перечнем повлиявших признаков
- смысловые представления текста
- переранжирование
Реестр моделейпроисхождение, набор данных, метрики, версия
дешевый фильтр перед дорогим вызовомБлок на видеокартах, от одной карты до шести
Компактная модельна одной карте, задачи без разбора изображений
Сильная текстовая модельрядом с компактной, две-три карты
Модель разбора изображенийкогда нужен разбор сканов и фотографий
- Штатный прием экономии - дешевый процессорный фильтр перед дорогим вызовом генеративной модели. Ставит его маршрут задачи, а не разработчик руками.
- Скоринг воспроизводим, и к оценке прилагается перечень признаков, которые на нее повлияли.
- Веса ИИ-моделей приходят в подписанном комплекте поставки и сверяются по контрольным суммам.
- Сетевого доступа за пределы ваших серверов у этого блока нет.