Чувствительные данные уходят провайдеру LLM
Текст уходит целиком: персональные данные, номера счетов и карт, пароли. За персональные данные отвечает компания как оператор.
- Шлюз к ИИ-моделям
- Проблема
- Решение
- Как это работает
- Ключи доступа
- Резервные модели
- Подключение
- Журнал обращений
- Размещение
- Обсудить пилот
Шлюз к ИИ-моделям
Единая точка доступа корпоративных систем к российским и зарубежным LLM
Проблема
Компании либо мирятся с утечкой чувствительных данных к провайдеру LLM, либо вынуждены полностью запрещать подключение
Служба безопасности закрывает доступ к провайдерам LLM
Пока тексты с персональными данными к ним не пускают, проекты стоят или переходят на локальную LLM.
Ключи и расход у каждой команды свои
Компания не видит в одном месте, какая система сколько тратит и какие данные отправляет.
Решение
Системы компании обращаются к LLM через шлюз: он заменяет чувствительные данные и проверяет допуск до отправки провайдеру
Системы компании
Чат-бот поддержки
Разбор писем клиентов
Сервис в CRMзапросответ с настоящими значениями
Шлюззамена данныхдопускключи и лимитыжурнал
данные заменены
Провайдеры LLM
и модели других зарубежных провайдеров
данные не покидают компанию
Локальная LLM
1Провайдер LLM получает текст, в котором найденные чувствительные данные заменены обозначениями
2Служба безопасности задаёт, каким системам можно к провайдерам LLM, а каким только к локальной LLM
3У каждой системы свой ключ с лимитами, а все обращения собраны в одном журнале
Как это работает
Провайдер LLM видит обозначения вместо персональных данных, а система получает ответ с настоящими значениями
1 · до шлюза
Система отправляет
Здравствуйте! Я Иван Петров, мой телефон +7 916 123‑45‑67. Где мой заказ 48213?
шлюз заменяет2 · у провайдера LLM
Провайдер видит
Здравствуйте! Я ⟦PERSON-NAME:9f3a72c14b8e0d55⟧, мой телефон ⟦PHONE:0c2f9ab355e1d708⟧. Где мой заказ ⟦ORDER-ID:4e1b07c9a2d3f685⟧?
LLM отвечает по обозначениям. Из 16 знаков обозначения значение не вычислить.
шлюз возвращает3 · после шлюза
Система получает
Иван Петров, здравствуйте! Уточняем статус заказа 48213 и сообщим по телефону +7 916 123‑45‑67.
Строка журналаключ: чат-бот поддержкизаменено: ФИО 1, телефон 1, номер заказа 1исход: ответ отданбез текста запроса и ответаКлючи доступа
Каждая система работает по своему ключу с лимитом: расход виден по ключам, перерасхода нет, а отозванный ключ отключает систему сразу
Администратор компании
- выдаёт ключ системе
- задаёт лимит
- отзывает ключ
Чат-бот поддержкиРасход за месяц62%
РаботаетРасход в пределах лимита
Разбор писем клиентовРасход за месяц84%
Близко к лимитуС 80% система получает остаток в каждом ответе
Сервис в CRMРасход за месяц100%
Лимит исчерпанКлюч стоит до нового месяца или добора объёма, перерасхода нет
Пилот отдела маркетингаРасход за месяц—
Ключ отозванСистема отключена со следующего запроса
Расход по каждому ключу виден в ежемесячном отчёте, а каждое обращение к LLM журналируется
Резервные модели
Если LLM не отвечает, шлюз сам отдаёт запрос резервной LLM, и система продолжает работать
Чат-бот поддержки✕повтор, затем резервная
✓Система работаетответ пришёл, для переключения система ничего не делала
Очередь резервных LLM задаёт администратор шлюза
Подключение
Чтобы подключить систему к шлюзу, в её настройках меняют три строки, а код системы остаётся прежним
Настройки чат-бота поддержки
Было: напрямую к
Стало: через шлюз
Адрескуда уходят запросы
https://api.deepseek.com
https://‹адрес шлюза›/v1
Ключ доступапо нему шлюз узнаёт систему
sk-••••••••••••••••
••••••••••••••••••••
Модельк какой LLM идёт запрос
deepseek-v4-pro
bm/llm-standard
имя модели из настроек шлюзаОстаётся как было
- ✓код системы
- ✓формат запросов и ответов
- ✓ответ по частям
- ✓вызов функций
- ✓ответ в JSON
Шлюз принимает основные параметры запроса. Лишние параметры, например число вариантов ответа, и картинки он отклоняет понятной ошибкой, молча не отбрасывает. Ещё шлюз сам добавляет к запросам, где данные заменяются, короткую служебную подсказку для модели, около 200 токенов; она входит в расход токенов
Журнал обращений
По журналу служба безопасности может сама найти ответы, какие системы, когда и какие данные отправляли в LLM
Вопрос проверяющего
Какие системы в сентябре отправляли персональные данные клиентов во внешние LLM?
Служба безопасности
Сотрудник с ролью аудитора сам выгружает журнал своей компании за сентябрь
Выгрузка журналасентябрь
| Время | Система | Заменено | Исход |
|---|---|---|---|
| 03.09 10:14 | Чат-бот поддержки | ФИОтелефон | ответ отдан |
| 03.09 10:16 | Разбор писем клиентов | ФИОe-mail | ответ отдан |
| 03.09 10:21 | Сервис в CRM | — | отказ: лимит исчерпан |
… и так за каждое обращение месяца
Ответ проверяющему: чат-бот поддержки и разбор писем клиентов, а что именно заменено, видно в каждой строке
Если запись в журнал не удалась, обращение не выполняется
Правку или удаление записи видно при проверке
Журнал хранится весь срок договора и ещё годРазмещение
Где может быть размещён шлюз
Наше облако в РФкомпаниясистемы
системынаше облакошлюз
шлюзпровайдеры LLM
- Своих серверов не нужно
- Договор с российским юрлицом, данные обрабатываем по поручению компании
Серверы компаниикомпаниясистемышлюз
системышлюзпровайдеры LLM
- Договоры с провайдерами LLM заключает сама компания
Серверы без выхода в интернеткомпаниясистемышлюз
системышлюзлокальная LLM
- Запросы не покидают серверы компании
Следующий шаг
Обсудить пилот
Расскажите, какие системы компании обращаются к LLM и какие данные они отправляют. С этого перечня начинается пилот в нашем облаке.
Обсудить пилотДостаточно рабочей почты
- ЗаявкаРабочая почта на странице заявки
- Разбор задачиРуководитель направления LLM напишет и разберёт, какие системы и данные подключать
- Пилот в нашем облакеСистемы подключаются к шлюзу, расход и замены видны в журнале
Другие продукты Svaya с LLM
