# Инфраструктура для ИИ-инструментов

Все описанные инструменты — семантический поиск, память сессий, распознавание речи — упираются в одно: их надо на чём-то считать. Внешние платные интерфейсы для этого не подходят: документация организации и записи совещаний туда уезжать не должны.

Поэтому вычисления живут внутри контура.

## Из чего состоит

**Своя видеокарта.** Отдельная машина с профессиональной картой. На ней распознавание речи и модели, которым нужна память карты.

**Модель эмбеддингов.** Многоязычная модель, превращающая текст в векторное представление. Русский и английский в одном пространстве — поиск по русскому запросу находит английский документ. Работает под лёгким сервером вывода, поднятым как системная служба.

**Переранжировщик.** Отдельная модель, которая сравнивает запрос и найденный фрагмент вместе, а не по отдельности. Она дороже, поэтому применяется не к тысяче документов, а к десятку кандидатов, отобранных быстрым поиском.

**Локальный вывод моделей.** Сервер для случаев, когда нужна не только векторизация, а генерация. Опубликован внутри кластера с распределением запросов.

**Переключение на резерв.** Перед сервисами вывода стоит балансировщик с проверкой живости: основной путь — машина с видеокартой, запасной — вычисления на процессорах в кластере. Карта ушла на перезагрузку — поиск продолжает работать, просто медленнее. Для каждого потребителя свой ключ доступа, поэтому видно, кто сколько потребляет.

## Принципы

- **Данные не покидают контур.** Документация, записи встреч, истории сессий обрабатываются на своём железе.
- **Резерв важнее скорости.** Отказ видеокарты не должен ронять поиск по базе знаний: он переживает переключение на медленный путь.
- **Веса моделей не тянутся из интернета в момент работы.** Они раскладываются заранее, поэтому версия не меняется молча под ногами и сервис стартует при закрытом наружу доступе.
- **Модель загружается под задачу и выгружается после.** Карта — общий ресурс, держать её занятой круглосуточно ради редких заданий расточительно.

## Что это даёт

Собственный контур для ИИ-инструментов: семантический поиск, распознавание речи и работа агентов идут на своём железе, с понятной стоимостью и без утечки внутренних данных наружу.