Инфраструктура для ИИ-инструментов
Все описанные инструменты — семантический поиск, память сессий, распознавание речи — упираются в одно: их надо на чём-то считать. Внешние платные интерфейсы для этого не подходят: документация организации и записи совещаний туда уезжать не должны.
Поэтому вычисления живут внутри контура.
Из чего состоит
Своя видеокарта. Отдельная машина с профессиональной картой. На ней распознавание речи и модели, которым нужна память карты.
Модель эмбеддингов. Многоязычная модель, превращающая текст в векторное представление. Русский и английский в одном пространстве — поиск по русскому запросу находит английский документ. Работает под лёгким сервером вывода, поднятым как системная служба.
Переранжировщик. Отдельная модель, которая сравнивает запрос и найденный фрагмент вместе, а не по отдельности. Она дороже, поэтому применяется не к тысяче документов, а к десятку кандидатов, отобранных быстрым поиском.
Локальный вывод моделей. Сервер для случаев, когда нужна не только векторизация, а генерация. Опубликован внутри кластера с распределением запросов.
Переключение на резерв. Перед сервисами вывода стоит балансировщик с проверкой живости: основной путь — машина с видеокартой, запасной — вычисления на процессорах в кластере. Карта ушла на перезагрузку — поиск продолжает работать, просто медленнее. Для каждого потребителя свой ключ доступа, поэтому видно, кто сколько потребляет.
Принципы
- Данные не покидают контур. Документация, записи встреч, истории сессий обрабатываются на своём железе.
- Резерв важнее скорости. Отказ видеокарты не должен ронять поиск по базе знаний: он переживает переключение на медленный путь.
- Веса моделей не тянутся из интернета в момент работы. Они раскладываются заранее, поэтому версия не меняется молча под ногами и сервис стартует при закрытом наружу доступе.
- Модель загружается под задачу и выгружается после. Карта — общий ресурс, держать её занятой круглосуточно ради редких заданий расточительно.
Что это даёт
Собственный контур для ИИ-инструментов: семантический поиск, распознавание речи и работа агентов идут на своём железе, с понятной стоимостью и без утечки внутренних данных наружу.
